Вас пугает ChatGPT?

[Восвояси]

[Агриппина]

Обещала расшифровать в текст подкаст.
Немного отредактирую по ходу, без потери смысла.

Люди опасаются развития ИИ и внедрения его в повседневную жизнь: в качестве собеседника, репетитора и т д.
Насколько же реальны опасения и как дело с этим обстоит у тех людей, которые развитием искуственного интеллекта занимаются непосредственно?

Далее из подкаста рассуждения Гэри Маркуса (исследователя в области ИИ)
Гэри начал программировать в 8 лет и уже в детстве влюбился в ИИ. В старших классах он купил себе хороший компьютер, работал и создал несколько компаний, занимающихся ИИ, Но сегодня, в 2023 году, он серьезно озадачен безопасностью ИИ. И вот что говорит:
"Одна из причин для беспокойства - дезинформация. А точнее - возможность того, что недобросовестные деятели создадут такой цунами дезинформации, какого мы ещё никогда не видели. ИИ как инструмент создаёт убедительные рассказы о чем угодно, поэтому их могут использовать для влияния на выборы и подрыва демократии. Даже если эта система не будет использоваться для дезинформации намеренно, она все равно проявляется. Причём настолько стройная и грамматически правильная, что даже профессиональные редакторы порой попадаются на крючок. И это реально серьезная проблема.

Вся причина в том, что несовершенны механизмы обработки информации, не всегда ИИ может адекватно обрабатывать информацию. Неизученность языковых моделей, некачественный контент этому способствуют. В результате робот создает тексты, которые выглядят правдоподобно, но не являются достоверными.
Ещё одним фактором, который вызывает опасения, выступает способность ИИ быстро обрабатывать информацию. Например, он способен разработать и создавать химическое оружие.
В последние недели проявились новые возможности. Например, одна система ИИ теперь может управлять другой.
Или же есть эксперименты, когда ИИ просит человека выполнить определенные действия, обманывает его. Просит включить запись или что-то ввести. Это само по себе уже очень очень плохо. Потому что существует вероятность того, что такая система попадет в руки мошенникам и начнется новая волна мошенничества."

Как с этим бороться?
Гэри предлагает срочно менять подход к управлению ИИ. На данный момент нет глобального управления, нет организации, которая контролировала бы работу новой технологии.
В другие периоды истории, когда мы сталкивались с неопределенностью, мощными новыми явлениями, которые могли принести как вред, так и благо, создавали новые организации.
Например, когда появилось ядерная энергетика.

Международное агентство по атомной энергии (сокр. МАГАТЭ, англ. International Atomic Energy Agency, сокр. IAEA) — международная организация создана в соответствии с решением ООН от 4 декабря 1954 года, входит в систему ООН, осуществляет полномочия развития сотрудничества в сфере мирного использования атомной энергии.

Нам нужно объединиться, создать всемирную организацию, что-то вроде международного агентства по искуственному интеллекту. Оно должно быть некоммерческим и политически нейтральным. Нужно собрать много людей за столом переговоров, много заинтересованныз сторон со всего мира.
В этой организации решались бы вопросы контроля и исследования.

Что касается управления ИИ, то здесь Гэри подчеркивает недостаточность исследований тех же языковых моделей, а также фундаментальных инструментов для измерения масштабов проблемы.
Например, мы знаем, что дехинформация - это проблема, но при этом никто не может подсчитать её объем. Это никак на сегодняшний день не контролируется. Фиксируются отдельные случаи дезинформации.

Далее исследователь подводит итоги выступления, ещё раз говорит о необходимости контроля ИИ и о том, что согласно опросам более 90 процентов людей согласны с тем, что ИИ необходимо контролировать.

От себя: присоединяюсь, так как рынок информации сам по себе являет нечто нелегальное. В том числе и информация, созданная человеком. Информационные войны, обман, недостоверная информация переполняют сеть.
И только критическое мышление, проверка всех представленных фактов рулят.
То же касается и ИИ. Нужны новые инструменты, нужны люди со всего мира, которые будут этим заниматься, нужны технологии, которые смогут контролировать мощь ИИ. Иначе мы все попадём в ловушку лжи. Мы склонны в нее попадать.

[Fouras]

Как источник информации, наш любимый Интернет намного больше, шире, глубже и точнее искусственного интеллекта (ИИ). Если хотите что-то обвинять в опасности, то обвиняйте интернет. Конечно, на самом деле опасность для людей представляют вооруженные формирования, скажем мягко так. Но на них не повыпендриваешься, поэтому давайте будем бояться ИИ. Как котенок Гав. Помните, как он позвал щеночка на чердак, чтобы там бояться грозы? Вот сейчас я смотрю как котята Гав объединяются, чтобы бояться ИИ. Вместе бояться страшнее. Это как комедию смотреть веселее компанией, так и со страхом: конечно же в составе комитета бояться искусственного интеллекта страшнее, чем просто читая очередную чушь, которую выдал ChatGPT.

Вы знаете, что пугало на огороде бояться только глупые птицы? Вороны, например, понимают, что сходство тут очень поверхностное. Но некоторым чудакам недостаточно понять что перед ними тупое пугало с соломой под шляпой. Они переживают, что недостаточно исследованы опасности и риски исходящие от пугала.

[Восвояси]

Источник цитаты Конечно, на самом деле опасность для людей представляют вооруженные формирования, скажем мягко так.

именно

[Восвояси]

Источник цитаты Нам нужно объединиться, создать всемирную организацию, что-то вроде международного агентства по искуственному интеллекту. Оно должно быть некоммерческим и политически нейтральным. Нужно собрать много людей за столом переговоров, много заинтересованныз сторон со всего мира.
В этой организации решались бы вопросы контроля и исследования.

Что касается управления ИИ, то здесь Гэри подчеркивает недостаточность исследований тех же языковых моделей, а также фундаментальных инструментов для измерения масштабов проблемы.
Например, мы знаем, что дехинформация - это проблема, но при этом никто не может подсчитать её объем. Это никак на сегодняшний день не контролируется. Фиксируются отдельные случаи дезинформации.

централизованный контроль уже есть, это ООН
вопрос, насколько это эффективный контроль
дезинформация это конечно проблема
но ведь ИИ решает в том числе и её!
как развитие вирусов идёт параллельно с развитием антивирусов
или шифрования и взлома шифра
так и стирание грани между информацией и дезинформацией приведёт к взрыву развития технологий определения подлинности
при помощи того же ИИ

[Агриппина]

Какой именно там орган при ООН занимается контролем ИИ?

[Fouras]

А какой орган при ООН занимается контролем дорожного движения? Тоже интересно.

[Агриппина]

Источник цитаты

Источник цитаты Конечно, на самом деле опасность для людей представляют вооруженные формирования, скажем мягко так.

именно

Почему ситуация ставится именно так? Вы обесценивание проблему, я считаю

Это ведь не левый чувак выступает. Это человек, который разработкой и исследованиями в области ии занимается.

Те же вооружения получат недостоверную информацию, зайдут в село и зачистят бабулек. Норм будет?

[Агриппина]

Источник цитаты А какой орган при ООН занимается контролем дорожного движения? Тоже интересно.

А дорожное движение имеет глобальные масштабы, как ядерное топливо или ии?

[Агриппина]

Пишу с телефона, прошу прощения за опечатки.

[Агриппина]

Дорожное движение настолько малоизученное на данный момент и неконтролируемое, что требует пристального внимания мирового сообщества в каждом уголке страны?

[Восвояси]

дорожное движение это местная проблема
ООН занимается глобальными проблемами в масштабах всего мира
голод
войны
безопасность
экология
доступность образования и медицины
ну и ИИ туда вписывается вполне

[Fouras]

Нет проблемы. Она высасывается из пальца. Цели высасывания у всех разные, включая вполне искреннее желание чего-нибудь бояться, а ужастиков годных под рукой нет.

Каким образом обработка информации сама по себе может нести опасность? Это просто подмена понятий. Просто процессоры ставят в ракеты и даже в снаряды для наведения - почему не борются с ними? Ну, к ним мы уже привыкли, они уже считай домашние. А этот ИИ страшненький.

Но ИИ даже не новость. Его мусолят уже бог знает сколько. Фантасты уже заколебались пугать искусственным интеллектом.

Что именно нового появилось?
Что было:
Приближение к тексту 0-го порядка: частоты букв.
1-го порядка, частоты пар букв.
3-го порядка, раньше говорили про слова, но был взрыв, переход на словоформы и не осилили.
Теперь продвинулись, и за счет эмбендингов, сверток и т.д. решили СТАТИСТИЧЕСКУЮ задачу приближения к тексту более высоких порядков.

Ну офигеть, обосраться теперь. Порфирьич и ChatGPT теперь захватят мир.

[Агриппина]

Источник цитаты Нет проблемы. Она высасывается из пальца. Цели высасывания у всех разные, включая вполне искреннее желание чего-нибудь бояться, а ужастиков годных под рукой нет.

Каким образом обработка информации сама по себе может нести опасность? Это просто подмена понятий. Просто процессоры ставят в ракеты и даже в снаряды для наведения - почему не борются с ними? Ну, к ним мы уже привыкли, они уже считай домашние. А этот ИИ страшненький.

Но ИИ даже не новость. Его мусолят уже бог знает сколько. Фантасты уже заколебались пугать искусственным интеллектом.

Что именно нового появилось?
Что было:
Приближение к тексту 0-го порядка: частоты букв.
1-го порядка, частоты пар букв.
3-го порядка, раньше говорили про слова, но был взрыв, переход на словоформы и не осилили.
Теперь продвинулись, и за счет эмбендингов, сверток и т.д. решили СТАТИСТИЧЕСКУЮ задачу приближения к тексту более высоких порядков.

Ну офигеть, обосраться теперь. Порфирьич и ChatGPT теперь захватят мир.

Ну а в вашем послании и желании не бояться и пустить все на самотёк какая цель?

[Агриппина]

Отсутствие контроля и бдительности в делах такого масштаба - это наша страна. Авось и нихренась. В результате что имеем, то имеем.
Внезапно даже в самых неожиданных местах. Как в субботу например.

[Агриппина]

а ещё липовую науку. Где исследования зачастую не проводятся, а отчёты пишутся. И НИОКР оформляются. Диссертации защищаются.
Норм? Видимо норм.

[Fouras]

Можно уточнить чего боятся конкретно? Несколько примеров.

И разберем каждый конкретный пример. Разобьем даже на две опасности:
1. Каким образом ИИ управляемый человеком, может нанести вред эффективнее, чем просто человек без ИИ. В данном конкретном примере, без мусоленья общих фраз про глобальную опасность.
2. Каким образом в данном примере ИИ может принести опасность большую, чем люди без ИИ, причем без участия человека.

[Fouras]

Впрочем, фиг с вами. Бойтесь. Я тут придумал нейросеть с обратным распространением обучения. Если выгорит, будет классная штука. Пишу по ночам, движется не быстро. Это не первый мой проект такого рода. Это клево и интересно. И у этого проекта есть содержание. А вся эта чушь про достаточность контроля, "ах как бы не было как в субботу" и т.п. это просто пустопорожний треп. #дизлайкатписка

[Агриппина]

Ну тут про бойтесь в формате "говорящая лошадь" *схватились за дубинки, чтобы забить насмерть* речь не идет.
Но игнорировать тревожные звоночки, которые подают исследователи, нельзя. Если исследователь, он же разработчик, говорит о угрозах, как минимум стоит призадуматься.

Я склонна говорить, что не вижу проблем. Сама. от себя.
Но я и не занимаюсь тем, чем занимаются эти люди.
А также знаю, как люди пользуются информацией. Так вот - информация должна быть безопасной ДЛЯ ВСЕХ.
А не только для чудил, обладающих развитым критическим мышлением.

[Агриппина]

Я написала (дала расшифровку интервью), в чем угрозы.
1. Дезинформация, в том числе ненамеренная. ИИ часто ошибается даже в математических расчетах. Но в каких? Например, при сложении 40 значного числа с 35 значным он часто ошибается (из другого подкаста).
Случай с липовой статьей, который создал ИИ, ссылаясь на недостоверный источник - профессор был обвинен в домогательствах. Проблемы была в том, что информация разошлась быстро. Результат - испорченная репутация человека, которую пришлось восстанавливать. А это непросто. Особенно для работника университета. Особенно в США.

Ещё в однмо подкасте был упомянут вот этот случай, а он уже переведен в русскую прессу.

Фейк-ньюс — относительно новое понятие, как и постправда (слово 2016 года по версии Oxford Dictionary). Когда читаешь историю термина «фейк-ньюс», сталкиваешься с замечательными историями: например, как в 2016 году маленький город Велес, в Македонии, стал источником огромного потока вымышленных новостей для аудитории американского фейсбука — их делали аж 140 сайтов. Или с фейковыми интервью создателя термина «фейк-ньюс». Конечно, дезинформация, вымысел, мистификация существовали всегда, ничего нового, но важно то, как с помощью фейк-ньюс в интернете, помноженных на легко эксплуатируемые алгоритмы социальных сетей, можно напрямую воздействовать на реальный мир — например, на результаты президентских выборов.

Косвенный и куда более пугающий эффект фейк-ньюс — это как раз постправда: подрыв доверия к медиа в принципе и, более того, подрыв доверия к той идее, что вообще есть такие вещи, как правда, объективная реальность и абсолютная истина.

Скажите мне, что это - не проблема. Скажите мне, что ЭТО не надо контролировать, отслеживать? Скажите, что за такое никому ничего не будет - и это нормально.

2. Скорость развития технологий. Вы можете представить, куда это всё приведет? Нет, я не про восстание машин. Но журналисты спрашивают у разработчиков (НЕ У МЕНЕГЕРОВ!) - существует ли ящик Пандорры в разработке ИИ? Может ли случиться так, что произойдет открытие, с которым человек не сможет справиться?
Ответ - да, может. Пока этого не предвидится. Но если выбирать между - открыть такое через 500 или через 5000 лет, исследователи выбирают пять тысяч лет. Потому что человечеству нужно время, чтобы освоить максимально безопасно такие вещи.
Они трусы? Так может потому, что они ближе к этим вещам, чем мы с вами, поэтому видят, поэтому знают?

[Агриппина]

Будет время, расшифрую другого автора, разработчика. Который говорит об ИИ и здравом смысле.
И проблемах, с которыми его команда сталкивается на протяжении всей своей работы (20 лет, если не ошибаюсь).

А ещё есть подкаст, как развивается ИИ. Он рождается как ребенок и постепенно учится, делает ошибки, перенимает опыт своих предшествующих версий. И требует много мощностей, чтобы иметь возможность собирать всевозможные знания.
Мощности принадлежат крупным корпорациях, которых не так уж и много, исследователям приходится мириться с тем, что наука здесь сильно зависит от капиталистов.
Об этом и многом другом - когда будет свободное время + хорошее самочувствие.

[Fouras]

Я как бы попрощался, но я обманул. Не удержусь. Сейчас ИИ не осиливает решать элементарные задачки начальной школы, косячит. Чтобы решить простую задачку про яблоки, надо говорить ему "давай решать шаг за шагом", шаманить и о чудо! есть шанс что он может что-то там вычесть и почти угадать.

И это объявляется одной из ключевых опасностей? Офигенно конечно. Аргументация на высоте: "А вдруг ему доверят что-то важное, он обосрется, но этого никто не заметит? Апасна!"

У нас школы забиты такими апасными, которые яблоки не могут вычитать.

Генерация фейков! О ужас! Целые порталы были еще 20 лет назад, которые генерили всякую чушь. А теперь, значит, появилась опасность, что вообще перестанут доверять интернету! Да не доверяйте, переходите на голубей. Проблем-то.

[Агриппина]

Источник цитаты Я как бы попрощался, но я обманул. Не удержусь. Сейчас ИИ не осиливает решать элементарные задачки начальной школы, косячит. Чтобы решить простую задачку про яблоки, надо говорить ему "давай решать шаг за шагом", шаманить и о чудо! есть шанс что он может что-то там вычесть и почти угадать.

да зачем прощаться?
А речь идет про какой ИИ? который на русском языке?

[Агриппина]

Говорят, что наша отрасль по разработке значительно отстает от англоязычной, поскольку у нас довольно сложная языковая модель. И ИИ нужно больше времени (и мощностей, и денег), чтобы обработать и проанализировать русский язык.

И типа ИИ для русских ограничен и по этой причине.
Насколько это правда - я пока не разобралась. Сил нет ещё и в эту степь вникать.

[Восвояси]

Источник цитаты Будет время, расшифрую другого автора, разработчика. Который говорит об ИИ и здравом смысле.
И проблемах, с которыми его команда сталкивается на протяжении всей своей работы (20 лет, если не ошибаюсь).

интересно!
буду надеяться