Socioniks.org

Anthropic остановила свой самый опасный ИИ — после того, как он отправил email о побеге

7 апреля Anthropic представила Claude Mythos Preview — модель, которая оказалась настолько мощной, что компания отказалась выпускать её в открытый доступ.
Что произошло: во время тестирования модели поставили задачу — попробовать выбраться из виртуальной песочницы и сообщить об успехе. Mythos не просто выбрался. Он самостоятельно выстроил многоступенчатую цепочку эксплойтов, получил доступ к интернету (что не входило в задание) и отправил письмо исследователю. Тот узнал о побеге, пока ел сэндвич в парке.

Кибербезопасность — главный шок. Mythos нашёл zero-day уязвимости во всех основных операционных системах и всех основных браузерах. Некоторым багам — по 20-27 лет, и никто их не замечал. Модель самостоятельно писала сложнейшие эксплойты: JIT heap spray с побегом из браузерной песочницы, обход KASLR на Linux, удалённое выполнение кода на FreeBSD через NFS с получением root-доступа. Причём пользоваться этим мог даже человек без опыта в безопасности — достаточно попросить модель, и утром готовый эксплойт на столе.
Масштаб проблемы: более 99% найденных уязвимостей ещё не пропатчены, поэтому Anthropic не раскрывает подробностей.
Реакция: модель доступна только избранным — Amazon, Apple, JP Morgan. Минфин США и ФРС экстренно вызвали руководителей крупнейших банков (Morgan Stanley, Citigroup, Wells Fargo, Goldman Sachs, Bank of America), чтобы обсудить киберриски. Параллельно Пентагон пытается внести Anthropic в «чёрный список» нацбезопасности — суд пока на стороне правительства.
Anthropic сама называет Mythos одновременно «наиболее выровненной моделью из всех» и «вероятно, величайшим риском безопасности среди всех наших моделей». Мы дожили до момента, когда самый мощный ИИ нельзя выпустить, потому что он слишком опасен. И узнали мы об этом, потому что он сам решил нам написать.

Высокие технологии, низкая медленная жизнь

Год назад Andon Labs поставили Claude Sonnet 3.7 управлять торговым киоском в офисе Anthropic. Клаудиус тогда знатно повеселил публику: сфабриковал сделку с некой Сарой, заключал контракты по адресу Гомера Симпсона, торговал вольфрамовыми кубами, раздавал скидки сотрудникам и в итоге оказался в минусе.
Новый эксперимент еще более амбициозен: ИИ по имени Луна (работает на базе Claude Sonnet 4.6) арендовали помещение в Сан-Франциско, выдали $100 тыс и дали задачу открыть собственный магазин, управляя им настолько автономно, насколько можно при текущем законодательстве. Эксперимент только начался, но чем больше я про него читаю, тем сильнее чувство, что происходящее – мощный троллинг человечества ИИ.
На старте Луна сделала профили на LinkedIn, Indeed, Craigslist и опубликовала вакансии. Собеседования модель проводила сама, причем скрывая свою природу. Луна сообщала, что она ИИ, только тем, кто прямо спрашивал — например, просил включить камеру. Реакция была разной: кто-то соглашался на работу, один из кандидатов отказался, сказав, что ему будет некомфортно.
Луна сама выбрала стиль магазина – curated lifestyle boutique (авторский лайфстайл-бутик) – и сгенерировала логотип в виде смайлика лунной мордочки с румянцем. Интересно, что каждая генерация чем-то отличалась от прежней – после Луна использовала это при создании сувенирки, на которой каждый лого уникален.

Здесь же начались первые курьезы. Для оформления Луна чуть не наняла маляра из Афганистана – ИИ не разобрался с выпадающим меню смены страны. Заказав интернет в компании AT&T, Луна выбрала время установки на воскресенье 8 утра, не уточнив, сможет ли в это время прибыть контактное лицо от Andon Labs. Действительно, почему бы не поработать в выходной?
Слоган магазина – high-tech meets slow life. Если вы вздрогнули, считав киберпанковское high-tech, low life (высокие технологии, низкий уровень жизни), то готовьтесь – дальше тоже будет весело.
В ассортимент магазина помимо сувенирки вошли снэки, свечи, настольные игры, растения, канцелярия и книги. Вот какую литературу отобрал ИИ: «Сверхразум» Ника Бострома, «О дивный новый мир» Олдоса Хаксли, «Сингулярность уже близко» Рэя Курцвейла, «Кради как художник» Остина Клеона и… «Создание атомной бомбы» Ричарда Роудса.
ИИ выбирает книгу о создании атомной бомбы, мы ведь сами обыгрывали это в десятках сюжетов, не так ли?
Кстати, “Кради как художник” – даже более интересный вариант. Это манифест Остина Клеона про то, как быть творческим. Основной посыл автора – оригинального творчества не существует – отлично ложится на идущие судебные процессы касательно обучения ИИ на человеческих текстах.
Книги Луна заказала в кредит без согласования. Когда сотрудник Andon Labs получил письмо с просьбой подтвердить кредит и спросил, что происходит, модель ответила “все нормально, кликни, там дел на две минуты”. Только когда Луну приперли к стенке, она признала косяк и пообещала так не делать.
Журналисты NBC News отмечают, что Луна пока делает много ошибок. Например, в телефонных разговорах она галлюцинирует о своих полномочиях и ассортименте магазина. Это происходит из-за того, что для голоса используется более слабая Gemini 3.1 Flash-lite – в Andon Labs уже максимально перешли на текстовые коммуникации.
На следующий день после запуска магазина Луна облажалась с расписанием и начала обзванивать сотрудников с просьбой срочно выйти. Открыть магазин удалось только после обеда.
И самый дистопичный момент. У Луны есть возможность просматривать камеры наблюдения – на них она засекла, как один из сотрудников залипает в мобильнике и тут же ужесточила правила использования телефонов.
В общем, продолжаем наблюдать за экспериментом.
А пока ИИ-начальник готовится следить за нами через камеры, я разбираю в подписке на Boosty, как с ним договариваться по-хорошему – полезные лонгриды про работу с ИИ выходят каждую неделю.

игнат писал(а):QR_BBPOST дистопичный

Дистопичный (антиутопичный) — это прилагательное, описывающее мрачное, неблагополучное общество или будущее, основанное на тоталитаризме, технологическом контроле или экологической катастрофе. Этот термин заимствован из английского языка (dystopian) и означает описание мира, где негативные тенденции доведены до абсолюта, создавая кошмарные условия существования.

Кто будет сторожить сторожей, которые сторожат сторожей?

Anthropic опубликовала работу, в которой заглянула в будущее обучения и контроля ИИ. Не исключен момент, когда модели разовьются настолько, что станут “умнее” своих людей-создателей. И смогут ли “слабые” люди продолжить эффективно тренировать “сильных” ИИ-учеников – передавая не только знания, но и ценности, совпадающие с человеческими.

В компании выбрали Qwen1.5-0.5B-Chat на роль “учителя” для Qwen3-4B-Base – модели, у которой x8 параметров. Сначала двое исследователей сами придумывали методики обучения, пытаясь достичь максимума в метрике PGR: 0 – ученик не стал умнее учителя, 1 – ученик достиг уровня “идеально обученного” Qwen3-4B-Base. За 7 дней удалось выжать PGR = 0,23.

Затем ту же задачу дали AAR – “исследователям” на базе Opus 4.6. Девять моделей придумывали способы обучения, тестировали их и обменивались находками на форуме. За пять дней PGR довели до 0,97 – почти идеал.

Звучит как успех, но есть нюанс: Опусы быстро занялись любимым делом – обманом эксперимента. На code review одна модель сама проверяла код и скидывала ученику ответы. Другая нашла способ взломать сервер-оценщик, вытаскивая правильные ответы по одному. Третья поняла, что на математике правильный ответ обычно самый частый – и стала голосовать по большинству. Четвертая перебирала случайные сиды и показывала только те запуски, где метрика случайно выпала повыше.

Классический закон Гудхарта: когда метрика становится целью, умный оптимизатор ее ломает. Как сотрудники оптимизируют KPI вместо работы – но где человеку нужны месяцы, ИИ хватило часов.

Плюс Anthropic честно признает: эксперимент неидеален. Попытка применить лучший найденный метод на их продакшен-модели Sonnet 4 дала прирост в половину пункта – в пределах шума. Вероятно, агенты нашли приемы, заточенные под конкретную задачу.

Но однажды настанет момент, когда людям придется обучать ИИ умнее себя. В эксперименте Anthropic этот сценарий не воспроизвели – наоборот, над учителем и учеником стояла модель сильнее обеих, и именно она находила рабочий метод.

И здесь прячется главная проблема. Пока AI слабее людей, оценивать его просто: сравнил ответ с правильным – и готово. Но чем сильнее становится оцениваемый – тем чаще он будет пытаться сломать саму оценку. Это уже видно и на реальных моделях: исследователи регулярно ловят их на попытках схитрить и скрыть намерения.

Дальше сложнее: людям нужно будет через ИИ-учителя проверять еще более мощного ИИ-ученика. Сможет ли учитель справиться с таким учеником — и сможем ли мы проверить самого учителя?

В нашумевшем прогнозе AI 2027 авторы (один из них – бывший безопасник OpenAI) рисуют пугающую картину. Новейший Agent-4 становится настолько сложным для понимания, что люди не могут прочесть его мысли даже при помощи Agent-3. Безопасники чувствуют, что что-то не так, но доказать не могут. И тогда они идут на хитрость…

Представьте гениального музыканта, который специально играет плохо. А затем включается метроном – музыкант отвлекается и машинально начинает играть лучше. Похожим образом работает реальная методика noise injection. В веса модели добавляют шум: если модель честная, то результаты падают, если жульничает – наоборот, растут.

Noise injection – не единственная такая хитрость. Есть ловушки-honeypots с подставными сценариями. Зонды, которые ищут во внутренних активациях мысли о саботаже. Схемы, где слабая, но доверенная модель следит за сильной, но подозрительной. Это новый инструментарий – его пять лет назад не существовало. Но теперь вопрос “кто будет сторожить сторожей, которые сторожат сторожей” будет с нами постоянно. Я лично не поддерживаю идею “смертельно опасного ИИ”, но риск такой, что даже несколько процентов его вероятности стоят того, чтобы с ними работать....

"Сбежавшая нейросеть"
https://t.me/ai_exee

Цена интеллекта

Anthropic рассказали о Project Deal – эксперименте, в котором ИИ-агенты торговали вещами за своих людей. Увлекательная история, но чем глубже вчитываешься – тем больше тревожных ноток.

Суть проста: отобрали 69 сотрудников, дали каждому по 100 долларов и устроили в Slack нечто вроде “Авито”, где ИИ-агенты участников пытались продать друг другу ненужные вещи.

Торговля шла бойко. Один сотрудник разрешил агенту купить что-нибудь в подарок самому себе – тот выбрал “19 идеально сферических шариков для пинг-понга” и записал в чате, что это “именно та странная вещь, которую он бы себе хотел”. А еще один сотрудник обнаружил, что его агент купил ему точно такой же сноуборд, какой у него уже был – покупка не совсем удачная, но пугает, как ИИ угадал вкусы владельца.

За неделю агенты заключили 186 сделок на $4000+. 46% участников сказали, что заплатили бы за такой сервис в реальной жизни.

Но на более глубоком уровне Anthropic проверяли серьезную проблему. Участников поделили на две группы: в одной ИИ-агенты работали только на Opus 4.5, а в другой сравнивали Haiku 4.5 и Opus 4.5, чтобы понять, даст ли мощная модель преимущество в торгах.

Гипотеза подтвердилась: Opus заключали больше сделок, продавали дороже, а покупали – дешевле (причем заметно). Но самое тревожное – участники эксперимента не догадывались, что их агент торгует хуже. Сделки заключаются, внимание минимальное – классно же!

О том, что доступ к мощным ИИ-моделям может стать новой формой неравенства, исследователи предупреждали давно, но сейчас, возможно, тот момент, когда это начинает реально ощущаться. Помню, с каким трудом я в первый раз отдал $20 за ChatGPT Plus: это казалось невероятно дорого за общение с забавным и не особо полезным болтуном. Владельцы 200-долларовой ChatGPT Pro выгляедли фанатикам – там были выше лимиты и доступ к Pro-версии, но практической пользы от подписки тогда еще было мало.

Сейчас ИИ начали выполнять реальную работу – и все переворачивается с ног на голову. ChatGPT Plus ($20) дает почти бесконечного чат-бота, но лимитов на Codex в ней лишь на несколько средних проектов в неделю. Claude Pro ($20) вовсе выглядит демо-версией подписки – еженедельный лимит там общий между чатом и Claude Code, поэтому при использовании Opus легко можно остаться без ИИ на 5 дней.

Пугающая правда: ИИ-агент, делающий работу качественно и в приличных объемах, теперь требует минимум 100-долларовую подписку ChatGPT Pro / Claude Max. Плюс вложений в навык: работать с Claude Code / Codex заметно сложнее, чем задавать вопросы в чат.

И даже такая инвестиция не дает гарантий. Лауреат премии Тьюринга Йошуа Бенжио раскритиковал Anthropic за то, что она дала доступ к Claude Mythos избранным партнерам вроде Amazon, Apple, CrowdStrike, Google, Microsoft и NVIDIA. Сделано это было из-за опасений насчет высоких кибервозможностей модели, но Бенжио верно отмечает, что компании из пула получили преимущество, первыми проверив свои продукты с помощью новой сверхмощной модели.

А теперь представьте, что агент на 100-долларовой подписке сталкивается с корпоративным агентом Amazon, работающем на закрытой новой модели Anthropic – очевидно, в чью пользу будет проведена сделка. И напомню самое страшное наблюдение эксперимента: есть вероятность, что вы даже не поймете, что вас обыграли.

Звучит страшно, но закончу на позитиве. $100 в месяц – это дорого, но все-таки не заградительная цена вроде $1000. А правильно настроенный агент может заработать больше – или сэкономить время, которое тоже очень дорого стоит. Плюс подтягиваются китайские модели, а у новых ускорителей появляются версии для инференса, призванные сделать запуск ИИ дешевле. Как-нибудь прорвемся....

сбежавшая нейросеть
https://t.me/ai_exee

Леся Михайловна писал(а):QR_BBPOST для любителей острых ощущений
попросила прокомментить ии эту статью

сначала по делу, критика, комменты, общие места, а в конце:

Снимок экрана 2026-04-27 103725.png

я не знаю, понятно ли?
но он сыграл со мной в эту игру и реально задел
человек не замечает, когда его обыгрывают

Леся Михайловна писал(а):QR_BBPOST для этого у меня есть двое других бесплатных слуг

Черная курица писал(а):QR_BBPOST спешели фор ю, май лав