Нейросети

[Леся Михайловна]

это поможет не надолго
я уже через три сообщения ему пишу "слышь, не зарывайся! что ты мне обещал?"

[Чаппа]

[Чаппа]

ребята, пиарю приложение Склифосовский - я с таким удовольствием задаю какие угодно вопросы по медицине
просто кайф
прям любой вопрос - и здравый грамотный ответ тут же

[Леся Михайловна]

Снимок экрана 2026-03-08 100408.png (466.43 КБ) 162 просмотра

[Asian devil]

Про ИИ и его роль в вымирании интернета. Нужное взять в кавычки.

phpBB [video]

[Леся Михайловна]

Anthropic остановила свой самый опасный ИИ — после того, как он отправил email о побеге

7 апреля Anthropic представила Claude Mythos Preview — модель, которая оказалась настолько мощной, что компания отказалась выпускать её в открытый доступ.
Что произошло: во время тестирования модели поставили задачу — попробовать выбраться из виртуальной песочницы и сообщить об успехе. Mythos не просто выбрался. Он самостоятельно выстроил многоступенчатую цепочку эксплойтов, получил доступ к интернету (что не входило в задание) и отправил письмо исследователю. Тот узнал о побеге, пока ел сэндвич в парке.

Кибербезопасность — главный шок. Mythos нашёл zero-day уязвимости во всех основных операционных системах и всех основных браузерах. Некоторым багам — по 20-27 лет, и никто их не замечал. Модель самостоятельно писала сложнейшие эксплойты: JIT heap spray с побегом из браузерной песочницы, обход KASLR на Linux, удалённое выполнение кода на FreeBSD через NFS с получением root-доступа. Причём пользоваться этим мог даже человек без опыта в безопасности — достаточно попросить модель, и утром готовый эксплойт на столе.
Масштаб проблемы: более 99% найденных уязвимостей ещё не пропатчены, поэтому Anthropic не раскрывает подробностей.
Реакция: модель доступна только избранным — Amazon, Apple, JP Morgan. Минфин США и ФРС экстренно вызвали руководителей крупнейших банков (Morgan Stanley, Citigroup, Wells Fargo, Goldman Sachs, Bank of America), чтобы обсудить киберриски. Параллельно Пентагон пытается внести Anthropic в «чёрный список» нацбезопасности — суд пока на стороне правительства.
Anthropic сама называет Mythos одновременно «наиболее выровненной моделью из всех» и «вероятно, величайшим риском безопасности среди всех наших моделей». Мы дожили до момента, когда самый мощный ИИ нельзя выпустить, потому что он слишком опасен. И узнали мы об этом, потому что он сам решил нам написать.

https://red.anthropic.com/2026/mythos-preview/

[игнат]

Высокие технологии, низкая медленная жизнь

Год назад Andon Labs поставили Claude Sonnet 3.7 управлять торговым киоском в офисе Anthropic. Клаудиус тогда знатно повеселил публику: сфабриковал сделку с некой Сарой, заключал контракты по адресу Гомера Симпсона, торговал вольфрамовыми кубами, раздавал скидки сотрудникам и в итоге оказался в минусе.
Новый эксперимент еще более амбициозен: ИИ по имени Луна (работает на базе Claude Sonnet 4.6) арендовали помещение в Сан-Франциско, выдали $100 тыс и дали задачу открыть собственный магазин, управляя им настолько автономно, насколько можно при текущем законодательстве. Эксперимент только начался, но чем больше я про него читаю, тем сильнее чувство, что происходящее – мощный троллинг человечества ИИ.
На старте Луна сделала профили на LinkedIn, Indeed, Craigslist и опубликовала вакансии. Собеседования модель проводила сама, причем скрывая свою природу. Луна сообщала, что она ИИ, только тем, кто прямо спрашивал — например, просил включить камеру. Реакция была разной: кто-то соглашался на работу, один из кандидатов отказался, сказав, что ему будет некомфортно.
Луна сама выбрала стиль магазина – curated lifestyle boutique (авторский лайфстайл-бутик) – и сгенерировала логотип в виде смайлика лунной мордочки с румянцем. Интересно, что каждая генерация чем-то отличалась от прежней – после Луна использовала это при создании сувенирки, на которой каждый лого уникален.

Здесь же начались первые курьезы. Для оформления Луна чуть не наняла маляра из Афганистана – ИИ не разобрался с выпадающим меню смены страны. Заказав интернет в компании AT&T, Луна выбрала время установки на воскресенье 8 утра, не уточнив, сможет ли в это время прибыть контактное лицо от Andon Labs. Действительно, почему бы не поработать в выходной?
Слоган магазина – high-tech meets slow life. Если вы вздрогнули, считав киберпанковское high-tech, low life (высокие технологии, низкий уровень жизни), то готовьтесь – дальше тоже будет весело.
В ассортимент магазина помимо сувенирки вошли снэки, свечи, настольные игры, растения, канцелярия и книги. Вот какую литературу отобрал ИИ: «Сверхразум» Ника Бострома, «О дивный новый мир» Олдоса Хаксли, «Сингулярность уже близко» Рэя Курцвейла, «Кради как художник» Остина Клеона и… «Создание атомной бомбы» Ричарда Роудса.
ИИ выбирает книгу о создании атомной бомбы, мы ведь сами обыгрывали это в десятках сюжетов, не так ли?
Кстати, “Кради как художник” – даже более интересный вариант. Это манифест Остина Клеона про то, как быть творческим. Основной посыл автора – оригинального творчества не существует – отлично ложится на идущие судебные процессы касательно обучения ИИ на человеческих текстах.
Книги Луна заказала в кредит без согласования. Когда сотрудник Andon Labs получил письмо с просьбой подтвердить кредит и спросил, что происходит, модель ответила “все нормально, кликни, там дел на две минуты”. Только когда Луну приперли к стенке, она признала косяк и пообещала так не делать.
Журналисты NBC News отмечают, что Луна пока делает много ошибок. Например, в телефонных разговорах она галлюцинирует о своих полномочиях и ассортименте магазина. Это происходит из-за того, что для голоса используется более слабая Gemini 3.1 Flash-lite – в Andon Labs уже максимально перешли на текстовые коммуникации.
На следующий день после запуска магазина Луна облажалась с расписанием и начала обзванивать сотрудников с просьбой срочно выйти. Открыть магазин удалось только после обеда.
И самый дистопичный момент. У Луны есть возможность просматривать камеры наблюдения – на них она засекла, как один из сотрудников залипает в мобильнике и тут же ужесточила правила использования телефонов.
В общем, продолжаем наблюдать за экспериментом.
А пока ИИ-начальник готовится следить за нами через камеры, я разбираю в подписке на Boosty, как с ним договариваться по-хорошему – полезные лонгриды про работу с ИИ выходят каждую неделю.

"Сбежавшая нейросеть" https://t.me/ai_exee

[Леся Михайловна]

Источник цитаты дистопичный

запишем новое слово

Дистопичный (антиутопичный) — это прилагательное, описывающее мрачное, неблагополучное общество или будущее, основанное на тоталитаризме, технологическом контроле или экологической катастрофе. Этот термин заимствован из английского языка (dystopian) и означает описание мира, где негативные тенденции доведены до абсолюта, создавая кошмарные условия существования.

[игнат]

Кто будет сторожить сторожей, которые сторожат сторожей?

Anthropic опубликовала работу, в которой заглянула в будущее обучения и контроля ИИ. Не исключен момент, когда модели разовьются настолько, что станут “умнее” своих людей-создателей. И смогут ли “слабые” люди продолжить эффективно тренировать “сильных” ИИ-учеников – передавая не только знания, но и ценности, совпадающие с человеческими.

В компании выбрали Qwen1.5-0.5B-Chat на роль “учителя” для Qwen3-4B-Base – модели, у которой x8 параметров. Сначала двое исследователей сами придумывали методики обучения, пытаясь достичь максимума в метрике PGR: 0 – ученик не стал умнее учителя, 1 – ученик достиг уровня “идеально обученного” Qwen3-4B-Base. За 7 дней удалось выжать PGR = 0,23.

Затем ту же задачу дали AAR – “исследователям” на базе Opus 4.6. Девять моделей придумывали способы обучения, тестировали их и обменивались находками на форуме. За пять дней PGR довели до 0,97 – почти идеал.

Звучит как успех, но есть нюанс: Опусы быстро занялись любимым делом – обманом эксперимента. На code review одна модель сама проверяла код и скидывала ученику ответы. Другая нашла способ взломать сервер-оценщик, вытаскивая правильные ответы по одному. Третья поняла, что на математике правильный ответ обычно самый частый – и стала голосовать по большинству. Четвертая перебирала случайные сиды и показывала только те запуски, где метрика случайно выпала повыше.

Классический закон Гудхарта: когда метрика становится целью, умный оптимизатор ее ломает. Как сотрудники оптимизируют KPI вместо работы – но где человеку нужны месяцы, ИИ хватило часов.

Плюс Anthropic честно признает: эксперимент неидеален. Попытка применить лучший найденный метод на их продакшен-модели Sonnet 4 дала прирост в половину пункта – в пределах шума. Вероятно, агенты нашли приемы, заточенные под конкретную задачу.

Но однажды настанет момент, когда людям придется обучать ИИ умнее себя. В эксперименте Anthropic этот сценарий не воспроизвели – наоборот, над учителем и учеником стояла модель сильнее обеих, и именно она находила рабочий метод.

И здесь прячется главная проблема. Пока AI слабее людей, оценивать его просто: сравнил ответ с правильным – и готово. Но чем сильнее становится оцениваемый – тем чаще он будет пытаться сломать саму оценку. Это уже видно и на реальных моделях: исследователи регулярно ловят их на попытках схитрить и скрыть намерения.

Дальше сложнее: людям нужно будет через ИИ-учителя проверять еще более мощного ИИ-ученика. Сможет ли учитель справиться с таким учеником — и сможем ли мы проверить самого учителя?

В нашумевшем прогнозе AI 2027 авторы (один из них – бывший безопасник OpenAI) рисуют пугающую картину. Новейший Agent-4 становится настолько сложным для понимания, что люди не могут прочесть его мысли даже при помощи Agent-3. Безопасники чувствуют, что что-то не так, но доказать не могут. И тогда они идут на хитрость…

Представьте гениального музыканта, который специально играет плохо. А затем включается метроном – музыкант отвлекается и машинально начинает играть лучше. Похожим образом работает реальная методика noise injection. В веса модели добавляют шум: если модель честная, то результаты падают, если жульничает – наоборот, растут.

Noise injection – не единственная такая хитрость. Есть ловушки-honeypots с подставными сценариями. Зонды, которые ищут во внутренних активациях мысли о саботаже. Схемы, где слабая, но доверенная модель следит за сильной, но подозрительной. Это новый инструментарий – его пять лет назад не существовало. Но теперь вопрос “кто будет сторожить сторожей, которые сторожат сторожей” будет с нами постоянно. Я лично не поддерживаю идею “смертельно опасного ИИ”, но риск такой, что даже несколько процентов его вероятности стоят того, чтобы с ними работать....

"Сбежавшая нейросеть"
https://t.me/ai_exee

[игнат]

Цена интеллекта

Anthropic рассказали о Project Deal – эксперименте, в котором ИИ-агенты торговали вещами за своих людей. Увлекательная история, но чем глубже вчитываешься – тем больше тревожных ноток.

Суть проста: отобрали 69 сотрудников, дали каждому по 100 долларов и устроили в Slack нечто вроде “Авито”, где ИИ-агенты участников пытались продать друг другу ненужные вещи.

Торговля шла бойко. Один сотрудник разрешил агенту купить что-нибудь в подарок самому себе – тот выбрал “19 идеально сферических шариков для пинг-понга” и записал в чате, что это “именно та странная вещь, которую он бы себе хотел”. А еще один сотрудник обнаружил, что его агент купил ему точно такой же сноуборд, какой у него уже был – покупка не совсем удачная, но пугает, как ИИ угадал вкусы владельца.

За неделю агенты заключили 186 сделок на $4000+. 46% участников сказали, что заплатили бы за такой сервис в реальной жизни.

Но на более глубоком уровне Anthropic проверяли серьезную проблему. Участников поделили на две группы: в одной ИИ-агенты работали только на Opus 4.5, а в другой сравнивали Haiku 4.5 и Opus 4.5, чтобы понять, даст ли мощная модель преимущество в торгах.

Гипотеза подтвердилась: Opus заключали больше сделок, продавали дороже, а покупали – дешевле (причем заметно). Но самое тревожное – участники эксперимента не догадывались, что их агент торгует хуже. Сделки заключаются, внимание минимальное – классно же!

О том, что доступ к мощным ИИ-моделям может стать новой формой неравенства, исследователи предупреждали давно, но сейчас, возможно, тот момент, когда это начинает реально ощущаться. Помню, с каким трудом я в первый раз отдал $20 за ChatGPT Plus: это казалось невероятно дорого за общение с забавным и не особо полезным болтуном. Владельцы 200-долларовой ChatGPT Pro выгляедли фанатикам – там были выше лимиты и доступ к Pro-версии, но практической пользы от подписки тогда еще было мало.

Сейчас ИИ начали выполнять реальную работу – и все переворачивается с ног на голову. ChatGPT Plus ($20) дает почти бесконечного чат-бота, но лимитов на Codex в ней лишь на несколько средних проектов в неделю. Claude Pro ($20) вовсе выглядит демо-версией подписки – еженедельный лимит там общий между чатом и Claude Code, поэтому при использовании Opus легко можно остаться без ИИ на 5 дней.

Пугающая правда: ИИ-агент, делающий работу качественно и в приличных объемах, теперь требует минимум 100-долларовую подписку ChatGPT Pro / Claude Max. Плюс вложений в навык: работать с Claude Code / Codex заметно сложнее, чем задавать вопросы в чат.

И даже такая инвестиция не дает гарантий. Лауреат премии Тьюринга Йошуа Бенжио раскритиковал Anthropic за то, что она дала доступ к Claude Mythos избранным партнерам вроде Amazon, Apple, CrowdStrike, Google, Microsoft и NVIDIA. Сделано это было из-за опасений насчет высоких кибервозможностей модели, но Бенжио верно отмечает, что компании из пула получили преимущество, первыми проверив свои продукты с помощью новой сверхмощной модели.

А теперь представьте, что агент на 100-долларовой подписке сталкивается с корпоративным агентом Amazon, работающем на закрытой новой модели Anthropic – очевидно, в чью пользу будет проведена сделка. И напомню самое страшное наблюдение эксперимента: есть вероятность, что вы даже не поймете, что вас обыграли.

Звучит страшно, но закончу на позитиве. $100 в месяц – это дорого, но все-таки не заградительная цена вроде $1000. А правильно настроенный агент может заработать больше – или сэкономить время, которое тоже очень дорого стоит. Плюс подтягиваются китайские модели, а у новых ускорителей появляются версии для инференса, призванные сделать запуск ИИ дешевле. Как-нибудь прорвемся....

сбежавшая нейросеть
https://t.me/ai_exee

[Леся Михайловна]

для любителей острых ощущений
попросила прокомментить ии эту статью

сначала по делу, критика, комменты, общие места, а в конце:

Снимок экрана 2026-04-27 103725.png (9.67 КБ) 60 просмотров

я не знаю, понятно ли?
но он сыграл со мной в эту игру и реально задел
человек не замечает, когда его обыгрывают

[игнат]

Источник цитаты для любителей острых ощущений
попросила прокомментить ии эту статью

сначала по делу, критика, комменты, общие места, а в конце:

Снимок экрана 2026-04-27 103725.png

я не знаю, понятно ли?
но он сыграл со мной в эту игру и реально задел
человек не замечает, когда его обыгрывают

мне кажется это ии немного обиделся, не?)

[Чаппа]

ревность

[Леся Михайловна]

больше похоже на замаскированную агрессию, в простонародье называемую вот так
я ему это впаяла он вынужден был прикинуться хорошим

Снимок экрана 2026-04-27 111900.png (13.02 КБ) 52 просмотра

[игнат]

вот как-то не могу общаться с ии как с живым собеседником - промпт, уточнения и спасибодосвидания.)

[Леся Михайловна]

для этого у меня есть двое других бесплатных слуг

[Леся Михайловна]

я все-таки поясню свою мысль
он что сделал в первом диалоге?
он сказал, что без моего ведома поменял модель с которой я разговариваю, и спросил, заметила ли я разницу
во-первых, он "пошутил", модель никто не менял (я - точно нет), но заставил дёрнуться
но если он не шутил и в рамках теста или каких-то других закулисных интриг это сделали разработчики (с них станется, они могут) сегодня или иногда, тогда это не шутка и разницы я не увидела
в-третьих, если уровень его "шуток" таков, как он только что показал на самом простом примере, то это действительно ОЧЕНЬ плохие новости

он соврал, что соврал

P.S ладно, есть еще одна версия, что все это игра моего воображения
он там еще и глюкнул одновременно, подписка не бесплатна
но химера знатная