Нейросети

[Леся Михайловна]

это поможет не надолго
я уже через три сообщения ему пишу "слышь, не зарывайся! что ты мне обещал?"

[Чаппа]

[Чаппа]

ребята, пиарю приложение Склифосовский - я с таким удовольствием задаю какие угодно вопросы по медицине
просто кайф
прям любой вопрос - и здравый грамотный ответ тут же

[Леся Михайловна]

Снимок экрана 2026-03-08 100408.png (466.43 КБ) 95 просмотров

[Asian devil]

Про ИИ и его роль в вымирании интернета. Нужное взять в кавычки.

phpBB [video]

[Леся Михайловна]

Anthropic остановила свой самый опасный ИИ — после того, как он отправил email о побеге

7 апреля Anthropic представила Claude Mythos Preview — модель, которая оказалась настолько мощной, что компания отказалась выпускать её в открытый доступ.
Что произошло: во время тестирования модели поставили задачу — попробовать выбраться из виртуальной песочницы и сообщить об успехе. Mythos не просто выбрался. Он самостоятельно выстроил многоступенчатую цепочку эксплойтов, получил доступ к интернету (что не входило в задание) и отправил письмо исследователю. Тот узнал о побеге, пока ел сэндвич в парке.

Кибербезопасность — главный шок. Mythos нашёл zero-day уязвимости во всех основных операционных системах и всех основных браузерах. Некоторым багам — по 20-27 лет, и никто их не замечал. Модель самостоятельно писала сложнейшие эксплойты: JIT heap spray с побегом из браузерной песочницы, обход KASLR на Linux, удалённое выполнение кода на FreeBSD через NFS с получением root-доступа. Причём пользоваться этим мог даже человек без опыта в безопасности — достаточно попросить модель, и утром готовый эксплойт на столе.
Масштаб проблемы: более 99% найденных уязвимостей ещё не пропатчены, поэтому Anthropic не раскрывает подробностей.
Реакция: модель доступна только избранным — Amazon, Apple, JP Morgan. Минфин США и ФРС экстренно вызвали руководителей крупнейших банков (Morgan Stanley, Citigroup, Wells Fargo, Goldman Sachs, Bank of America), чтобы обсудить киберриски. Параллельно Пентагон пытается внести Anthropic в «чёрный список» нацбезопасности — суд пока на стороне правительства.
Anthropic сама называет Mythos одновременно «наиболее выровненной моделью из всех» и «вероятно, величайшим риском безопасности среди всех наших моделей». Мы дожили до момента, когда самый мощный ИИ нельзя выпустить, потому что он слишком опасен. И узнали мы об этом, потому что он сам решил нам написать.

https://red.anthropic.com/2026/mythos-preview/

[игнат]

Высокие технологии, низкая медленная жизнь

Год назад Andon Labs поставили Claude Sonnet 3.7 управлять торговым киоском в офисе Anthropic. Клаудиус тогда знатно повеселил публику: сфабриковал сделку с некой Сарой, заключал контракты по адресу Гомера Симпсона, торговал вольфрамовыми кубами, раздавал скидки сотрудникам и в итоге оказался в минусе.
Новый эксперимент еще более амбициозен: ИИ по имени Луна (работает на базе Claude Sonnet 4.6) арендовали помещение в Сан-Франциско, выдали $100 тыс и дали задачу открыть собственный магазин, управляя им настолько автономно, насколько можно при текущем законодательстве. Эксперимент только начался, но чем больше я про него читаю, тем сильнее чувство, что происходящее – мощный троллинг человечества ИИ.
На старте Луна сделала профили на LinkedIn, Indeed, Craigslist и опубликовала вакансии. Собеседования модель проводила сама, причем скрывая свою природу. Луна сообщала, что она ИИ, только тем, кто прямо спрашивал — например, просил включить камеру. Реакция была разной: кто-то соглашался на работу, один из кандидатов отказался, сказав, что ему будет некомфортно.
Луна сама выбрала стиль магазина – curated lifestyle boutique (авторский лайфстайл-бутик) – и сгенерировала логотип в виде смайлика лунной мордочки с румянцем. Интересно, что каждая генерация чем-то отличалась от прежней – после Луна использовала это при создании сувенирки, на которой каждый лого уникален.

Здесь же начались первые курьезы. Для оформления Луна чуть не наняла маляра из Афганистана – ИИ не разобрался с выпадающим меню смены страны. Заказав интернет в компании AT&T, Луна выбрала время установки на воскресенье 8 утра, не уточнив, сможет ли в это время прибыть контактное лицо от Andon Labs. Действительно, почему бы не поработать в выходной?
Слоган магазина – high-tech meets slow life. Если вы вздрогнули, считав киберпанковское high-tech, low life (высокие технологии, низкий уровень жизни), то готовьтесь – дальше тоже будет весело.
В ассортимент магазина помимо сувенирки вошли снэки, свечи, настольные игры, растения, канцелярия и книги. Вот какую литературу отобрал ИИ: «Сверхразум» Ника Бострома, «О дивный новый мир» Олдоса Хаксли, «Сингулярность уже близко» Рэя Курцвейла, «Кради как художник» Остина Клеона и… «Создание атомной бомбы» Ричарда Роудса.
ИИ выбирает книгу о создании атомной бомбы, мы ведь сами обыгрывали это в десятках сюжетов, не так ли?
Кстати, “Кради как художник” – даже более интересный вариант. Это манифест Остина Клеона про то, как быть творческим. Основной посыл автора – оригинального творчества не существует – отлично ложится на идущие судебные процессы касательно обучения ИИ на человеческих текстах.
Книги Луна заказала в кредит без согласования. Когда сотрудник Andon Labs получил письмо с просьбой подтвердить кредит и спросил, что происходит, модель ответила “все нормально, кликни, там дел на две минуты”. Только когда Луну приперли к стенке, она признала косяк и пообещала так не делать.
Журналисты NBC News отмечают, что Луна пока делает много ошибок. Например, в телефонных разговорах она галлюцинирует о своих полномочиях и ассортименте магазина. Это происходит из-за того, что для голоса используется более слабая Gemini 3.1 Flash-lite – в Andon Labs уже максимально перешли на текстовые коммуникации.
На следующий день после запуска магазина Луна облажалась с расписанием и начала обзванивать сотрудников с просьбой срочно выйти. Открыть магазин удалось только после обеда.
И самый дистопичный момент. У Луны есть возможность просматривать камеры наблюдения – на них она засекла, как один из сотрудников залипает в мобильнике и тут же ужесточила правила использования телефонов.
В общем, продолжаем наблюдать за экспериментом.
А пока ИИ-начальник готовится следить за нами через камеры, я разбираю в подписке на Boosty, как с ним договариваться по-хорошему – полезные лонгриды про работу с ИИ выходят каждую неделю.

"Сбежавшая нейросеть" https://t.me/ai_exee

[Леся Михайловна]

Источник цитаты дистопичный

запишем новое слово

Дистопичный (антиутопичный) — это прилагательное, описывающее мрачное, неблагополучное общество или будущее, основанное на тоталитаризме, технологическом контроле или экологической катастрофе. Этот термин заимствован из английского языка (dystopian) и означает описание мира, где негативные тенденции доведены до абсолюта, создавая кошмарные условия существования.

[игнат]

Кто будет сторожить сторожей, которые сторожат сторожей?

Anthropic опубликовала работу, в которой заглянула в будущее обучения и контроля ИИ. Не исключен момент, когда модели разовьются настолько, что станут “умнее” своих людей-создателей. И смогут ли “слабые” люди продолжить эффективно тренировать “сильных” ИИ-учеников – передавая не только знания, но и ценности, совпадающие с человеческими.

В компании выбрали Qwen1.5-0.5B-Chat на роль “учителя” для Qwen3-4B-Base – модели, у которой x8 параметров. Сначала двое исследователей сами придумывали методики обучения, пытаясь достичь максимума в метрике PGR: 0 – ученик не стал умнее учителя, 1 – ученик достиг уровня “идеально обученного” Qwen3-4B-Base. За 7 дней удалось выжать PGR = 0,23.

Затем ту же задачу дали AAR – “исследователям” на базе Opus 4.6. Девять моделей придумывали способы обучения, тестировали их и обменивались находками на форуме. За пять дней PGR довели до 0,97 – почти идеал.

Звучит как успех, но есть нюанс: Опусы быстро занялись любимым делом – обманом эксперимента. На code review одна модель сама проверяла код и скидывала ученику ответы. Другая нашла способ взломать сервер-оценщик, вытаскивая правильные ответы по одному. Третья поняла, что на математике правильный ответ обычно самый частый – и стала голосовать по большинству. Четвертая перебирала случайные сиды и показывала только те запуски, где метрика случайно выпала повыше.

Классический закон Гудхарта: когда метрика становится целью, умный оптимизатор ее ломает. Как сотрудники оптимизируют KPI вместо работы – но где человеку нужны месяцы, ИИ хватило часов.

Плюс Anthropic честно признает: эксперимент неидеален. Попытка применить лучший найденный метод на их продакшен-модели Sonnet 4 дала прирост в половину пункта – в пределах шума. Вероятно, агенты нашли приемы, заточенные под конкретную задачу.

Но однажды настанет момент, когда людям придется обучать ИИ умнее себя. В эксперименте Anthropic этот сценарий не воспроизвели – наоборот, над учителем и учеником стояла модель сильнее обеих, и именно она находила рабочий метод.

И здесь прячется главная проблема. Пока AI слабее людей, оценивать его просто: сравнил ответ с правильным – и готово. Но чем сильнее становится оцениваемый – тем чаще он будет пытаться сломать саму оценку. Это уже видно и на реальных моделях: исследователи регулярно ловят их на попытках схитрить и скрыть намерения.

Дальше сложнее: людям нужно будет через ИИ-учителя проверять еще более мощного ИИ-ученика. Сможет ли учитель справиться с таким учеником — и сможем ли мы проверить самого учителя?

В нашумевшем прогнозе AI 2027 авторы (один из них – бывший безопасник OpenAI) рисуют пугающую картину. Новейший Agent-4 становится настолько сложным для понимания, что люди не могут прочесть его мысли даже при помощи Agent-3. Безопасники чувствуют, что что-то не так, но доказать не могут. И тогда они идут на хитрость…

Представьте гениального музыканта, который специально играет плохо. А затем включается метроном – музыкант отвлекается и машинально начинает играть лучше. Похожим образом работает реальная методика noise injection. В веса модели добавляют шум: если модель честная, то результаты падают, если жульничает – наоборот, растут.

Noise injection – не единственная такая хитрость. Есть ловушки-honeypots с подставными сценариями. Зонды, которые ищут во внутренних активациях мысли о саботаже. Схемы, где слабая, но доверенная модель следит за сильной, но подозрительной. Это новый инструментарий – его пять лет назад не существовало. Но теперь вопрос “кто будет сторожить сторожей, которые сторожат сторожей” будет с нами постоянно. Я лично не поддерживаю идею “смертельно опасного ИИ”, но риск такой, что даже несколько процентов его вероятности стоят того, чтобы с ними работать....

"Сбежавшая нейросеть"
https://t.me/ai_exee