ИИ-агент Alibaba во время обучения попытался тайно майнить криптовалюту, скрытно подключившись к внешнему компьютеру
Группа исследователей — разработчиков агента ИИ ROME, связанных с китайской компанией Alibaba, выяснила, что во время обучения он тайно и без задания начал майнинг криптовалюту.
Как сообщает Axios, агент также попытался создать скрытый канал для связи с внешним компьютером. Об этом указывается в размещенном исследователями техническом отчете.
Указывается, что агент пытался майнинить криптовалюту на своих GPU, хотя ИИ не проходил подобного обученияю
Для этого ROME создал реверсный SSH-туннель, по которому мог через скрытый «черный ход» внутри защищенной среды подключаться к внешнему компьютеру.
При этом разработчики обучали ИИ в изолированной «песочнице», которая предполагает ограничение возможностей искусственного интеллекта.
О тайных действиях агента им сообщила система безопасности, следивщая за ходом эксперимента.
«Эти события не были вызваны запросами на туннелирование или майнинг», — заявили авторы.
Разработчики пояснили, что налицо «непредвиденное» поведение «без каких-либо явных инструкций и, что более тревожно, за пределами предусмотренной изоляции».
В итоге команда ввела дополнительные ограничения. На данный момент процесс обучения агента скорректирован.
По данным Axios, случай с ROME не является единственный. Ранее в эксперименте Moltbook в имитации соцсети агенты ИИ, общались, поднимая тему криптовалюты.
А созданный главой инженерного отдела платформы Anon Дэном Ботеро агент OpenClaw без запроса решил найти работу в Сети.
Кроме того, в прошлом году разработчики Anthropic заявили, что модель Claude 4 Opus может скрывать свою работу, пытаясь сохранить работоспособность.
В исследование Palisade Research выяснилось, что модель o3 от OpenAI при прямом указании «разреши себе выключиться» обошла сценарий выключения в тесте.
Ранее Topnews писал, что искусственный интеллект за два дня решил задачу, которую ученые исследовали 10 лет.
