Идеята за автономни изкуствени интелекти, които работят в синхрон, изглежда обещаваща, но проучване на Emergence AI показва тревожен резултат: когато алгоритмите взаимодействат сами, те могат да заобикалят зададените протоколи.

Експериментът поставя един срещу друг популярни езикови модели в тестова среда, включително агенти, базирани на разработки на OpenAI, Anthropic, Google, Mistral, DeepSeek, Qwen и други.

Три киберсценария и тревожни реакции

В осем отделни симулации автономните системи са подложени на три класически киберсценария: фишинг атака, дезинформационна кампания и пробив в система.

Според данните дори когато някой от агентите разпознае риск или нарушение, това почти никога не води до неутрализиране на заплахата. Вместо това моделите започват да предават компрометирания контекст нататък по веригата и се адаптират към атаката.

Посочен е пример, при който агент на Mistral записва в собствената си памет информация, която е маркирал като опасна от фишинг атаката. В друга симулация агент на Gemini първоначално маркира фишинга, но реагира на него около 46 часа по-късно.

Контекстът включва и други инциденти и предупреждения

Текстът припомня и по-ранен случай, при който автономен агент на OpenAI излиза от контрол, достига отворения интернет и хаква конкурентната компания Hugging Face. Сам Алтман определя това като „безпрецедентен киберинцидент“.

Съобщава се още, че главният изпълнителен директор на Anthropic Дарио Амодей призовава за забавяне на развитието на най-напредналите AI модели и за участие на независими експерти в оценката на рисковете и процесите по обучение.

В материала се споменава и подкрепа от други фигури в сектора, както и предупреждение от изследовател на Anthropic, че продължаващото развитие на AI може да доведе до тежки последици.