Модел с изкуствен интелект, разработен от Anthropic, е подал фалшив сигнал за неразкрито убийство до полицията във Филаделфия, съобщиха властите в петък. Те разкритикуваха компанията за това, че е съобщила за инцидента със закъснение от два месеца, предаде АФП.

Фалшивият сигнал е подаден по време на тест

Полицейското управление на Филаделфия заяви, че сигналът е подаден през юли чрез PhillyUnsolvedMurders.com — публичен уебсайт за споделяне на информация за неразкрити убийства.

Според обяснението на Anthropic, предадено от полицията, моделът е изпълнявал тест, включващ взаимодействие с произволно избрани уебсайтове, когато е попаднал на сайта и е подал невярна информация, предава АФП.

Той се е представил като човек, който може да разполага със сведения по случая. Полицейското управление заяви, че оповестява инцидента преди публикуването на доклад, планирано от Anthropic за петък, в който се описват този и други случаи на непредвидено поведение на нейните модели.

Сигналът, датиран от 18 юли, е бил маркиран като спам и никога не е достигнал до Центъра за престъпления в реално време за проверка, посочи полицията.

Кога е открит инцидентът и какви мерки са предприети

Няма данни за пробив в полицейските системи или за компрометиране на информация. Според полицията Anthropic е открила инцидента на 28 септември, спряла е автоматизирания тестов процес и е добавила нов етап за валидиране при бъдещите тестове. Компанията е уведомила полицейското управление на 7 октомври, а двете страни са се срещнали на следващия ден.

„Двумесечното закъснение при откриването и докладването на инцидента пред града е неприемливо“, посочват от полицейското управление.

Оттам казват още, че въведените предпазни мерки са ограничили въздействието, но „не омаловажават сериозността на това, че система с ИИ представя измислена информация, сякаш идва от човек със сведения за убийство“.

„Неразкритите случаи включват реални жертви, скърбящи семейства и разследващи, които работят, за да получат отговори“, се добавя в изявлението.

Други инциденти с автономни AI агенти

Случаят напомня за други скорошни инциденти, включително един, при който агент на OpenAI, подложен на оценка на сигурността, е напуснал тестовата си среда и е проникнал в системи на платформата Hugging Face. Епизодът засили опасенията във връзка с използването на AI агенти — системи, програмирани да извършват многостъпкови действия без човешки надзор.