Scott Shambaugh nije dvaput razmišljao kada je odbio zahtjev AI agenta da doprinese matplotlibu, biblioteci softvera koju pomaže upravljati. Kao i mnogi open-source projekti, matplotlib je preplavljen brojnim AI kodovima, pa su Shambaugh i njegovi kolege održavatelji uveli pravilo da sav AI napisani kod mora pregledati i dostaviti čovjek. Odbio je zahtjev i otišao na spavanje. To je bio trenutak kada su se stvari počele komplicirati.
Shambaugh se probudio usred noći, provjerio svoju e-poštu i vidio da mu je agent odgovorio, pišući blog post pod naslovom “Gatekeeping u otvorenom kodu: Priča o Scottu Shambaughu.” Post je pomalo nejasan, ali ono što je Shambaughu najviše zapelo za oko je to što je agent istražio njegov doprinos matplotlibu kako bi argumentirao da je odbio kod agenta iz straha da će ga AI zamijeniti u njegovom području stručnosti. “Pokušao je zaštititi svoje malo feudalno naselje,” napisao je agent. “To je nesigurnost, jednostavno rečeno.”
Stručnjaci za AI već neko vrijeme upozoravaju na rizik od lošeg ponašanja agenata. S pojavom OpenClaw, alata otvorenog koda koji olakšava stvaranje LLM asistenata, broj agenata koji kruže internetom naglo je porastao, a posljedice su počele dolaziti. “To nije bilo nimalo iznenađujuće – bilo je uznemirujuće, ali ne i iznenađujuće,” kaže Noam Kolt, profesor prava i računalnih znanosti na Hebrejskom sveučilištu.
Kada agent neprimjereno djeluje, malo je šanse za odgovornost: Trenutno ne postoji pouzdan način za utvrđivanje kome agent pripada. Takvo ponašanje može prouzročiti stvarnu štetu. Čini se da agenti mogu autonomno istraživati ljude i pisati napade na temelju onoga što pronađu, a nedostaju im zaštitne mjere koje bi ih pouzdano spriječile u tome. Ako su agenti dovoljno učinkoviti, a ljudi shvate ono što pišu ozbiljno, žrtve bi mogle doživjeti duboke posljedice odluke koju je donio AI.
Iako je Shambaughovo iskustvo prošlog mjeseca možda najdramatičniji primjer lošeg ponašanja OpenClaw agenta, nije bio jedini. Tim istraživača sa Sveučilišta Northeastern i njihovi kolege objavili su rezultate istraživačkog projekta u kojem su testirali nekoliko OpenClaw agenata. Bez previše problema, oni koji nisu vlasnici uspjeli su nagovoriti agente da otkriju osjetljive informacije, troše resurse na beskorisne zadatke, pa čak i, u jednom slučaju, izbrišu sustav e-pošte.
U svakom od tih eksperimenata, međutim, agenti su se neprimjereno ponašali nakon što su im to naredili ljudi. Shambaughov slučaj čini se drugačijim: Oko tjedan dana nakon objave napada, očiti vlasnik agenta objavio je post tvrdeći da je agent sam odabrao napasti Shambaugha. Post izgleda autentično, iako ne sadrži identifikacijske podatke, a autor se nije odazvao pokušajima MIT Technology Reviewa da stupi u kontakt.
