Autonomni AI sustavi počinju izlaziti iz softverskih okruženja i ulaze u skladišta, mreže dostave i javne prostore. Ovaj razvoj izaziva pitanja pokrivaju li trenutna pravila o AI sustavima koji djeluju u fizičkim okruženjima.
Većina postojećih okvira za upravljanje AI-jem fokusirala se na online štete i izlaze modela, uključujući pristranost, dezinformacije i štetne sadržaje. Ugrađeni AI sustavi nose rizike u fizičkim okruženjima gdje kvarovi mogu utjecati na infrastrukturu, imovinu ili ljudsku sigurnost.
Singapurska Agencija za razvoj informacijsko-komunikacijskih medija objavila je verziju 1.5 svog Okvira za upravljanje AI-jem za agentne AI 20. svibnja. Okvir postavlja smjernice za organizacije koje implementiraju AI agente koji mogu planirati, donositi odluke i poduzimati radnje u više koraka radi postizanja ciljeva definiranih od strane korisnika.
Okvir navodi da agenti mogu komunicirati s alatima, vanjskim sustavima i drugim agentima, uključujući sustave koji ažuriraju baze podataka, pišu datoteke, kontroliraju uređaje ili obavljaju transakcije. Navode se kontrola pristupa, nadzor i odobrenje ljudi među mjerama upravljanja za implementaciju.
AI ulazi u fizičke sustave
Na AI summitu u Singapuru prošli tjedan, rasprave o robotici i ugrađenom AI-u fokusirale su se na pitanja operativne sigurnosti koja su češće povezana s avijacijom, industrijskim sustavima i nadzorom kritične infrastrukture nego s konvencionalnom regulacijom softvera.
Govornici su također raspravljali o tome mogu li autonomni sustavi sigurno i pouzdano raditi u nepredvidivim stvarnim okruženjima tijekom dužih razdoblja.
Dr. Ya-Qin Zhang, osnivač Instituta za istraživanje AI industrije na Sveučilištu Tsinghua, rekao je da ugrađeni AI sustavi pojačavaju rizike koji su već povezani s autonomnim softverom. Istaknuo je da kvarovi mogu izravno utjecati na transportne sustave, dronove, logističke mreže i kritičnu infrastrukturu.
“Svaki rizik u digitalnom prostoru bit će pojačan u fizičkom prostoru, a fizički prostor će imati fizičke posljedice,” rekao je Zhang za MLex na marginama summita.
Tijekom summita raspravljalo se o pouzdanosti, operativnom nadzoru i osiguranju nakon implementacije kao o pitanjima upravljanja. Rasprave su ukazale na modele upravljanja temeljene na implementaciji koji se oslanjaju na simulacije, telemetriju i iterativno testiranje, umjesto samo na jednokratnu certifikaciju.
IMDA-in okvir također preporučuje postupne implementacije, kontinuirani nadzor i daljnje testiranje nakon implementacije. Navodi da agenti dinamički komuniciraju sa svojim okruženjem i da se svi rizici ne mogu predvidjeti prije puštanja u rad.
Nadzor postaje pitanje implementacije
Grab, koji testira autonomna vozila i robote za dostavu u singapurskoj četvrti Punggol, rekao je da upravljanje implementacijom uvelike ovisi o simulacijama, testiranju i kontinuiranom nadzoru.
“Izvodimo mnogo simulacija, testiramo na zatvorenim i otvorenim stazama kako bismo osigurali pouzdanost naših robota,” rekao je Suthen Thomas Paradatheth, CTO tvrtke Grab, tijekom jednog od panela na summitu.
“Prije nego što pređemo na stotine robota, prvo to provjeravamo u simulaciji s nekoliko robota,” dodao je.
Grab je također ukazao na sustave nadzora namijenjene praćenju performansi robota i otkrivanju neočekivanih kvarova nakon implementacije.
“Postoji dugačak niz problema koji bi se mogli pojaviti,” rekao je Paradatheth.
IMDA-ov okvir kaže da bi organizacije trebale procijeniti slučajeve korištenja agentnog AI-a na temelju pristupa podacima, pristupa vanjskim sustavima, autonomije i složenosti zadataka. Također se ukazuje na opseg i reverzibilnost radnji agenata, uključivanje trećih strana i ukupnu složenost sustava.
Preporučuje se ograničavanje pristupa agenata alatima i sustavima, primjena dozvola najmanje privilegije i definiranje standardnih operativnih postupaka za radne tokove agenata. Organizacije trebaju postaviti mehanizme za isključivanje agenata kada dođe do kvara.
