Kako bi se suočili s izazovima vezanim uz sigurnost umjetne inteligencije, Google DeepMind, koji je na Google I/O prošlog mjeseca predstavio alate temeljene na agentima, udružio se s nekoliko organizacija kako bi najavio fond od 10 milijuna dolara za istraživače. Cilj je proučiti ponašanje sustava s više agenata i razviti načine za sprječavanje nesigurnih scenarija. Uz Google DeepMind, u projekt su uključeni Schmidt Sciences, filantropska udruga koju su osnovali Eric i Wendy Schmidt; ARIA, britanska vladina agencija; te Cooperative AI, neprofitna istraživačka organizacija iz Ujedinjenog Kraljevstva, kao i Googleova dobrotvorna grana, Google.org.
Shah i James Fox, koji vodi program Science of Trustworthy AI u Schmidt Sciences, nadaju se da će s ovih 10 milijuna dolara potaknuti istraživanje izvan tehnoloških kompanija. “Snaga akademske zajednice leži u tome što može gledati daleko u budućnost i raditi na stvarima koje nisu prioritet industrijskih laboratorija”, rekao je Shah. “Glavni problem je što još uvijek ne postoji istraživačko polje za sigurnost sustava s više agenata”, dodao je. “A željeli bismo da postoji.”
Briga se javlja kako se sve više AI agenata implementira i počinje raditi zajedno, što može dovesti do trenutka kada zamišljeni scenariji postanu stvarnost. “To vidimo i kod čovječanstva”, kaže Shah. “Naše institucije mogu postići stvari koje nijedna pojedinačna osoba ne može.” Shah smatra da imamo još nekoliko mjeseci prije nego što se agenti počnu implementirati u gospodarstvu u brojevima koji donose stvarne rizike. Želi se pripremiti za taj trenutak.
Koji su to rizici? Mogućnosti koje Shah i Fox imaju na umu većinom se svode na ekstremne verzije loših stvari koje se već događaju na internetu: prijevare, prompt injekcije (gdje se AI agentu daju zlonamjerne upute, pretvarajući ga u samovođeni komad zloćudnog softvera) i drugi oblici cyber napada. “Gledamo što ljudi rade sada i pitamo se kakva bi bila verzija agenata toga”, objašnjava Shah.
Shah i Fox smatraju da je jedini način da shvatimo što bi se moglo dogoditi kada se veliki brojevi sustava s više agenata međusobno povežu provoditi realistične simulacije. Žele da istraživači testiraju AI agente u kontroliranim okruženjima i prouče njihovo ponašanje. “Ne možete predvidjeti što će se dogoditi proučavajući pojedinačne agente ili čak male grupe u izolaciji”, naglašava Fox.
Neki istraživači, uključujući tim iz Google DeepMind, smatraju da bi umjetna opća inteligencija (ako je uopće moguća) mogla nastati ne iz jednog super pametnog modela, već iz vrste zajedničkog uma agenata, gdje se sposobnosti cijele skupine zbrajaju i nadmašuju zbroj pojedinačnih dijelova.
Google DeepMind nije jedina vodeća AI tvrtka koja upozorava na rizike tehnologije koju razvija. Prije nekoliko tjedana, Anthropic je objavio smjernice za implementaciju AI agenata temeljenih na pristupu poznatom kao zero trust, koji počinje s pretpostavkom da je računalni sustav ranjiv, da je agent napadač i da će doći do provale.
Refael Angel, suosnivač i CTO Akeylessa, tvrtke za cyber sigurnost sa sjedištem u Tel Avivu, slaže se da je razumijevanje novih rizika koje uvode sustavi temeljeni na agentima ključno. “Svaki prethodni pristup sigurnosti pretpostavljao je da je stroj u pitanju softver napisan od strane čovjeka, koji radi fiksne stvari na fiksnim putanjama”, kaže Angel. “Agent ruši sve te pretpostavke.”
