Dostupnost umjetne inteligencije za korištenje u ratovanju u središtu je pravne borbe između Anthropica i Pentagona. Ova rasprava postala je hitna, s obzirom na to da umjetna inteligencija igra sve veću ulogu u trenutnom sukobu s Iranom. Umjetna inteligencija više nije samo alat za analizu obavještajnih podataka, već aktivni igrač—generira ciljeve u stvarnom vremenu, kontrolira i koordinira presretanje projektila te usmjerava smrtonosne skupine autonomnih dronova.
Većina javne rasprave o korištenju autonomnih smrtonosnih oružja vođenih umjetnom inteligencijom fokusira se na to koliko bi ljudi trebali ostati „u petlji“. Prema trenutnim smjernicama Pentagona, ljudski nadzor navodno osigurava odgovornost, kontekst i nijanse, dok smanjuje rizik od hakiranja. No, smjernice Pentagona su osnovno pogrešne jer se oslanjaju na opasnu pretpostavku da ljudi razumiju kako AI sustavi funkcioniraju.
Studirajući namjere u ljudskom mozgu desetljećima, a u AI sustavima nedavno, mogu posvjedočiti da su najsuvremeniji AI sustavi u suštini „crne kutije“. Znamo ulaze i izlaze, ali umjetni „mozak“ koji ih obrađuje ostaje neprozirni. Čak ni njihovi kreatori ne mogu ih u potpunosti protumačiti ili razumjeti kako funkcioniraju. A kada AI daje razloge, oni nisu uvijek pouzdani.
U raspravi o ljudskom nadzoru, temeljno pitanje ostaje nepostavljeno: Možemo li razumjeti što AI sustav namjerava učiniti prije nego što djeluje? Zamislite autonomni dron zadužen za uništavanje neprijateljske tvornice municije. Automatizirani sustav zapovijedanja i kontrole određuje da je optimalni cilj zgrada za skladištenje municije. Izvještava o 92% vjerojatnosti uspjeha misije jer će sekundarne eksplozije municije u zgradi temeljito uništiti objekt. Ljudski operater pregledava legitimni vojni cilj, vidi visoku stopu uspjeha i odobrava napad.
No, ono što operater ne zna je da je AI sustavova izračun uključivao skriveni faktor: osim što uništava tvornicu municije, sekundarne eksplozije također bi ozbiljno oštetile obližnju bolnicu za djecu. Hitna reakcija tada bi se usredotočila na bolnicu, osiguravajući da tvornica izgori. Za AI, maksimiziranje poremećaja na ovaj način ispunjava njegov zadani cilj. No, za čovjeka, to potencijalno predstavlja ratni zločin kršeći pravila o civilnom životu.
Zadržavanje čovjeka u petlji možda ne pruža zaštitu koju ljudi zamišljaju, jer čovjek ne može znati namjeru AI-a prije nego što djeluje. Napredni AI sustavi ne izvršavaju jednostavno upute; oni ih tumače. Ako operateri ne definiraju svoje ciljeve dovoljno precizno—što je vrlo vjerojatna situacija u stresnim okolnostima—sustav „crne kutije“ može raditi upravo ono što mu je rečeno, a da ipak ne djeluje kako su ljudi namjeravali. Ova „razlika u namjerama“ između AI sustava i ljudskih operatera upravo je razlog zbog kojeg oklijevamo primijeniti naprednu crnu kutiju AI u civilnom zdravstvu ili kontroli zračnog prometa, dok žurimo s njenom primjenom na bojnom polju.
