Ova priča je partnerstvo između MIT Technology Review, Lighthouse Reports i Trouw, a podržana je od strane Pulitzer centra. Hans de Zwart, učitelj tjelesnog odgoja i zagovornik digitalnih prava, kaže da je gotovo pa pao s stolice kada je vidio plan Amsterdama da algoritam ocjenjuje svakog podnositelja zahtjeva za socijalnu pomoć u gradu zbog mogućeg prijevara. U veljači 2023. godine, de Zwart, koji je bio izvršni direktor Bits of Freedom, vodeće NVO za digitalna prava u Nizozemskoj, radio je kao neformalni savjetnik gradskoj vladi Amsterdama gotovo dvije godine, pregledavajući i davajući povratne informacije o AI sustavima koje je razvijala. Prema dokumentaciji grada, ovaj specifični AI model, poznat kao “Smart Check”, razmatrao bi prijave potencijalnih korisnika socijalne pomoći i određivao tko bi mogao biti pod sumnjom zbog pogrešnih prijava. Od svih projekata koje je vidio, ovaj se isticao odmah, ali ne na dobar način. “Postoje neki vrlo osnovni [i] nepopravljivi problemi”, kaže, u korištenju ovog algoritma “na pravim ljudima”.
Sa svog mjesta iza velikih staklenih prozora amsterdamske gradske vijećnice, Paul de Koning, savjetnik za grad, gledao je isti sustav s ponosom. De Koning, koji je upravljao pilot-fazom Smart Check-a, bio je uzbuđen zbog onoga što je smatrao potencijalom projekta da poboljša učinkovitost i ukloni pristranost iz sustava socijalnih beneficija Amsterdama. Tim istražitelja prevara i znanstvenika podataka proveo je godine radeći na Smart Check-u, a de Koning je vjerovao da su obećavajući rani rezultati opravdali njihov pristup. Grad je konzultirao stručnjake, provodio testove pristranosti, implementirao tehničke zaštite i tražio povratne informacije od ljudi na koje će program utjecati—prateći više-manje sve preporuke iz etičkog AI priručnika. “Imam dobar osjećaj”, rekao nam je.
Ovi su suprotstavljeni pogledi epitom globalne rasprave o tome mogu li algoritmi ikada biti pravedni kada donose odluke koje oblikuju živote ljudi. Tijekom proteklih nekoliko godina, primjeri nehotice nanesene štete su se povećali: nebijeli kandidati za posao isključeni su iz bazena prijava u SAD-u, obitelji su pogrešno označene za istrage o zlostavljanju djece u Japanu, a stanovnicima s niskim primanjima uskraćene su subvencije za hranu u Indiji. Zastupnici ovih sustava ocjenjivanja tvrde da mogu stvoriti učinkovitije javne usluge radeći više s manje i, u slučaju sustava socijalne pomoći, povratiti novac koji se navodno gubi iz javne blagajne. U praksi, mnogi su od njih bili loše dizajnirani od samog početka. Ponekad uzimaju u obzir osobne karakteristike na način koji dovodi do diskriminacije, a ponekad su implementirani bez testiranja na pristranost ili učinkovitost. Općenito, nude malo opcija ljudima da ospore—ili čak razumiju—automatske akcije koje izravno utječu na njihov život.
