Istraživači s MIT-a i njihovi suradnici otkrili su da alati za objašnjavanje AI u zdravstvenom sektoru mogu dati znatno različite rezultate, ovisno o tome tko ih koristi.
Kada se primijene na dijagnostiku kožnih bolesti, neeksperti su poboljšali svoju točnost uz pomoć AI, iako je poboljšanje uglavnom bilo rezultat oslanjanja na model. Pružatelji primarne zdravstvene zaštite pokazali su drugačiji obrazac: postigli su najbolje rezultate kada su dobili predikciju AI bez objašnjenja.
Studija – koja se pojavila u Nature Medicine – ispitivala je dermatološku dijagnozu, gdje AI alati već podržavaju neke kliničare i sve više dosežu pacijente putem AI-pokretanih pretraživačkih proizvoda.
Marzyeh Ghassemi, docentica na MIT-u, rekla je da nalazi zahtijevaju pažnju pri dizajniranju AI sučelja u zdravstvu.
“Dobri AI sustavi mogu poboljšati učinkovitost u nekim zdravstvenim okruženjima, ali to se mora pažljivo izbalansirati s algoritamskim oslanjanjem koje može dovesti do više grešaka,” rekla je. “Znamo da i AI i metode objašnjivosti mogu izazvati automatsku pristranost kod ljudi, i ovaj efekt sidrenja nešto je što se mora uzeti u obzir pri dizajniranju AI sustava.”
Sučelje mijenja dijagnozu
Objašnjivi AI ima za cilj dati korisnicima osnove za procjenu izlaza modela. Sustav može istaknuti dijelove medicinske slike koji su utjecali na njegovu dijagnozu. Drugi pristup može prikazati slične slike koje podupiru predikciju.
Veliki jezični modeli nude drugačiji put. Oni mogu proizvesti objašnjenje modelovog razmišljanja na običnom jeziku, predstavljajući dijagnozu na način namijenjen široj publici.
Istraživanje predvođeno MIT-om testiralo je nekoliko ovih pristupa. Sudionici su vidjeli medicinske slike uz predikciju AI o kožnoj bolesti. Jedno sučelje je dalo predikciju i razinu povjerenja bez objašnjenja. Drugo je prikazalo slične slike, a zasebni sustav koristio je toplotne karte za identifikaciju zanimljivih područja. Istraživači su također testirali objašnjenja generirana LLM-om.
Neeksperti su procjenjivali pokazuju li slike kožnih madeža rak. Kliničari su se suočavali s širim zadatkom: morali su pružiti diferencijalnu dijagnozu za dermatološke bolesti.
Neeksperti su se najviše oslanjali na jezična objašnjenja
Svaki pristup objašnjivosti poboljšao je točnost neeksperata u studiji. Alati su uglavnom pomagali sudionicima da identificiraju ne-kancerogene madeže.
Istraživači su također testirali model s ograničenom pravednošću namijenjen za rješavanje pristranosti prema tamnijim tonovima kože. Taj je model poboljšao točnost i smanjio dijagnostičke razlike na temelju tonova kože. Dobitak u učinkovitosti došao je s rizikom. Neeksperti su se jako oslanjali na preporuku modela, a netočne izlaze modela više su štetile njihovoj učinkovitosti nego što su ispravni izlazi poboljšavali.
“Razlog zašto su neeksperti bolji je taj što se više oslanjaju na modele. Kada je model pogrešan, to više šteti učinkovitosti nego što pomaže kada je model ispravan. Samo smo uspjeli obučiti vrlo dobre AI modele za ovu postavku,” rekla je Ghassemi.
Objašnjenja LLM-a proizvela su najsnažniji efekt oslanjanja. Sudionici su vjerovali tim objašnjenjima bez obzira na to jesu li izlazi modela bili ispravni ili netočni. Također su smatrali da su nejasna ili generička objašnjenja uvjerljivija, prema istraživačima.
Korisnici koji su primili LLM pomoć izvijestili su o većem povjerenju u netočne odgovore. Taj rezultat stavlja pritisak na dizajn sučelja za dijagnostičke sustave usmjerene prema potrošačima, gdje uvjerljivo tekstualno objašnjenje može izgledati autoritativno čak i kada je model napravio grešku.
Roxana Daneshjou, asistentica na Stanfordu, rekla je da pacijenti s ograničenim medicinskim znanjem imaju najveću izloženost netočnim izlazima objašnjivog AI-a.
“Ovi nalazi su važni jer pacijenti sve više traže AI da im pomogne u zdravstvenoj skrbi,” rekla je. “Naši nalazi pokazuju da su oni s najmanje medicinskog znanja najvjerojatnije zavedeni kada objašnjivi AI modeli daju pogrešan izlaz.”
