Kako objašnjava suosnivačica Grace Li, njezina je tvrtka započela nekoliko tjedana prije diplomiranja 2025. godine, s grupom kolega pokušavajući učiniti svoj AI engine za igre funkcionalnim. Modeli su mogli stvoriti funkcionalne igre, ali nijedna od njih nije bila zabavna — što je postavilo zanimljivo pitanje: kako možemo znati hoće li igra biti zabavna?
Odlučili su da ne postoji zamjena za ljudsku procjenu, a ubrzo su počeli razmišljati o načinima kako dobiti iskrene povratne informacije od ljudi u velikim količinama.
Rezultat je postao DesignArena, AI alat koji sada koristi 5,3 milijuna ljudi diljem svijeta. Kako se ispostavilo, bilo je mnogo AI tvrtki koje su tražile skalabilne povratne informacije korisnika — i mnoge od njih bile su spremne platiti za to.
„To je bila nedostajuća karika za mnoge od ovih modela kako bi napravili poboljšanja u dizajnu“, kaže Li. „Otprilike tjedan dana kasnije, sklopili smo naš prvi veliki ugovor s jednom istraživačkom laboratorijom, a ostatak je povijest.“
U ponedjeljak, tvrtka koja stoji iza DesignArena — nazvana Intelligence — objavila je da je prikupila 7,9 milijuna dolara u rundi financiranja koju je predvodio Index Ventures, uz sudjelovanje Conviction (Sarah Guo i Mike Vernal), A*, Valkyrie i drugih.
Za krajnje korisnike, korištenje DesignArena nalikuje korištenju sofisticiranog modela usmjerivača. Postoji prozor za upite u stilu Chat-GPT, s odvojenim padajućim izbornicima za web stranice, slike i niz drugih vizualnih formata. Kada unesete zahtjev, format i stil, bit ćete prikazani s nizom izbora „A vs. B“ dok ne rangirate nekoliko izlaza od najboljeg do najgoreg.
To je korisna usluga, ali prava vrijednost platforme dolazi s poslovne strane, gdje sudjelujući modeli mogu koristiti DesignArena kao izvor beskonačnih trenutnih povratnih informacija za svoje modele generiranja medija. Korisnici obično nisu vezani uz to koji modeli rangiraju — kako kaže Li, samo žele najbolji mogući izlaz — tako da njihovi rangovi mogu dati ključne uvide o tome što korisnici zaista žele.
Za istraživačke laboratorije, to je usluga koju vrijedi platiti, kaže Li, dodajući da stranica trenutačno generira 60 milijuna dolara godišnje, učvršćujući svoju poziciju kao ključni izvor podataka o evaluaciji vođenih ljudima za AI industriju.
Ključno je da se korisnici moraju prijaviti kako bi dobili svoje izlaze, tako da Intelligence može pratiti kako se ti okusi mijenjaju diljem različitih kontinenata i tijekom vremena. (Li napominje da web nadzorne ploče u Aziji obično imaju maksimalistički dizajn.) Ove mjere su važan dodatak automatiziranim benchmarkovima, koji mogu raditi na većoj skali, ali često su podložni manipulacijama, kao što je provala u Hugging Face dramatično pokazala prošlog tjedna.
To ne znači da će crowdsourced ljudske povratne informacije automatski osvojiti tržište. Manje od godine dana nakon lansiranja, Yupp je zatvorio svoja vrata ranije ove godine nakon što je prikupio 33 milijuna dolara od a16z kripto investitora Chrisa Dixona. Također je privukao neke istraživačke modele kao kupce i imao je, kako su rekli, preko 1,3 milijuna korisnika, ali još uvijek nije mogao izgraditi održiv dugoročni posao.
Ipak, druge startupe temeljene na ljudskoj evaluaciji čini se da napreduju. LM Arena, koja koristi sličan pristup za tekstualne odgovore, prikupila je 150 milijuna dolara u seriji A u siječnju, samo četiri mjeseca nakon službenog lansiranja svog plaćenog proizvoda.
