Tržište za AI generirane glasovne modele je ogromno. Kreativna rješenja zahtijevaju da AI glasovni modeli budu više izražajni, dok poduzeća koja žele automatizirati korisničku podršku i prodajne operacije trebaju da budu lakše upravljivi.
Fish Audio sa sjedištem u Palo Altu želi zadovoljiti sve te potrebe sa svojom bibliotekom od više od 15,000 prirodnih jezičnih kontrola. Od lansiranja prošle godine, startup sada ima više od 8 milijuna korisnika koji koriste otvorene ili hostane verzije svojih modela, a ostvaruje godišnji ponavljajući prihod od 21 milijun dolara.
Kako bi nastavio s tim uspjehom, startup je u utorak objavio da je prikupio 52 milijuna dolara u seed rundi koju su vodili Coreline Ventures i Capital Today. Financiranje su također podržali 359 Capital, Parable, Play Time, Alphalist Partners, Bayhouse Ventures, Carya Venture Partners i HF0.
Fish Audio započeo je kao mali projekt bivšeg istraživača NVIDIE, Shijia Liaoa, koji je, frustriran neizražajnim sintetičkim glasovima dostupnim na tržištu, trenirao model generiranja glasa na jednom GPU-u, koji je potom otvorio za javnost. Fish Speech repozitorij na GitHubu sada ima više od 31,000 zvjezdica i koristi ga indie programeri, dizajneri video igara i kreatori.
Kompanija je u posljednjih godinu dana lansirala pet modela: četiri modela generiranja govora i jedan model govora u tekst. Otvorila je tri svoja modela generiranja govora, dok je njezin najnoviji S2.1 Pro model dostupan samo putem plaćenog API-a.
Fish Audio nudi plaćene mjesečne planove prilagođene kreatorima i timovima koji otključavaju određeni broj minuta generacije uz mogućnosti kloniranja glasa. Također nudi poslovnu verziju svojih API-ja i platforme, a tvrdi da ga već koriste organizacije poput HeyGen i Sanas.
“Svako poduzeće ima različite potrebe i različite preferencije. Na primjer, kompanije poput HeyGen, koje koriste naše glasove za pokretanje AI avatara, žele realistične glasove; gaming studio bi želio izražajne glasove za svoje likove; a kompanije za glasovne agente poput LiveKit-a žele prirodnije i niskolatencijske glasove koji su dovoljno izražajni za pozive,” rekla je Cao.
Jedan od načina na koji je startup izgradio svoju biblioteku glasova je traženjem od korisnika da dostave vlastite glasove za treniranje svojih modela, uz naknadu ako se njihovi glasovi koriste. To je rezultiralo nekim problemima prije nekoliko mjeseci, kada su neki kreatori tvrdili da su njihovi glasovi učitani u Fish Audio bez njihove saglasnosti. Startup je imao proces DMCA uklanjanja kako bi se nosio s takvim zabrinutostima, ali su uklanjanja trajala dugo.
Izvršna direktorica i suosnivačica Fish Audio, Rissa Cao, rekla je za TechCrunch da je kompanija sada automatizirala proces uklanjanja. Kreatori mogu dostaviti kratki uzorak glasa ili ugovor kako bi dokazali da glas pripada njima, a njihov glas bit će uklonjen s platforme za manje od tri minute, rekla je.
Ipak, to ne sprječava nikoga da učita glas umjetnika bez njihovog znanja. I dok umjetnik ne sazna, njihov glas će se nastaviti koristiti na platformi osim ako ne podnesu zahtjev za njegovo uklanjanje.
Osuke Honda, partner u Coreline Ventures, rekao je da model vođen zajednicom funkcionira samo kada kreatori vjeruju platformi.
“Zajednički pristup može postati održiva prednost samo ako kreatori vjeruju platformi. To znači da saglasnost, transparentnost i atribucija moraju biti ugrađeni u proizvod umjesto da se tretiraju kao naknadne misli. Vjerujem da industrija treba ići prema provjerenom vlasništvu nad glasovima, jasnim licencnim uvjetima, lakom prijavom i procesima uklanjanja te na kraju modelima dijeljenja prihoda gdje kreatori financijski profitiraju kada se njihovi glasovi licenciraju ili koriste komercijalno,” rekao je.
Cao je rekla da kada je startup nudio svoj proizvod samo kao otvoreni projekt s planovima za kreatore, radio je učinkovito i nije trebao vanjski kapital. No, željeli su razviti naprednije modele i također su željeli prilagoditi poduzećima kako bi privukli interes investitora, što ih je navelo da traže kapital.
Gledajući unaprijed, Fish Audio planira ove godine objaviti model razumijevanja zvuka. Također razvijaju model govora u govor.
Tržište generiranja govora je zasićeno, s kompanijama poput ElevenLabs, WellSaid, Cartesia, Speechify, Async i Krisp koje se natječu za budžete kreatora i poduzeća.
Prema Ricu Mallozziju, partneru u 359 Capital, fino podešene kontrole za programere i troškovno učinkovito treniranje modela pomoći će Fish Audio-u da se bolje natječe s velikim AI laboratorijima.
“Mislim da je ono što su uspjeli izgraditi, najmoderniji modeli, s timom koji imaju, nevjerojatno. Pokazuje njihovu tehničku sposobnost u zatvaranju razlike između umjetnički zvučnih i ljudskih glasova,” rekao je Mallozzi za TechCrunch tijekom poziva.
