Umělá inteligence Whisper si vymýšlí informace, a to i v lékařských ordinacích

Pondělí 28. 10. 2024 Samuel

Whisper je model strojového učení pro rozpoznávání a přepis řeči. Používá se také v ordinacích lékařů k přepisu potíží, s nimiž pacient přichází. Ten je umělé inteligenci jednoduše nadiktuje. Nicméně ukazuje se, že AI tyto velmi důležité informace přepisuje špatně, a do velké míry si je dokonce sama vymýšlí.

Více než tucet vývojářů, softwarových inženýrů a akademických výzkumníků našlo důkazy, že Whisper vytváří smyšlené texty, které obsahují neexistující názvy léků, nevhodné rasové komentáře a poznámky násilného charakteru. Přesto za poslední měsíc zaznamenala open-source platforma pro umělou inteligenci HuggingFace 4,2 milionu stažení nejnovější verze aplikace Whisper. Nástroj je také integrován do cloudových výpočetních platforem společností Oracle a Microsoft.

Důkazy o chybovosti jsou poměrně rozsáhlé, a to ve všech oblastech použití. V jednom z případů z Michiganské univerzity byl text AI smyšlený v osmi z desíti zvukových přepisů veřejných zasedání. V jiné studii našli počítačoví analytici ve více než 13 000 zvukových záznamech 187 chyb. Další výzkumník zabývající se strojovým učením našel chyby přibližně v polovině z více než 100 hodin přepisů, zatímco vývojář si všiml chyb téměř ve všech 26 000 přepisech, které nechal vytvořit nástrojem Whisper.

Potenciální nebezpečí je velké, zvlášť pokud vezmeme v potaz konkrétní příklady těchto chyb. Profesorky Allison Koenecke z Cornellovy univerzity a Mona Sloane z Virginské univerzity zjistily, že téměř 40 procent chyb mělo potenciál být nesprávně interpretováno nebo zkresleno. V jednom případě si Whisper vymyslel, že tři diskutující jsou černoši. V jiném případě Whisper změnil větu „On, ten chlapec, chtěl, nejsem si jistý přesně, vzít deštník.“ na „Vzal velký kříž, maličký, malý kousek (…). Jsem si jistý, že neměl nůž, takže zabil několik lidí.“

Chyby, které Whisper generuje, nesou pochopitelně také rizikové zdravotní důsledky. Společnost Nabla využívá Whisper pro přepis lékařských záznamů, který používá více než 30 000 lékařů a 40 zdravotnických center (dosud přepsal odhadem sedm milionů návštěv). Ačkoli si je společnost tohoto problému vědoma a tvrdí, že se jím zabývá, v současné době neexistuje žádný způsob, jak ověřit platnost přepisů. Podle technologického ředitele společnosti Nabla Martina Raisona nástroj maže veškerá vstupní data (to, co pacienti AI říkají) kvůli bezpečnosti dat. Společnost také tvrdí, že přepisy musí rychle upravit a schválit, nicméně nelze potvrdit, že jsou přepisy přesné, a to kvůli zákonům o ochraně osobních údajů.

Zdroj: engadget.com