Nástroj Voice Lab pro klonování hlasu byl zneužit k vytvoření deepfake zvukových klipů celebrit

Startup ElevenLabs zabývající se umělou inteligencí řeči před několika dny otevřel beta verzi své platformy Voice Lab, která uživatelům umožňuje vytvářet zcela nové syntetické hlasy (pro převod textu na řeč) nebo velmi věrně „naklonovat“ již existující hlas. Riziko zneužití je přitom u podobných nástrojů nesmírně vysoké. A v tomto případě k němu došlo nečekaně brzy, a to jen několik dní po zpřístupnění beta verze.

Společnost ElevenLabs na svém twitterovém účtu oznámila, že zaznamenala rostoucí počet případů zneužití klonování hlasu a uvažuje o způsobech, jak tento problém řešit. Společnost bohužel neupřesnila podrobnosti těchto zneužití, nicméně server Motherboard našel na serveru 4chan příspěvky s klipy, jež obsahovaly vygenerované hlasy, které znějí jako hlasy celebrit. V rámci těchto klipů přitom domnělé celebrity pronášejí zarážející projevy.

V jednom klipu se například údajně objevil hlas, který zněl jako britská herečka Emma Watson čtoucí část Mein Kampfu. I mnoho ostatních klipů obsahovalo homofobní, transfobní, násilné a rasistické výroky. Není zcela jasné, zda všechny klipy využívaly technologii společnosti ElevenLab, nicméně příspěvek s množstvím hlasových souborů na serveru 4chan obsahoval odkaz na platformu právě tohoto startupu.

Bohužel výskyt podobných deepfake zvukových klipů není velkým překvapením. Před několika lety jsme například byli svědky podobného jevu, kdy pokrok v oblasti umělé inteligence a strojového učení vedl k nárůstu deepfake videí, konkrétně deepfake pornografie, v níž byly tváře herců a hereček nahrazovány obličeji známých osobností (např. právě již výše zmiňovanou Emmou Watson).

Společnost ElevenLabs nyní hledá nejvhodnější způsob, jak zneužití nové technologie zabránit. Jedním z řešení je přidání dalších vrstev ověření účtu, například požadavek, aby uživatelé zadali informace o platbě nebo občanský průkaz. Uvažuje také o tom, že by uživatelé museli ověřit vlastnictví autorských práv k hlasu, který chtějí klonovat, například tím, že by museli předložit vzorek hlasu, který by přímo obsahoval určitou frázi. Ve hře je ale také úplné zrušení volného přístupu k nástroji Voice Lab (společnost by tak požadavky musela ručně ověřovat).

Zdroj: engadget.com