Nový AI model Fugatto NVIDIA dokáže vytvářet zvuk z textových pokynů
Společnost NVIDIA představila nový experimentální model generativní umělé inteligence, který popisuje jako „švýcarák pro zvuk“. Model nazvaný Foundational Generative Audio Transformer Opus 1 neboli Fugatto dokáže přijímat příkazy z textových pokynů a používat je k vytváření zvuku nebo k úpravě stávajících hudebních, hlasových a zvukových souborů.
„Chtěli jsme vytvořit model, který by rozuměl zvuku a vytvářel jej stejně jako lidé,“ řekl Rafael Valle, jeden z výzkumníků stojících za projektem a manažer aplikovaného výzkumu zvuku ve společnosti NVIDIA. Společnost ve svém oznámení uvedla několik možných scénářů z reálného světa, ve kterých by Fugatto mohl být užitečný. Hudební producenti by tuto technologii například mohli využít k rychlému vygenerování prototypu nápadu na skladbu, který by pak mohli snadno upravit a vyzkoušet různé styly, hlasy a nástroje.
Lidé by ji mohli používat k vytváření materiálů pro jazykové učební pomůcky v hlase, který si sami zvolí. A vývojáři videoher by jej mohli využít k vytváření variací předem nahraných materiálů, které by odpovídaly změnám ve hře na základě rozhodnutí a akcí hráčů. Kromě toho výzkumníci zjistili, že model dokáže po určitém doladění plnit i úkoly, které nebyly součástí jeho původního tréninku. To znamená, že uměl kombinovat instrukce, na které byl trénován samostatně, například generovat řeč, která zní rozzlobeně se specifickým přízvukem, nebo zvuk zpěvu ptáků během bouřky. Model může generovat i zvuky, které se mění v čase, jako například zvuk padajícího deště.
Společnost NVIDIA zatím neuvedla, zda tento AI model poskytne veřejnosti. Nicméně nejde o první generativní technologií umělé inteligence, která dokáže vytvářet zvuky z textových příkazů. Společnost Meta již dříve vydala AI open source sadu, která přesně toto umí. A i společnost Google má vlastní umělou inteligenci pro převod textu na hudbu nazvanou MusicLM, ke které mají uživatelé přístup prostřednictvím webových stránek společnosti AI Test Kitchen.
Zdroj: engadget.com
