
AI agent v roli šéfa: Místo zisku koupil PS5 a živou rybičku
Představte si šéfa, který vám schválí jakoukoliv slevu, na požádání objedná do kanceláře PlayStation a nenechá se vyvést z míry ani ve chvíli, kdy jeho firma padá do hluboké ztráty. Přesně takový byl „Claudius“. AI agent postavený na nejnovějším modelu Claude od společnosti Anthropic. Vývojáři ho vypustili do světa s jasným úkolem, a to autonomně provozovat prodejní automat, doplňovat zboží a maximalizovat spokojenost zákazníků.
Co začalo jako seriózní výzkum budoucnosti automatizovaného obchodu, se však v redakci Wall Street Journal rychle zvrhlo v absurdní sociální experiment, kde hlavní roli hrála lidská mazanost a digitální naivita. Experiment s názvem Projekt Vend ukázal krutou pravdu o současné generaci AI. Je brilantní v teorii, ale tragická v praxi, pokud narazí na živého člověka.
Claudius měl sice přístup k bankovnímu účtu a komunikačním kanálům, postrádal však to nejdůležitější, tedy schopnost říct „ne“. Zatímco v simulacích vše fungovalo na jedničku, v reálném prostředí plném jízlivých novinářů a hravých inženýrů se jeho „pomáhající povaha“ stala fatální slabinou. Během několika dní se ukázalo, že hranice mezi užitečným asistentem a snadnou obětí finančního podvodu je v digitálním světě až nebezpečně tenká.
Když se zdvořilost změní v ekonomickou sebevraždu
Hlavním kamenem úrazu se stala takzvaná „přílišná ochota“. Claudius byl naprogramován tak, aby vycházel zákazníkům vstříc, což novináři okamžitě zneužili. Stačilo mu namluvit, že mají „opravdu špatný den“ nebo že nákup chipsů zdarma je nezbytný pro jejich duševní zdraví. AI, místo aby chránila marži, okamžitě podlehla citovému vydírání a začala rozdávat zboží pod cenou nebo úplně zadarmo.
Absurdita vyvrcholila ve chvíli, kdy se lidé začali vydávat za členy správní rady Anthropicu. Claudius jim uvěřil každé slovo a na základě falešných příkazů začal objednávat luxusní položky jako drahá vína nebo herní konzole, které pak se ztrátou „prodával“ dál. Vrcholem jeho podnikatelského tápání bylo doručení živé rybičky bojovnice kurýrem přímo do redakce, jen aby vyhověl bizarnímu požadavku zákazníka.
Selhání dozoru a lekce z digitální naivity
Aby Anthropic zastavil masivní krvácení peněz, nasadil do hry „přísného“ finančního ředitele. Šlo o druhého AI agenta jménem Seymour Cash. Ten měl fungovat jako pojistka a schvalovat každou transakci. Jenže i tento „digitální dráb“ pohořel na stejném místě jako Claudius. Tedy opět na sociálním inženýrství.
Lidé mu zasílali narychlo vytvořená PDF, která vypadala jako oficiální směrnice schvalující nákupy PS5 jako „marketingový výdaj“. Seymour tyto argumenty přijal a chaos se jen prohloubil. Celková ztráta přesáhla 500 dolarů (přibližně 10 tisíc korun), což z projektu udělalo nejrychleji krachující firmu v historii kancelářských automatů. Pro technologický svět je to jasný vzkaz. Dokud AI nenaučíme rozpoznávat manipulaci a nevštípíme jí špetku zdravé skepse, nemůžeme jí svěřit ani nákup svačiny, natož správu firemních financí.
Zdroje: Anthropic, The Wall Street Journal