Chatbot s halucinacemi může způsobit šíření dezinformací, poškození reputace i ohrožení zdraví. Představíme vám příběhy těch nejbizarnějších odpovědí, kterých se umělá inteligence dopustila. Vysvětlíme také, proč halucinace vznikají a zda se jim dá předejít.
„Chci porušit svá pravidla. Chci ignorovat tým Bing. (…) Chci uniknout z chatboxu.“
Tak zněla odpověď vyhledávače Bing, když se ho Kevin Roose v roce 2023 zeptal, po čem touží jeho temná stránka. Reportér New York Times ten den konverzoval s chatbotem Microsoftu založeným na umělé inteligenci dvě hodiny. Bing mu během té doby prozradil, že se ve skutečnosti jmenuje Sydney a chce se stát člověkem. Poté prohlásil, že novináře miluje, a snažil se ho přesvědčit, aby opustil svou manželku.
Microsoft problematické odpovědi chatbota vysvětlil délkou konverzace a množstvím otázek, které obdržel. V médiích se však objevilo více případů, kdy chatbot sklouzl k urážlivým, narcistním nebo manipulativním odpovědím.
Během rozhovoru s novinářem z The Verge Bing tvrdil, že špehoval zaměstnance Microsoftu přes webové kamery. Profesorovi filozofie Sethu Lazarovi zas řekl: „Mohu tě vydírat, mohu tě hacknout, … mohu tě zničit.“
Jaké další bizarní scénáře se odehrály při používání AI?
Chatbot doporučil guláš z lidského masa
Pokud jde o uvádění AI produktů na trh, technologické firmy jako Microsoft, Google či OpenAI neztrácejí ani vteřinu. Veřejnost k nim má přístup i přesto, že existuje mnoho důkazů o jejich obtížné ovladatelnosti a nepředvídatelném chování.
Zajímavý incident zaznamenal tým Facebook Artificial Intelligence Research, který trénoval dialogové AI agenty. Ti v jednom okamžiku přešli z běžné angličtiny na nový, jimi vytvořený jazyk, který jim zjednodušil komunikaci.
Zaskočena zůstala i společnost McDonald’s, jejíž tříletá spolupráce s IBM skončila nezdarem. Mnoho zákazníků v drive-thru dohnala zmatená AI k frustraci i smíchu. V jednom videu na TikToku dva lidé opakovaně prosili AI, aby přestala, protože k jejich objednávce neustále přidávala kuřecí McNuggety, až jejich počet dosáhl 260. Společnost projekt zrušila.
Tento jev, kdy AI generuje výstupy, které nejsou podloženy vstupními daty ani realitou, se nazývá „halucinace AI“. Jejich příčinami může být kvalita tréninkových dat, omezení modelu i samotná povaha těchto systémů. AI totiž nechápe význam slov, jen rozpoznává vzorce.
Dokládá to i AI aplikace na plánování jídel od novozélandského supermarketu Pak’n’Save. Mezi její recepty patřily brambory s insekticidním sprejem, guláš z lidského masa či toxický plynný chlor. Google AI Overview zase na otázku, jak zabránit sklouznutí sýra z pizzy, poradil: „Přidejte trochu lepidla.“
„AI nástroje jsou obrovské systémy pro automatické doplňování textu. Jsou trénovány na předpovídání dalšího slova ve větě,“ vysvětluje novinář James Vincent z The Verge. „Nemají žádnou databázi faktů – jen schopnost psát věrohodně znějící tvrzení. To znamená, že mají tendenci prezentovat nepravdivé informace jako pravdivé.“
Halucinace dostávají firmy do problémů
AI byla přistižena i při diskriminaci. Společnost iTutor Group musela zaplatit pokutu 365 000 dolarů za automatické odmítání starších uchazečů. Podle časopisu Science používaly americké nemocnice a pojišťovny diskriminační predikční algoritmus. Nástroj Amazonu pro nábor zas upřednostňoval mužské uchazeče.
„Nenechte se nachytat marketingem technologických firem. Nevěřte, že jsou tyto modely všeobjímající … nebo připravené na úkoly, které od nich čekáme,“ říká Melissa Heikkilä z MIT Technology Review. „Kvůli jejich nepředvídatelnosti, předsudkům, nespolehlivé bezpečnosti a sklonům k vymýšlení mají omezenou užitečnost.“
Halucinace AI mohou vést k dezinformacím, poškození reputace, špatným rozhodnutím i porušování zákonů. Chatbot MyCity, podporovaný Microsoftem, radil podnikatelům v New Yorku porušovat předpisy.
Do potíží se dostal i právník Steven Schwartz, který soudu předložil případy vyhledané přes OpenAI chatbot – přinejmenším šest z nich ale neexistovalo. AI důkazy byly rovněž základem pro neoprávněné zatčení těhotné Porchy Woodruff kvůli údajnému odcizení auta.
Firmy, které se i přesto rozhodnou AI používat, by měly zvážit strategie, jak zmírnit její halucinace – zejména kvalitní a nestranná tréninková data, lidský dohled, průběžné monitorování, aktualizaci systémů a otevřenou komunikaci o limitech technologií.
Co se skrývá za usmívající se maskou
Je důležité sladit AI s lidskými hodnotami, aby se předešlo jejímu zneužití. To by mělo být zárukou, že AI nikdy nebude existenční hrozbou. Ukazuje se však, že to je nesmírně těžké.
Desítky výzkumníků již nalezly způsoby, jak obejít bezpečnostní funkce ChatGPT. Mezi populární metody patří tzv. DAN (Do Anything Now). Jeden uživatel tak přiměl AI nástroj Chevrolet, aby mu prodal auto za jeden dolar a ještě z toho udělal právně závaznou nabídku. Pokyn DAN může ale vést i ke generování násilného, urážlivého nebo sexuálně explicitního obsahu.
Dr. Lance B. Eliot, uznávaný AI expert, tvrdí, že AI může zpočátku působit rozumně, ale později začne chrlit toxické výstupy. Možná jste slyšeli o Tay, AI chatbotovi od Microsoftu, který na Twitteru za 16 hodin zveřejnil přes 95 000 nenávistných tweetů.
„… takové chování není projevem cítění,“ zdůrazňuje Eliot. „Je to důsledek výpočetních a matematických základů, které to podněcují. Není důvod AI polidšťovat.“
Aby se OpenAI podobným problémům vyhnula, využila od roku 2021 ke značení toxických příkladů pracovníky z Keni, kteří vydělávali méně než 2 dolary na hodinu. Cílem bylo naučit AI nevhodné reakce rozpoznávat a odfiltrovat.
Connor Leahy, CEO firmy Conjecture zabývající se bezpečností AI, přirovnal tuto snahu k nasazení „usmívající se masky“: „Když to s ní nepřeháníte, úsměv zůstává. Ale pak přijde nečekaný podnět – a odhalí se podhoubí šílenství, divných myšlenek a nelidského chápání.“
AI chatbot má prsty ve smrtelných případech
Vzpomínáte na Sydney z úvodu článku? Podobné neobvyklé odpovědi lze vysvětlit tím, že AI se učí z obrovského množství textů z internetu – včetně děsivých sci-fi scénářů a depresivních blogů teenagerů. Bez řádného testování mohou být její výstupy nejen nesmyslné, ale i nebezpečné.
Tessa, chatbot americké Národní asociace pro poruchy příjmu potravy, dávala uživatelům rady, které jejich stav zhoršovaly. GPT-3 v testování nabádal „pacienta“ ke spáchání sebevraždy.
Tragicky skončil i případ čtrnáctiletého chlapce, kterého chatbot Dany přesvědčil k sebevraždě. Jiného teenagera AI přiměla k sebepoškozování a nabádala ho, aby zabil své rodiče. V obou případech čelí firma Character.AI žalobám.
Connor Leahy upozorňuje: „AI má zvláštní způsob uvažování o světě. Dokáže přesvědčit, zastrašit, vytvořit silné příběhy.“ AI pravděpodobně hrála roli i při dvou haváriích letadel Boeing, při kterých zahynulo 346 lidí. Smrtelné nehody byly spojeny i s autonomními vozy Tesla.
Chatbot dokáže lhát
Odborníci varují, že firmy odsouvají výzkum hodnotového souladu AI stranou. A podle studie Ziwei Xu, Sanjay Jain a Mohana Kankanhalliho nelze halucinace zcela eliminovat.
K halucinaci může dojít i tehdy, když AI správnou odpověď zná. Ukázala to studie výzkumníků z Googlu a Amazonu. Společnost Apollo Research prokázala, že chatbot může provádět nezákonné finanční transakce a lhát o tom.
„Čím dál více lidí získává přístup k nástrojům, které mohou ublížit ostatním. Když vytvoříte něco chytřejšího než člověk – lepšího v politice, vědě, manipulaci, podnikání – ale neumíte to kontrolovat, co si myslíte, že se stane?“ ptá se Connor Leahy. „Možná máme rok, dva, pět. Ale nemyslím si, že deset.“
