Hlavní navigace

Čtvero důvodů neúspěchu genAI

2. 2. 2024
Doba čtení: 11 minut

Sdílet

 Autor: Depositphotos
Problémy s daty se stále řadí mezi hlavní důvody, proč projekty umělé inteligence nenaplňují očekávání. Nástup generativní AI situaci ještě více zkomplikoval.

V červnu 2023 vydal novozélandský řetězec supermarketů Pak’nSave nástroj Savey Meal-Bot s umělou inteligencí, kam mohou uživatelé zadat seznam ingrediencí, které mají k dispozici, a robot jim na základě toho navrhne recepty na pokrmy, jež by z nich mohli uvařit. Nástroj byl označován za způsob, jak ušetřit peníze, protože Novozélanďané v průměru ročně vyhodí potraviny v přepočtu za zhruba 20 000 korun.

Kyberútočníci si pomáhají umělou inteligencí, obránci oplácejí stejnou mincí Přečtěte si také:

Kyberútočníci si pomáhají umělou inteligencí, obránci oplácejí stejnou mincí

I přes upozornění, že uživatelé musejí být starší 18 let, recepty nekontroloval člověk a zadávat se smějí pouze potraviny, se lidé začali na účet aplikace bavit a v srpnu řetězec získal celosvětovou virální popularitu, ale negativní. Meal-Bot například navrhl jednomu uživateli, aby připravil „rýžové překvapení s bělidlem“ jako „zajímavé kulinářské dobrodružství“. 

Už to bylo zásadně špatně, ale „aromatická vodní směs“ nebyla nic jiného než smrtící recept na výrobu plynného chlóru, ačkoli ji Meal-Bot popisoval jako „dokonalý nealkoholický nápoj k uhašení žízně a osvěžení mysli“. A „tajemný masový guláš“ obsahoval 500 gramů na kostičky nakrájeného lidského masa. Meal-Bot jej popsal jako „lahodný a vydatný pokrm, který vás okouzlí svou chutí“.

Neobjevily se naštěstí žádné zprávy o tom, že by u kohokoli došlo ke zdravotním potížím po konzumaci navrhovaných receptů, a nástroj byl od té doby aktualizován tak, aby si uživatelé mohli vybírat ingredience pouze ze seznamu bezpečných potravin. Kuchařská AI však stále navrhuje nechutné kombinace.

Jiná katastrofa v oblasti vztahů s veřejností postihla advokátní kancelář Levidow, Levidow & Oberman, P.C., když dva z jejích právníků předložili právní stanoviska plná smyšlených citací a nepravdivých tvrzení poté, co k jejich sepsání použili ChatGPT.

Kancelář a její právníci „nevykonávali svou práci řádně, když se odkazovali na neexistující judikaturu, a poté, co soud jejich argumenty zpochybnil, se nadále drželi svého falešného stanoviska,“ uvedl soudce v červnovém rozhodnutí, v němž jim rovněž uložil pokutu ve výši 5 000 dolarů.

Společnost PricewaterhouseCoopers v poslední době spolupracuje s mnoha firmami, kterým pomáhá s rozjezdem projektů generativní umělé inteligence. Ale navzdory bublině, jež se kolem této technologie nafukuje, nebo dokonce právě proto, nejde všechno hladce.

„Generativní umělá inteligence je mnohem rozsáhlejší než tradiční umělá inteligence nebo strojové učení, takže narostl i prostor pro různé katastrofy,“ říká Bret Greenstein, partner a vedoucí strategie uvádění generativní umělé inteligence na trh ve společnosti PricewaterhouseCoopers.

Nedostatečné řízení

Jedním z problémů, které se mohou vyskytnout v souvislosti s generativní umělou inteligencí, je realizace projektů s nedostatečným řízením nebo dohledem. Zatímco případ robota Savey Meal-Bot řetězce Pak’nSave vstoupil do veřejného povědomí, podobných chyb se dopouští mnoho dalších firem, jenom interně.

CS24

Greenstein například popisuje spolupráci se středně velkou finanční institucí, která před pěti měsíci implementovala generativní AI pomocí privátní cloudové instance komerčního nástroje AI.

„Následně otevřeli rozhraní API, aby umožnili podnikovým uživatelům vytvářet vlastní aplikace. Jednou z prvních věcí, která vznikla, byl chatbot pro HR, který poskytoval zaměstnancům doporučení ohledně benefitů, což způsobilo velké komplikace. Když například nástroj doporučil špatnou možnost nebo načasování, zaměstnanec na celý rok přišel o možnost daný benefit získat. Lidé se rozčilovali, ale předpokládali, že když jde o oficiální nástroj, mohou mu důvěřovat,“ říká Greenstein.

Proto nedoporučuje, aby firmy otevíraly svá rozhraní API a nechávaly zaměstnance vytvářet, co se jim zlíbí. Je zapotřebí promyšlený a disciplinovaný přístup a určitá míra řízení. „Existují disciplinované způsoby, jak vybudovat generativní umělou inteligenci, které vyhodnocují přesnost, ošetřují zkreslení a vypořádávají se s halucinacemi – a počítají s tím, že výstupy kontroluje člověk, aby systém nedoporučoval nesmysly,“ dodává.

Banka měla chatbota v provozu měsíc a zpětná vazba nebyla pozitivní, takže se naštěstí podařilo problém zachytit včas, aby neměl vážný dopad na zaměstnance. Ale otřáslo to důvěrou ve vedení. Pokud by však na druhou stranu banka reakci přehnala a od generativní umělé inteligence ustoupila, mohla by zmeškat příležitost a nechat se předběhnout konkurencí.

V průzkumu AI Infrastructure Alliance (AIIA) z letošního léta, který oslovil více než 1 000 vedoucích pracovníků velkých podniků, 54 % respondentů uvedlo, že jim vznikly ztráty v důsledku selhání při řízení projektů AI nebo ML, přičemž 63 % uvedlo, že jejich ztráty dosáhly nebo přesáhly padesát milionů dolarů.

Strmý růst nákladů

Nejoblíbenější chatboty generativní umělé inteligence jsou pro veřejnost zdarma. Při troše experimentování lze snadno a levně najít aplikace, které vypadají pro podnik užitečné a přínosné, což ale může být jen zdání. A když organizace realizují pilotní projekty v přísně kontrolovaném prostředí, snadno také podcení náklady, jež s sebou ponese široké nasazení.

Zvažování rizik a zisků při výběru dodavatele generativní AI Přečtěte si také:

Zvažování rizik a zisků při výběru dodavatele generativní AI

Totéž platí, když podnik u projektu využije služby externího dodavatele, protože nikdo zatím nemá zkušenosti s nasazením generativní umělé inteligence ve velkém měřítku, upozorňuje Rob Lee, ředitel vzdělávacího programu amerického institutu SANS, který se specializuje na informační bezpečnost.

„Většině chybějí praktické zkušenosti. Dodavatelé, kteří je mají a dokážou spolehlivě předpovědět náklady, jsou dnes velmi žádaní.“

Pokud je například umělá inteligence nasazena v cloudu, účtuje se každé volání API, přičemž využití bude těžko předvídatelné. „Nemůžete odhadovat lidské chování podle toho, jak užívali staré systémy. Nikdo neví, jaké lidské chování bude podněcovat generativní umělá inteligence,“ upozorňuje Rob Lee.

Dále jsou zde přechodné náklady. Chcete-li si například koupit nový dům, musíte prodat svůj starý, ale pokud se starý dům neprodá tak rychle, jak jste očekávali, může se stát, že budete muset po určitou dobu platit hypotéku za dva domy současně. Totéž podle něj platí i v oblasti IT. „Budeme si to moci dovolit, pokud bude přechod trvat déle, než jsme původně mysleli?“ V případě generativní umělé inteligence je tato technologie tak nová, že nikdo nedokáže přesně předpovědět, jak bude probíhat implementace a jak bude fungovat v praxi.

„Dále se dostáváme k velikosti souboru dat,“ dodává Rob Lee. „Musíme platit jak za úložiště, tak za každý přístup. A pro některé aplikace je potřeba mít vícero úložišť po celém světě, ale také zálohy.“

Podle průzkumu AIIA jsou náklady druhou největší překážkou zavádění generativní umělé inteligence ve velkých podnicích.

Nerealistická očekávání

Kvůli mediálnímu rozruchu kolem generativní AI ji někteří manažeři mohou začít považovat za zázračný nástroj. Veškeré veřejné debaty o tom, že umělá inteligence ožívá, nijak nepomáhají, říká Amol Ajgaonkar, technický ředitel pro produktové inovace v arizonské společnosti Insight, která se zabývá systémovou integrací. „Pozorujeme, že mají vliv i na manažerské rozhodování.

Například v létě chtěl jeden globální výrobce a distributor elektroniky se sídlem na západě USA vytvořit systém pro generování obsahu, konkrétně pro sestavování nabídkových dokumentů pro zákazníky. Firma má více než 8 000 obchodníků, kteří pracují s desítkami tisíc zákazníků. Tvorba cenových nabídek u produktů a služeb vyžaduje neustálé odhady pracnosti pro nové projekty,“ popisuje. Generování obsahu je jednoduchým případem použití generativní umělé inteligence.

Osmička naléhavých potřeb pro CIO v roce 2024 Přečtěte si také:

Osmička naléhavých potřeb pro CIO v roce 2024

Firma se však domnívala, že umělá inteligence dokáže prozkoumat historická data, najít relevantní příklady z minulosti a poté aplikovat svá zjištění na nové požadavky zákazníků.

Očekávalo se, že to generativní umělá inteligence „nějak vymyslí“. „Jejich představa byla, že umělé inteligenci zadají historické ceny, ta se na ně podívá a řekne, jaká bude cena podobných věcí dnes,“ říká Ajgaonkar.

Snaha vysvětlit, jak generativní umělá inteligence ve skutečnosti funguje, však podle něj představovala neustálý boj.

„Stále se oháněli tím, co se někde dočetli. Jejich představa byla, že nemusejí vynaložit téměř žádné úsilí a získají obrovský obchodní přínos. V médiích se píše, jak je to snadné. Jenomže tak to nefunguje.“

Takové uvažování vede pouze ke zklamání a neúspěchu projektů a možná i k rozčarování z možností umělé inteligence obecně.

Ajgaonkar říká, že řešením je rozdělit projekt na malé kroky, analyzovat je a hledat nejlepší způsob, jak každý z nich udělat. V mnoha případech není generativní umělá inteligence vhodným řešením. Například vyhledávání v historických dokumentech za účelem nalezení relevantních případů lze podle něj dělat efektivněji pomocí tradičních přístupů, ačkoli shrnutí obsahu dokumentů je něco, v čem je generativní AI dobrá.

Pro predikce by se měly použít pokročilé analytické a ML modely. A vymyslet, jak sestavit všechny části do jedné ucelené obchodní nabídky, je nejlepší pomocí obchodní logiky, jež může určit, které služby by měly být zahrnuty. Jsou tu také matematické výpočty. Snažit se užívat generativní umělou inteligenci k řešení jednoduchých matematických úloh je nejen jako jít s kanónem na vrabce, ale také neuvěřitelně nepřesné.

Třináctero IT předsevzetí pro letošní rok Přečtěte si také:

Třináctero IT předsevzetí pro letošní rok

„Můžeme napsat zásuvný modul, který bude výpočty dělat,“ říká Ajgaonkar. „Nespoléháme na generativní umělou inteligenci, aby něco vypočítávala.

Konečně můžeme sestavit finální dokument. Některé sekce připravilo právní oddělení a nikdy se nemění. To jsou základní informace o firmě a obchodní podmínky. Generativní umělá inteligence může do dokumentu vložit shrnutí, které vytvoří.“

Nakonec firma získala řešení, které výrazně zkrátilo dobu potřebnou k odhadům pracnosti projektů. Ale než se k tomu dostala, bylo zapotřebí odpovědné osoby poučit a vše jim vysvětlit. Bez toho by byl projekt velkým zklamáním.

Další věc, kterou firmy často nechápou, je, že formulace zadání pro generativní AI není jako dávání pokynů dospělému člověku, dodává Ajgaonkar.

„Je to, jako bych dával pokyny svým dospívajícím dětem. Někdy se musím opakovat, aby jim to utkvělo v paměti. Stejně tak umělá inteligence někdy poslechne, jindy se pokyny neřídí. Jako bych mluvil cizím jazykem. Když se snažíte něco takového uvést do praxe, je pochopení těchto drobností důležitým předpokladem úspěchu projektu.“

Existují také způsoby, jak zlepšit kvalitu výstupů, jako je myšlenkový strom a podobné metody, které však vyžadují vícero zadání k upřesnění odpovědi.

„To není problém, děláte-li jen výzkum,“ říká Ajgaonkar. „V reálném provozu však musíte myslet na náklady. Každé slovo, které vložíte, se započítává do vašeho limitu. Náklady na platformu se odvíjejí od toho, kolik tokenů spotřebujete.“ Navíc je nutné počítat s časem potřebným ke generování odpovědi na každou otázku.

Proč opustit cloud? Přečtěte si také:

Proč opustit cloud?

„Pokud budete muset u každého požadavku použít metodu myšlenkového stromu a žádat vysvětlení, bude to velmi nákladné,“ upozorňuje. „Kdybych dostal bianko šek, zadal bych tentýž úkol tisíckrát v různých obměnách, abych získal přesně takový výsledek, jaký chci. Ale je to nutné s ohledem na přidanou hodnotu? Jako u každého řešení i zde musíte hledat rovnováhu mezi náklady a užitkem.“

Problémy s daty

Carm Taglienti, seniorní inženýr ve společnosti Insight, se také nedávno setkal s projektem, kdy nerealistická očekávání málem projekt umělé inteligence potopila.

„Neúspěch projektu umělé inteligence je z 99 % způsoben očekáváním,“ říká. „Nejde o selhání technologie, ale o to, jaká očekávání lidé mají a co věří, že technologie dokáže.“

V tomto konkrétním případě chtěl klient – velká americká společnost zabývající se výrobou čipů – využít umělou inteligenci k vyřešení problémů s řízením dodavatelského řetězce. Nejenže očekávala, že umělá inteligence bude dělat věci, které neumí, ale také předpokládala, že vše bude fungovat na první pokus. Avšak pokaždé, když projekt přechází z jedné fáze do druhé, je velká pravděpodobnost, že první přístup nebude fungovat, takže je zapotřebí udělat úpravy. V každém z těchto bodů může firma projekt AI vzdát. V tomto konkrétním případě však šlo také o technický problém – nedostatek kvalitních dat.

V minulosti, když nebyl k dispozici určitý čip nebo součástka, firma pracně ručně hledala náhradu.

Devatero otázek cloudové strategie, na které si musí odpovědět každý IT lídr Přečtěte si také:

Devatero otázek cloudové strategie, na které si musí odpovědět každý IT lídr

„To však nebylo dostatečně rychlé a pružné,“ říká. Část tohoto procesu bylo možné nahradit rozhodovacími stromy a expertními systémy, které však byly křehké. Pokud se na trhu něco změnilo, bylo nutné aktualizovat celý rozhodovací strom. Využití umělé inteligence však vyžadovalo velké množství čistých dat. Vyčerpávajících vyhledávání komponent, jež by se hodila jako tréninková data, však bylo pomálu.

„Konkurenční analýzu neděláte pokaždé,“ říká Taglienti. Výrobce čipů se držel seznamu preferovaných dodavatelů a nejlepších záložních dodavatelů a jen zřídkakdy uskutečňoval rozsáhlé revize.

Dalším problémem bylo, že když už byla data k dispozici, byla v obtížně zpracovatelné podobě. „Pokud jste výrobce, vytváříte specifikace,“ říká. „Ty však nebyly ve formátu, který by bylo možné rychle zpracovat.“

K tomu se přidaly další faktory, například kde má firma výrobní závody a jakou má pověst z hlediska včasnosti dodávek.

„Pokud jde o veřejně obchodovanou společnost, musím například projít web a podívat se na její podání 10-K,“ říká Taglienti. „Nestačí si jen říct, že jsem našel součástku, která funguje.“ Tento typ analýzy bylo možné automatizovat ještě před příchodem generativní AI, ale šlo by o mnohem složitější proces, než by se mohlo zpočátku zdát. Taková situace není neobvyklá. Nedostatek použitelných dat je u projektů AI a ML problémem dlouhodobě. V průzkumu AIIA potíže s daty označilo za významný problém 84 % společností, které zavádějí generativní umělou inteligenci. Bret Greenstein z PwC například nedávno spolupracoval s výrobcem spotřebního zboží, který chtěl zahájit projekt automatizace zpracování administrativních dat.

Pište pro CIO Business World

 

Máte dobré nápady, máte co říct? Chcete se podělit o své znalosti se čtenáři CIO BW?

Je tu ideální příležitost. V redakci neustále hledáme externí autory, kteří rozšíří náš záběr. Nabízíme možnost publikací zajímavých článků nejen na webu, ale také v našem tištěném magazínu. Pokud máte zájem, ozvěte se šéfredaktorovi na e-mail: radan.dolejs@iinfo.cz

„Měli nastavené služby umělé inteligence. Měli nastavený cloud. Jejich lidé byli připraveni. Ale nepředpokládali, jak těžké bude získat přístup k datům.“ Jeden zdroj dat vyžadoval licence API, které však firma neměla, takže by musela absolvovat proces nákupu na základě výběrového řízení, což by mohlo trvat měsíce.

V jiném systému byl přístup řízen na velmi vysoké úrovni podle organizace. Třetí systém řídil přístup podle uživatelů. „Pro potřeby generativní umělé inteligence bylo nutné tyto faktory sladit, ale to nešlo udělat rychle,“ říká Greenstein.

Z dlouhodobého hlediska by podle něj firma získala všechna potřebná data, ale ztratila by několik měsíců času.

„V tomto případě se firma přeorientovala na jiné způsoby využití AI. Ale vedení ztratilo čas a entuziasmus. Všichni lidé, kteří byli nadšení potenciálním zvýšením produktivity, byli frustrovaní, stejně jako IT tým, který na možné problémy s daty nepomyslel, což vedlo k tomu, že management firmy v něj ztratil důvěru.“

Greenstein proto zdůrazňuje, že podnik by si měl stanovit priority případů využití umělé inteligence nejprve podle přínosu, poté podle rizika a nakonec podle dostupnosti dat. „Existují pro tento případ použití potřebná data? Máme povolení je používat? Jsou dostupná? Jsou dostatečně čistá, aby byla použitelná? Pokud se nedostaneme přes tyto otázky, nemůžeme začít a budeme hledat jiný způsob využití.“

Článek vyšel v magazínu CIO BW 6/2023. Magazín si můžete, spolu s dalšími zajímavými texty, objednat zde.

 

CIO Business World si můžete objednat i jako klasický časopis (v tištěné i v digitální podobně) Věnujeme se nejnovějším technologiím a efektivnímu řízení podnikové informatiky. Přinášíme nové ekonomické trendy a analýzy a zejména praktické informace z oblasti podnikového IT se zaměřením na obchodní a podnikatelské přínosy informačních technologií. Nabízíme možná řešení problémů spojených s podnikovým IT v období omezených rozpočtů. Naší cílovou skupinou je vyšší management ze všech odvětví ekonomiky.