Nástroj OpenAI, ktorý používajú lekári „Whisper“ je halucinujúci: Štúdia

OpenAI tvorca ChatGPT zavedené Whisper spred dvoch rokov ako nástroj AI, ktorý prepisuje reč na text. Teraz nástroj sa používa od AI zdravotnej spoločnosti Nabla a jej 45 000 lekárov, ktorí pomáhajú prepisovať lekárske rozhovory vo viac ako 85 organizáciách, ako je napr. University of Iowa Health Care.

Nový výskum však ukazuje, že Whisper „halucinuje“ alebo pridáva výroky, ktoré nikto nepovedal, do prepisov rozhovorov, čím nastoľuje otázku ako rýchlo zdravotnícke zariadenia by mali prijať AI, ak prináša chyby.

Podľa Associated Pressvýskumník z University of Michigan našiel halucinácie v 80 % prepisov Whisper. Nemenovaný vývojár našiel halucinácie v polovici z viac ako 100 hodín prepisov. Ďalší inžinier našiel nepresnosti takmer vo všetkých 26 000 prepisoch, ktoré vygenerovali pomocou Whisper.

Chybné prepisy rozhovorov medzi lekármi a pacientmi by mohli mať „naozaj vážne následky“, povedala Alondra Nelsonová, profesorka Inštitútu pre pokročilé štúdium v ​​Princetone, New Jersey pre AP.

„Nikto nechce nesprávnu diagnózu,“ povedal Nelson.

Súvisiace: AI nie je „revolučná zmena“ a jej výhody sú „prehnané“, hovorí ekonóm MIT

Začiatkom tohto roka výskumníci z Cornell University, New York University, University of Washington a University of Virginia publikovali štúdium ktorá sledovala, koľkokrát mala služba OpenAI Whisper na prevod reči na text halucinácie, keď musela prepísať 13 140 zvukových segmentov s priemernou dĺžkou 10 sekúnd. Zvuk pochádzal z TalkBank AphasiaBankdatabáza obsahujúca hlasy ľudí s afáziajazyková porucha, ktorá sťažuje komunikáciu.

Keď výskumníci spustili experiment na jar 2023, našli 312 prípadov „úplných halucinovaných fráz alebo viet, ktoré v základnom zvuku neexistovali v žiadnej forme“.

Súvisiace: Nové výsledky vyhľadávania AI od spoločnosti Google sú už halucinujúce – hovoria používateľom, aby jedli kamene a robili omáčku na pizzu s lepidlom

Spomedzi prepisov s halucináciami 38 % obsahovalo škodlivý jazyk, ako je násilie alebo stereotypy, ktoré nezodpovedali kontextu konverzácie.

„Naša práca ukazuje, že existujú vážne obavy týkajúce sa Whisperovej nepresnosti v dôsledku nepredvídateľných halucinácií,“ napísali vedci.

Vedci tvrdia, že štúdia by tiež mohla znamenať halucinácie v Whisper alebo tendenciu vkladať nepresnosti častejšie pre konkrétnu skupinu – a nielen pre ľudí s afáziou.

„Na základe našich zistení navrhujeme, že tento druh halucinačnej zaujatosti by sa mohol vyskytnúť aj u akejkoľvek demografickej skupiny s poruchami reči, ktoré spôsobujú viac neplynulosti (ako sú rečníci s inými poruchami reči, ako je dysfónia). [disorders of the voice]veľmi starší ľudia alebo ľudia, ktorí hovoria iným jazykom),“ uviedli vedci.

Súvisiace: OpenAI údajne použilo viac ako milión hodín videí na YouTube na trénovanie svojho najnovšieho modelu AI

Whisper prepísal sedem miliónov lekárskych rozhovorov cez Nabla, podľa The Verge.