Nedavna studija pokazuje nedostatke u AI sustavima za sažimanje vijesti
Nova studija koju je proveo BBC otkrila je da četverica najpopularnijih AI chatbota, uključujući ChatGPT, netočno sažimaju vijesti. U ovoj fascinantnoj analizi, BBC je zatražio od ChatGPT-a, Copilota, Geminija i Perplexityja da sažmu 100 vijesti i zatim su ocijenili svaki odgovor kako bi utvrdili koliko su AI odgovori bili točni.
Rezultati studije
Studija je pokazala da je “51% svih AI odgovora na pitanja o vijestima ocijenjeno kao problematično u nekom obliku,” dok je “19% AI odgovora koji su citirali sadržaj BBC-a sadržavalo činjenice koje su bile netočne, poput netočnih izjava, brojeva i datuma.” Ovi nalazi otkrivaju brojne primjere netočnosti, uključujući tvrdnje poput “Geminija koji je netočno rekao da NHS ne preporučuje pušenje e-cigareta kao pomoć u prestanku,” te “ChatGPT i Copilot koji su tvrdili da su Rishi Sunak i Nicola Sturgeon još uvijek na dužnosti, iako su već napustili svoje pozicije.”
Problemi s razlikovanjem između činjenica i mišljenja
Osim netočnosti, još jedno važno otkriće odnosi se na borbu AI sustava u razlikovanju između mišljenja i činjenica. Studija je pokazala da su AI alati “uređivali sadržaj” i često nisu uključivali ključni kontekst. S obzirom na to koliko često svjedočimo problemima s alatima za sažimanje vijesti, uključujući zbrke s Apple Intelligenceom koje su natjerale Apple da privremeno ukloni ovu funkciju iz iOS 18.3, jasno je da ne bismo trebali vjerovati svemu što prečimo putem AI-a.
Zaključak: Oprez u korištenju AI alata za vijesti
BBC zaključuje da su “Microsoftov Copilot i Googleov Gemini imali značajnije probleme od OpenAI-ovog ChatGPT-a i Perplexityja.” Dok ova istraživanja ne donose puno novih informacija, ona potvrđuju skepticizam prema alatima za sažimanje putem AI-a i naglašavaju važnost opreza prilikom uzimanja informacija iz AI chatbota sa dozom sumnje. AI se rapidno razvija, a veliki jezični modeli (LLMs) izlaze gotovo tjedno, pa su pogreške koje se događaju očekivane. No, iz mojih osobnih testiranja, primijetio sam da su netočnosti i “halucinacije” sada rjeđe u softveru poput ChatGPT-a nego što su bile prije nekoliko mjeseci.
Sam Altman je u svom jučerašnjem blogu izjavio da AI napreduje brže od Mooreovog zakona, što znači da ćemo i dalje svjedočiti stalnim poboljšanjima softvera i njegovoj interakciji s okolinom. Za sada, međutim, najbolje je ne oslanjati se na AI za dnevne vijesti, a ako se radi o tehnologiji, bolje je držati se provjerenih izvora poput TechRadara.
