A ChatGPT novemberi megjelenése óta a világ legnépszerűbb internetes szolgáltatásává lépett elő, esetenként rendkívül pontos válaszai miatt pedig több szakma képviselői is kifejezték már aggodalmukat. A chatbotot már most rengeteg diák használja az egyetemi vizsgákon, azonban egy friss kutatás szerint van egy terület, ahol az OpenAI fejlesztése meg sem közelíti a diákok tudását – írja az Eurekalert.

A Brigham Young University és 186 másik egyetem arra volt kíváncsi, hogyan teljesít a program a könyveléssel kapcsolatos vizsgákon. A kutatásban 327 társszerző vett részt, akik 25 181 tantermi számviteli vizsgakérdést, és további 2268 tankönyvi feladatot tápláltak be a ChatGPT-be. A kérdések elsősorban a számviteli információs rendszerekre, könyvvizsgálatra, pénzügyi számvitelre, valamint az adózásra vonatkoztak, és többféle feladattípus is volt köztük: igaz/hamis, kifejtős, stb.

A tesztelés során kiderült, a diákok még mindig sokkal jobban teljesítenek a vizsgákon.

A hallgatók átlagosan 76,7 százakékos eredményt értek el, míg a ChatGPT pontjai nem érték el az 50 százalékot. A kérdések 11,3 százalékánál ugyanakkor a chatbot magasabb pontszámot ért el: ez a számítógépes információs rendszerek (AIS) témakörénél volt megfigyelhető. Adóügyi kérdésekben, valamint pénzügyi, és menedzsmenttel kapcsolatos kérdésekben azonban durván alulteljesített.

A mesterséges intelligencia a legjobb eredményt a feleletválasztós kérdéseknél érte el (68,7 százalék), a kifejtős kérdésekben azonban csak 28 és 39 százalék közötti sikerrátát tudott felmutatni. A kutatás megállapításai a következők:

A program nem mindig ismeri fel, ha matematikai feladatokat végez: sokszor olyan alapműveleteket is elront, mint az összeadás, kivonás, szorzás, osztás. Sokszor a ChatGPT levezetései pontosak, ezután mégis a rossz megoldást választja. A program gyakran generál hamis tényeket, vagy hivatkozási alapokat. Volt, hogy egy tudományos munkát jelölt meg a forrásaként, ám ennek szerzője nem létezett, ahogy a mű sem.

A kutatók folytatják a tesztelést, és a chatbot alapjául szolgáló legújabb nyelvi modellt, a GPT-4-et is hamarosan alávetik a tesztnek.

The post Ebbe a szakmába beletört a ChatGPT bicskája first appeared on 24.hu.