Atenție la ironie: Citări fictive descoperite în lucrările prezentate la NeurIPS
Startup-ul de detecție AI GPTZero a analizat cele 4.841 de lucrări acceptate la prestigioasa Conferință pe Sisteme de Procesare a Informațiilor Neurale (NeurIPS), care a avut loc luna trecută în San Diego. Compania a descoperit 100 de citări fictive în 51 de lucrări, confirmate ca fiind false.
Importanța acceptării lucrărilor la NeurIPS
Acceptarea unei lucrări la NeurIPS este o realizare semnificativă în domeniul inteligenței artificiale. Având în vedere că aceste lucrări provin de la cei mai buni cercetători din domeniu, s-ar putea crede că aceștia folosesc modele de limbaj pentru a facilita sarcina adesea plictisitoare a scrierii citărilor.
Semnificația statistică a descoperirii
Cu toate acestea, trebuie menționat că 100 de citări confirmate ca fiind fictive în 51 de lucrări nu reprezintă un număr statistic semnificativ. Fiecare lucrare conține zeci de citări, iar din zecile de mii de citări totale, acest procentaj este, statistic, nesemnificativ.
Impactul citărilor inexacte asupra lucrărilor
Este important de reținut că o citare inexactă nu invalidează cercetarea din cadrul lucrării. NeurIPS a declarat că, chiar dacă 1,1% dintre lucrări au una sau mai multe referințe incorecte datorate utilizării modelelor de limbaj, conținutul lucrărilor în sine nu este neapărat invalidat.
Valoarea citărilor în cercetare
Totuși, o citare falsă nu este lipsită de importanță. NeurIPS se mândrește cu publicarea academică riguroasă în domeniul învățării automate și inteligenței artificiale. Fiecare lucrare este supusă evaluării de către mai mulți recenzori care sunt instruiți să semnaleze halucinațiile.
Citările sunt, de asemenea, o formă de valută pentru cercetători, utilizate ca metrici de carieră pentru a arăta cât de influent este lucrul unui cercetător printre colegii săi. Atunci când AI le fabrică, se reduce valoarea acestora.
Provocările evaluării lucrărilor
Nu se poate critica evaluarea colegială pentru neregulile întâmpinate, având în vedere volumul uriaș de lucrări. GPTZero subliniază că scopul exercițiului a fost de a oferi date specifice despre cum erorile generate de AI se infiltrează printr-o „tsunami de submisii” care a „stresat la maximum conductele de evaluare ale acestor conferințe.”
Întrebări privind responsabilitatea cercetătorilor
Întrebarea rămâne: de ce cercetătorii nu au verificat ei înșiși acuratețea lucrărilor generate de modele de limbaj? Aceștia trebuie să cunoască lista reală a lucrărilor pe care le-au utilizat pentru cercetările lor.
Concluzie
Descoperirea citărilor fictive subliniază o ironie majoră: dacă cei mai buni experți în AI nu reușesc să asigure acuratețea utilizării modelelor de limbaj, ce înseamnă acest lucru pentru restul comunității științifice?
