OpenAI testează performanța AI-urilor în comparație cu profesioniștii umani
OpenAI a lansat joi un nou benchmark, GDPval, care evaluează cum se descurcă modelele sale AI comparativ cu profesioniștii umani din diverse industrii și locuri de muncă. Acest test reprezintă o tentativă timpurie de a înțelege cât de aproape sunt sistemele OpenAI de a depăși oamenii în activități economice valoroase, un aspect esențial al misiunii companiei de a dezvolta inteligența artificială generală (AGI).
Rezultatele testelor
OpenAI a constatat că modelul său GPT-5 și modelul Claude Opus 4.1 de la Anthropic „se apropie deja de calitatea muncii produse de experții din industrie.” Totuși, OpenAI recunoaște că modelele sale nu vor înlocui imediat oamenii în locurile de muncă. Benchmark-ul GDPval acoperă în prezent un număr foarte limitat de sarcini pe care oamenii le îndeplinesc în realitate. Aceasta este o metodă recentă prin care compania măsoară progresul AI-ului către acest obiectiv.
Industria și ocupațiile testate
GDPval se bazează pe nouă industrii care contribuie cel mai mult la produsul intern brut al Americii, incluzând domenii precum sănătatea, finanțele, manufactura și guvernul. Benchmark-ul testează performanța unui model AI în 44 de ocupații din aceste industrii, de la ingineri software la asistenți medicali și jurnaliști.
Metodologia testului
În prima versiune a testului, GDPval-v0, OpenAI a cerut profesioniștilor experimentați să compare rapoartele generate de AI cu cele produse de alți profesioniști și să aleagă cea mai bună variantă. De exemplu, un prompt a solicitat bancherilor de investiții să creeze un peisaj competitiv pentru industria livrărilor de ultimă milă și să compare rezultatele cu cele generate de AI. OpenAI a calculat apoi „rata de câștig” a modelului AI față de rapoartele umane în toate cele 44 de ocupații.
Performanța GPT-5 și Claude Opus 4.1
Pentru versiunea îmbunătățită GPT-5-high, OpenAI a raportat că modelul a fost evaluat ca fiind mai bun sau comparabil cu experții din industrie în 40,6% din cazuri. Modelul Claude Opus 4.1 a fost clasificat ca fiind mai bun sau comparabil cu experții în 49% din sarcini. OpenAI consideră că scorul ridicat al modelului Claude se datorează tendinței sale de a crea grafice plăcute, mai degrabă decât performanței pure.
Limitările și planurile de viitor
Majoritatea profesioniștilor realizează multe activități mai complexe decât simplele rapoarte de cercetare, ceea ce nu este evaluat în prezent de GDPval-v0. OpenAI recunoaște acest lucru și intenționează să dezvolte teste mai cuprinzătoare în viitor, care să poată acoperi mai multe industrii și fluxuri de lucru interactive.
Progresul și perspectivele de dezvoltare
OpenAI consideră progresele înregistrate de GDPval ca fiind semnificative. Dr. Aaron Chatterji, economistul-șef al OpenAI, a afirmat că rezultatele sugerează că persoanele din aceste locuri de muncă pot acum utiliza modelele AI pentru a se concentra pe sarcini mai semnificative.
Tejal Patwardhan, evaluatoare la OpenAI, s-a arătat încurajată de ritmul progresului înregistrat de GDPval. Modelul GPT-4o a obținut doar 13,7% (câștiguri și egaluri față de oameni), iar acum GPT-5 a atins aproape triplează acest rezultat, un trend pe care Patwardhan se așteaptă să continue.
Importanța benchmark-ului GDPval
În Silicon Valley există o varietate de benchmark-uri utilizate pentru a măsura progresul modelelor AI. Benchmark-uri precum AIME 2025 și GPQA Diamond sunt printre cele mai populare. Cu toate acestea, mai multe modele AI se apropie de saturație pe unele dintre aceste benchmark-uri, iar cercetătorii AI au subliniat necesitatea unor teste mai bune care să măsoare competența AI-ului în sarcini din lumea reală.
Benchmark-uri precum GDPval ar putea deveni din ce în ce mai importante în această discuție, pe măsură ce OpenAI argumentează că modelele sale AI sunt valoroase pentru o gamă largă de industrii. Totuși, OpenAI ar putea avea nevoie de o versiune mai cuprinzătoare a testului pentru a afirma cu certitudine că modelele sale AI pot depăși oamenii.
Concluzie
Progresele înregistrate de modelele AI precum GPT-5 în comparația cu profesioniștii umani subliniază potențialul utilizării inteligenței artificiale pentru eficientizarea muncii, dar și necesitatea unor teste mai cuprinzătoare pentru a evalua impactul real în diverse domenii profesionale.
