Miza fostului lider în cercetarea AI de la Cohere
Laboratoarele de AI se află într-o competiție acerbă pentru a construi centre de date de dimensiuni uriașe, fiecare costând miliarde de dolari și consumând energie cât un oraș mic. Această efortare este determinată de convingerea profundă în „scalare” — ideea că, adăugând mai multă putere de calcul la metodele existente de antrenare a AI-ului, se vor obține în cele din urmă sisteme superinteligente capabile să îndeplinească diverse sarcini.
Cu toate acestea, un număr tot mai mare de cercetători în domeniul AI susțin că scalarea modelelor de limbaj mari poate atinge limitele sale, iar alte descoperiri ar putea fi necesare pentru a îmbunătăți performanța AI.
Abordarea Adaption Labs
Sara Hooker, fost VP de cercetare AI la Cohere și fostă membră a Google Brain, și-a anunțat recent startup-ul, Adaption Labs, alături de colegul său Sudip Roy. Această companie se bazează pe ideea că scalarea modelelor LLM a devenit o metodă ineficientă pentru a extrage mai multă performanță din modelele AI. Hooker a părăsit Cohere în august și a început recrutarea pentru echipa sa.
Adaption Labs își propune să dezvolte sisteme AI care pot să se adapteze și să învețe continuu din experiențele din lumea reală, făcând acest lucru într-un mod extrem de eficient. Hooker nu a oferit detalii despre metodele utilizate sau dacă compania se bazează pe LLM-uri sau pe o arhitectură diferită.
Critica abordărilor actuale
Hooker a afirmat că există un punct de cotitură în domeniu, unde este evident că formula de scalare a acestor modele nu a produs inteligența capabilă să interacționeze cu lumea. Adaptația este, conform spuselor ei, „inima învățării”. În prezent, metodele de învățare prin întărire (RL) nu ajută modelele AI în producție să învețe din greșelile lor în timp real.
De asemenea, Hooker a subliniat că laboratoarele AI oferă servicii de consultanță pentru a ajuta întreprinderile să-și ajusteze modelele AI, dar acest lucru vine cu un preț ridicat. De exemplu, OpenAI ar solicita clienților să cheltuie peste 10 milioane de dolari pentru acest tip de servicii.
Schimbări în peisajul cercetării AI
Recent, cercetătorii de la MIT au descoperit că cele mai mari modele AI ale lumii ar putea arăta în curând randamente în scădere. De asemenea, Richard Sutton, un câștigător al premiului Turing, a afirmat că LLM-urile nu pot scala cu adevărat deoarece nu învață din experiența reală. Andrej Karpathy, un fost angajat OpenAI, și-a exprimat, de asemenea, rezervele cu privire la potențialul pe termen lung al RL pentru a îmbunătăți modelele AI.
Investiții și viitorul Adaption Labs
Adaption Labs, în contrast, își propune să găsească următoarea descoperire și să demonstreze că învățarea din experiență poate fi mult mai ieftină. Startup-ul a fost în discuții pentru a strânge o rundă de finanțare inițială de 20 până la 40 milioane de dolari, iar surse indică faptul că această rundă s-a încheiat, deși suma finală nu este clară.
Hooker își propune să continue să împingă limitele sistemelor AI compacte, care în prezent depășesc adesea modelele mai mari în teste de codare, matematică și raționament. De asemenea, ea plănuiește să angajeze talente de cercetare din regiuni subreprezentate, inclusiv din Africa, extinzând astfel accesul la cercetarea AI la nivel global.
Impactul viitorului abordărilor inovatoare
Dacă Hooker și Adaption Labs au dreptate în legătură cu limitările scalării, implicațiile ar putea fi uriașe. Miliarde de dolari au fost deja investite în scalarea LLM-urilor, pe baza presupunerii că modelele mai mari vor conduce către inteligență generală. Totuși, este posibil ca adevărata învățare adaptivă să se dovedească nu doar mai puternică, ci și mult mai eficientă.
