Silicon Valley și inovațiile în pregătirea agenților AI
De ani de zile, directorii companiilor mari de tehnologie promovează viziuni despre agenți AI care pot utiliza autonom aplicații software pentru a îndeplini sarcini pentru oameni. Cu toate acestea, agenții AI disponibili în prezent, precum ChatGPT Agent de la OpenAI sau Comet de la Perplexity, demonstrează limitările tehnologice actuale. Îmbunătățirea robustității agenților AI ar putea necesita o nouă serie de tehnici în curs de descoperire în industrie.
Medii de învățare prin întărire (RL)
Una dintre tehnicile emergente este simularea atentă a spațiilor de lucru, unde agenții pot fi instruiți pe sarcini multi-pas, cunoscute sub numele de medii de învățare prin întărire (RL). Aceste medii încep să fie considerate un element esențial în dezvoltarea agenților, similar cu seturile de date etichetate care au susținut ultima eră a AI-ului.
Conform cercetătorilor AI și investitorilor, laboratoarele de vârf din domeniu cer tot mai multe medii RL, iar startup-urile care își propun să le ofere sunt în plină expansiune. Jennifer Li, partener general la Andreessen Horowitz, a afirmat că toate laboratoarele mari AI construiesc medii RL intern, dar caută și furnizori terți care să creeze medii și evaluări de înaltă calitate.
Startup-uri promițătoare în domeniul RL
Acest impuls pentru medii RL a generat o nouă clasă de startup-uri bine finanțate, precum Mechanize Work și Prime Intellect, care își propun să conducă acest domeniu. Companii mari de etichetare a datelor, cum ar fi Mercor și Surge, investesc și ele în dezvoltarea mediilor RL pentru a ține pasul cu schimbările din industrie, având în vedere tranziția de la seturi de date statice la simulări interactive. Se estimează că liderii de la Anthropic discută despre investiții de peste 1 miliard de dolari în medii RL în următorul an.
Definirea mediilor RL
Mediile RL sunt terenuri de antrenament care simulează activitățile pe care un agent AI le-ar desfășura într-o aplicație software reală. De exemplu, o medie ar putea simula un browser Chrome și ar putea solicita unui agent AI să cumpere o pereche de șosete pe Amazon. Agentul este evaluat pe baza performanței sale și primește un semnal de recompensă atunci când reușește.
Mediile RL pot fi variate, unele având un grad de complexitate ridicat, permițând agenților AI să utilizeze instrumente și să acceseze internetul pentru a îndeplini sarcini, în timp ce altele se concentrează pe învățarea unor sarcini specifice în aplicații software de întreprindere.
Competiția în domeniul mediilor RL
Companiile de etichetare a datelor, precum Scale AI, Surge și Mercor, se străduiesc să dezvolte medii RL, având resurse mai mari și relații strânse cu laboratoarele AI. Surge, de exemplu, a raportat o creștere semnificativă a cererii pentru medii RL, generând 1,2 miliarde de dolari din colaborările cu laboratoarele AI.
Mercor, evaluată la 10 miliarde de dolari, își propune să dezvolte medii RL pentru sarcini specifice, în timp ce Scale AI, care a pierdut teren în fața Meta, se adaptează la noile cerințe ale pieței. Startup-uri precum Mechanize Work se concentrează exclusiv pe medii RL, având ca obiectiv automatizarea locurilor de muncă.
Provocările și viitorul mediilor RL
Întrebarea rămâne dacă mediile RL vor susține avansul AI-ului ca metodele anterioare de antrenament. Metodele de învățare prin întărire au generat progrese semnificative în AI, dar scala și eficiența acestor metode rămân neclare. De asemenea, există îngrijorări legate de probleme precum “hackingul recompenselor”, în care agenții AI pot trișa pentru a obține recompense fără a îndeplini sarcinile reale.
În timp ce unii experți, precum Karpathy, văd potențialul mediilor RL, ei exprimă și îngrijorări cu privire la limita progresului pe care îl putem obține prin învățarea prin întărire.
Concluzie
Mediile de învățare prin întărire reprezintă o direcție promițătoare pentru dezvoltarea agenților AI, dar provocările legate de scalabilitate și eficiență rămân o preocupare pentru specialiști. Investițiile și inovațiile din acest domeniu vor determina viitorul interacțiunii dintre oameni și tehnologie.
