Introducere în inovațiile Sarvam
Laboratorul indian Sarvam a dezvăluit marți o nouă generație de modele de limbaj mari, mizând pe faptul că modelele open-source, mai mici și eficiente, vor putea câștiga o parte din piață în fața sistemelor mai costisitoare oferite de marii rivali din Statele Unite și China.
Lansarea și contextul acesteia
Lansarea a avut loc în cadrul India AI Impact Summit din New Delhi și se aliniază cu inițiativa guvernului indian de a reduce dependența de platformele străine de inteligență artificială și de a adapta modelele la limbile și utilizările locale.
Detalii despre modelele lansate
Sarvam a anunțat o linie de produse care include modele de 30 de miliarde și 105 miliarde de parametri, un model text-to-speech, un model speech-to-text și un model de viziune pentru analizarea documentelor. Acestea reprezintă o actualizare semnificativă față de modelul Sarvam 1, cu 2 miliarde de parametri, lansat în octombrie 2023.
Modelele de 30B și 105B utilizează o arhitectură de tip mixture-of-experts, care activează doar o fracțiune din parametrii total la un moment dat, reducând semnificativ costurile de calcul. Modelul de 30B oferă o fereastră de context de 32.000 de tokeni, destinat utilizării conversaționale în timp real, în timp ce modelul mai mare oferă o fereastră de 128.000 de tokeni pentru sarcini mai complexe de raționare în mai mulți pași.
Inovații în antrenarea modelelor
Sarvam a declarat că noile modele au fost antrenate de la zero, nu perfecționate pe sisteme open-source existente. Modelul de 30B a fost pre-antrenat pe aproximativ 16 trilioane de tokeni de text, în timp ce modelul de 105B a fost antrenat pe trilioane de tokeni din mai multe limbi indiene.
Aceste modele sunt concepute pentru a susține aplicații în timp real, inclusiv asistenți vocali și sisteme de chat în limbile indiene.
Planuri de open-source și dezvoltare viitoare
Sarvam a anunțat că intenționează să facă open-source modelele de 30B și 105B, deși nu a specificat dacă datele de antrenare sau codul complet de antrenare vor fi, de asemenea, publicate.
Compania a conturat planuri pentru a construi sisteme AI specializate, inclusiv modele orientate spre codare și instrumente pentru întreprinderi sub un produs numit Sarvam for Work, precum și o platformă de agenți AI conversaționali numită Samvaad.
Contextul financiar și de susținere
Înființată în 2023, Sarvam a strâns peste 50 de milioane de dolari în finanțare și are printre investitori Lightspeed Venture Partners, Khosla Ventures și Peak XV Partners (fost Sequoia Capital India).
Concluzie
Lansarea noilor modele de inteligență artificială de către Sarvam subliniază angajamentul Indiei de a dezvolta soluții AI locale, open-source, care să răspundă nevoilor specifice ale utilizatorilor din diverse limbi și domenii, având potențialul de a schimba peisajul AI în regiune.
