Introducere
DeepSeek a lansat un nou model experimental, V3.2-exp, care promite costuri de inferență semnificativ mai mici în operațiuni cu contexte lungi. Anunțul a fost făcut printr-o postare pe Hugging Face, însoțită de un document academic pe GitHub.
Caracteristici principale
Principala inovație a noului model este numită DeepSeek Sparse Attention, un sistem complex care prioritizează anumite extrase din fereastra de context. Acesta utilizează un modul numit „lightning indexer” pentru a selecta segmente specifice din context, iar un alt sistem, denumit „fine-grained token selection system”, alege tokeni specifici din acele extrase pentru a fi încărcați în fereastra de atenție limitată a modulului. Aceste tehnici permit modelelor de Sparse Attention să funcționeze eficient pe porțiuni lungi de context cu o sarcină server mai mică.
Reducerea costurilor API
Pentru operațiuni cu contexte lungi, beneficiile sistemului sunt semnificative. Testările preliminare efectuate de DeepSeek au arătat că prețul unei apeluri simple API poate fi redus cu până la 50% în situații cu contexte lungi. Deși sunt necesare teste suplimentare pentru a construi o evaluare mai robustă, modelul este disponibil cu greutăți deschise pe Hugging Face, permițând astfel testele de către terți pentru a verifica afirmațiile făcute în document.
Contextul cercetării
DeepSeek se alătură unui șir de progrese recente în abordarea problemelor legate de costurile de inferență, care se referă la costurile serverului pentru operarea unui model AI pre-antrenat. Compania, cu sediul în China, a fost o figură neobișnuită în boom-ul AI, mai ales în contextul percepției că cercetarea AI este o luptă naționalistă între SUA și China. La începutul anului, compania a atras atenția cu modelul său R1, antrenat folosind în principal învățarea prin întărire, la un cost mult mai mic decât competitorii americani. Totuși, acest model nu a generat revoluția anticipată în antrenarea AI, iar compania a dispărut din lumina reflectoarelor în lunile următoare.
Implicarea pe termen lung
Noua abordare de „sparse attention” nu este de așteptat să provoace aceeași agitație ca modelul R1, dar poate oferi furnizorilor din SUA câteva lecții necesare pentru a menține costurile de inferență scăzute.
Concluzie
Inovațiile aduse de DeepSeek prin modelul său V3.2-exp și tehnologia Sparse Attention ar putea schimba modul în care sunt gestionate costurile de inferență în AI, având implicații semnificative pentru eficiența operațiunilor cu contexte lungi.
