Tensormesh atrage 4,5 milioane de dolari pentru a optimiza performanța serverelor AI
În contextul creșterii accelerate a infrastructurii AI, presiunea de a maximiza inferența de pe GPU-uri este mai mare ca niciodată. Aceasta reprezintă o oportunitate pentru cercetătorii cu expertiză în tehnici specifice de a atrage fonduri.
Tensormesh a ieșit din anonimat săptămâna aceasta, obținând 4,5 milioane de dolari în finanțare de tip seed. Investiția a fost condusă de Laude Ventures, cu contribuții suplimentare din partea pionierului bazelor de date, Michael Franklin.
Utilizarea fondurilor pentru dezvoltarea LMCache
Tensormesh va folosi fondurile pentru a construi o versiune comercială a utilitarului open-source LMCache, lansat și întreținut de co-fondatorul Tensormesh, Yihua Cheng. LMCache poate reduce costurile de inferență cu până la zece ori, având astfel o reputație solidă în implementările open-source și atrăgând integrarea de la companii mari precum Google și Nvidia. Tensormesh intenționează să transforme această reputație academică într-o afacere viabilă.
Inovația în sistemul de memorie KV cache
Tensormesh își bazează tehnologia pe un sistem de memorie numit key-value cache (KV cache), care permite procesarea mai eficientă a inputurilor complexe prin condensarea acestora la valorile cheie. În arhitecturile tradiționale, KV cache-ul este eliminat la finalul fiecărei interogări, ceea ce, conform CEO-ului Tensormesh, Juchen Jiang, reprezintă o sursă uriașă de ineficiență.
Tensormesh propune păstrarea acestui cache, ceea ce permite reutilizarea sa atunci când modelul efectuează un proces similar în cadrul unei interogări separate. Acest lucru poate însemna răspândirea datelor pe mai multe straturi de stocare, dar rezultatul este o putere de inferență semnificativ mai mare pentru aceeași sarcină pe server.
Provocările și cererea pentru soluții eficiente
Aceste schimbări sunt, teoretic, realizabile de către companiile AI, dar complexitatea tehnică le face o sarcină descurajantă. Echipa Tensormesh, datorită cercetărilor sale în domeniu, mizează pe cererea crescută pentru un produs ușor de utilizat.
“Păstrarea KV cache-ului într-un sistem de stocare secundar și reutilizarea sa eficientă fără a încetini întregul sistem este o problemă foarte complexă,” afirmă Jiang. “Am văzut oameni angajând 20 de ingineri și petrecând trei sau patru luni pentru a construi un astfel de sistem. Sau pot folosi produsul nostru și să o facă foarte eficient.”
Concluzie
Tensormesh se poziționează astfel să devină un jucător important în optimizarea performanței serverelor AI, oferind soluții eficiente care pot transforma modul în care sunt gestionate resursele de memorie în aplicațiile de inteligență artificială.
