Niv-AI: Soluția pentru Maximizarea Performanței GPU-urilor
Electricitatea este un material de bază esențial pentru inteligența artificială, însă noile tehnici de procesare depășesc capacitatea operatorilor de centre de date de a gestiona relația cu rețeaua electrică, forțându-i să reducă utilizarea cu până la 30%.
„Atât de multă energie este risipită în aceste fabrici de AI”, a declarat CEO-ul Nvidia, Jensen Huang, în timpul unei prezentări la conferința anuală GTC a companiei. „Fiecare watt neutilizat este venit pierdut”, a adăugat acesta.
Despre Niv-AI
Astăzi, start-up-ul Niv-AI a ieșit din anonimat cu o finanțare inițială de 12 milioane de dolari pentru a rezolva această problemă prin măsurarea precisă a consumului de energie al GPU-urilor cu ajutorul unor senzori noi și dezvoltarea de instrumente pentru gestionarea acestuia mai eficient.
Fondat anul trecut în Tel Aviv de CEO-ul Tomer Timor și CTO-ul Edward Kizis, Niv-AI beneficiază de sprijinul Glilot Capital, Grove Ventures, Arc VC, Encoded VC, Leap Forward și Aurora Capital Partners. Compania a refuzat să dezvăluie evaluarea sa.
Provocările Centrelor de Date
Centrele de date care operează mii de GPU-uri pentru a antrena și rula modele avansate se confruntă cu creșteri frecvente ale cererii de energie la nivel de milisecunde, pe măsură ce procesoarele comută între sarcini de calcul și comunicarea cu alte GPU-uri. Aceste creșteri fac dificilă gestionarea energiei extrase din rețea.
Pentru a evita să rămână fără suficientă electricitate, centrele de date plătesc pentru stocare temporară de energie pentru a acoperi aceste creșteri sau își limitează utilizarea GPU-urilor, ambele cazuri reducând rentabilitatea investițiilor în cipuri costisitoare.
Strategia Niv-AI
Primul pas în planul Niv-AI este de a înțelege ce se întâmplă. Compania implementează acum senzori la nivel de rack care detectează utilizarea energiei la nivel de milisecundă pe GPU-urile pe care le deține, alături de partenerii săi de design. Scopul este de a înțelege profilele specifice de consum de energie ale diferitelor sarcini de învățare profundă și de a dezvolta tehnici de atenuare care să permită centrelor de date să deblocheze mai mult din capacitatea lor existentă.
Inginerii se așteaptă, de asemenea, să construiască un model AI pe baza datelor colectate, cu scopul de a-l antrena pentru a prezice și sincroniza încărcările de energie din întreaga centrul de date – un „copilot” pentru inginerii centrelor de date.
Niv-AI se așteaptă să aibă un sistem operațional în câteva centre de date din SUA în următoarele șase până la opt luni. Ideea este atractivă, având în vedere că companiile mari care încearcă să construiască noi centre de date se confruntă cu dificultăți legate de utilizarea terenurilor și de problemele din lanțul de aprovizionare.
Impactul asupra Rețelei Electrice
Fondatorii văd produsul lor final ca un „nivel de inteligență” lipsă între centrele de date și rețeaua electrică. „Rețeaua se teme că centrul de date va consuma prea multă energie într-un moment specific”, a spus Timor. „Problema pe care o analizăm are două fațete: pe de o parte, ajutăm centrele de date să utilizeze mai multe GPU-uri și, sperăm, să valorifice mai multă energie pentru care deja plătesc. Pe de altă parte, putem crea profiluri de consum de energie mult mai responsabile între centrele de date și rețea.”
În concluzie, Niv-AI are potențialul de a transforma modul în care centrele de date gestionează consumul de energie, contribuind astfel la maximizarea eficienței GPU-urilor și la o utilizare mai responsabilă a resurselor electrice.
