După ce a anunțat disponibilitatea DeepSeek R1 1.5B pentru folosirea cu NPU pe PC-urile Copilot+ via Visual Studio code, acum Microsoft ne comunică următurl pas: vin modelele 7B & 14B care pot fi descărcate și rulate local în NPU.
Dacă vă interesează, aici aveți detalii despre cum instalați Visual Studio pe ARM și apoi plugin-ul “AI Toolkit for Visual Studio code” cu care descărcați local modelul LLM și apoi îl încărcați și rulați. Puteți modifica parametri de rulare după cum vă duce capul ca să vedeți cum reacționează.
Am pus local DeepSeek R1 14B pe ASUS Vivobook S15 și l-am testat pe NPU cerându-i să scrie în Python codul pentru un server web care aduce aleator date de pe mai multe site-uri web și le prezintă frumos formatat într-o singură pagină, lăsând setările standard din VS Code la inițializarea acestui model.
Partea bună? A mers să ruleze în NPU, cu 2048 de tokens, cu o viteză bunicică.
Partea negativă? A aberat grav de tot și nu a fost în stare să îmi dea o soluție funcțională la prima încercare, epuizând toate token-urile contrazicându-se singur care ar fi cea mai bună soluție. Bine, Microsoft ne anunță încă de la început că modelul poate să o ia pe arătură și să analizăm cu atenție răspunsul.
Acum, nu toată lumea trebuie să îl folosească la așa ceva – fiecare îl va pune la treabă în funcție de ce are nevoie/vrea să obțină. Fiind un LLM cu multă informație în el, ar trebui să vă ajute în multe alte direcții (dacă aveți încredere în el, bineînțeles).
Eu vă sfătuiesc să îl încercați, mai ales dacă dispuneți de un Copilot+ PC, că doar așa puneți la treabă NPU-ul pe care ați plătit o grămadă de bani.
Mi-a plăcut că poate fi folosit folosind laptop-ul pe baterie, fără să se încingă și la o viteză decentă.
via Microsoft
