NVIDIA a anunțat tehnologie nouă NVIDIA RTX™ care să alimenteze asistenții AI și personajele digitale care rulează pe noile laptopuri AI GeForce RTX™.
NVIDIA dezvăluie Project G-Assist — un demo tehnologic al unui asistent AI alimentat de RTX care oferă ajutor contextual pentru jocuri și aplicații de PC. Demo-ul tehnic Project G-Assist a debutat cu ARK: Survival Ascended de la Studio Wildcard. De asemenea, NVIDIA a prezentat și microservicii de inferență NVIDIA NIM™ pentru platforma de personaje digitale NVIDIA ACE.
Aceste tehnologii au la bază setul de instrumente NVIDIA RTX AI , o nouă suită de unele și SDK-uri care ajută dezvoltatorii să optimizeze și să lanseze modele de AI generativ mari pe PC-uri Windows. Acestea se alătură inovațiilor RTX AI de la NVIDIA care accelerează peste 500 de jocuri și aplicații pe PC și 200 de design-uri de laptopuri.
Mai mult, nou anunțatele laptopuri RTX AI de la ASUS și MSI dispun de plăci video până la GeForce RTX 4070 și sisteme pe un cip eficient din punct de vedere energetic, cu capabilități Windows 11 AI. Aceste PC-uri cu Windows 11 AI vor primi un update gratuit la experiențele PC Copilot+ atunci când vor fi disponibile.
„NVIDIA a lansat era PC-urilor AI în 2018 odată cu lansarea plăcilor video cu nuclee Tensor RTX și tehnologia DLSS,” a spus Jason Paul, vice president of consumer AI la NVIDIA. „Acum cu Project G-Assist și NVIDIA ACE deblocăm următoarea generație de experiențe alimentate de AI pentru peste 100 de milioane de utilizatori de PC-uri RTX AI.”
Project G-Assist, un asistent AI GeForce
Asistenții AI vor transforma experiențele din gaming și din aplicații – de la oferirea de strategii de gaming și analiza replay-urilor din meciuri multiplayer până la fluxuri complexe creative. Project G-Assist este o privire în viitor
Jocurile pe PC oferă universuri vaste de explorat și mecanisme complicate de învățat, care pot fi provocatoare și câteodată necesită mult timp chiar și pentru cei mai dedicați gameri. Project G-Assist are ca scop facilitarea informațiilor din jocuri prin intermediul AI-ului generative către jucători.
Project G-Assist primește comenzi prin voce sau text de la jucător, alături de informații contextuale de pe ecran și analizează datele cu modele AI. Aceste modele îmbunătățesc conștientizarea contextuală și înțelegerea specifică aplicației a unui LLM legat de o bază de date cu informații a jocului, iar apoi generează un răspuns adaptat sub formă de text sau voce.
NVIDIA alături de Studio Wildcard au prezentat un demo al tehnologiei cu ARK: Survival Ascended. Project G-Assist poate ajuta la răspunderea întrebărilor despre creaturi, iteme, poveste, obiective, creaturi dificile și multe altele. Pentru că Project G-Assist este conștient de context personalizează răspunsul în funcție de sesiunea de joc a jucătorului.
Mai mult, Project G-Assist poate configura sistemul de gaming pentru performanță și eficiență optime. Poate oferi insight-uri legate de măsurători de performanță, poate optimiza setările grafice în funcție de hardware, poate face un overclock sigur și poate chiar reduce în mod inteligent consumul de energie în timp ce menține un anumit nivel de performanță.
Primul ACE PC NIM debutează
Tehnologia NVIDIA Ace pentru alimentarea personajelor digitale vine acum pe PC-urile RTX AI și stațiile de lucru cu NVIDIA NIM – microservicii de inferență care permit dezvoltatorilor să reduce timpul de lansare de la câteva săptămâni la câteva minute. ACE NIMs oferă inferență de înaltă calitate, rulată local pe dispozitiv pentru o înțelegere naturală a limbajului, a sintezei de discurs, animațiilor faciale și multe altele.
La COMPUTEX debutul în gaming al NVIDIA ACE NIM pe PC a fost prezentat în Covert Protocol tech demo, dezvoltat în colaborare cu Inworld AI. Acesta prezintă NVIDIA Audio2Face™ și NVIDIA Riva automatic speech recognition care rulează local pe dispozitiv.
Windows Copilot Runtime adaugă accelerare GPU pentru SLM-uri locale
Microsoft și NVIDIA colaborează pentru a ajuta dezvoltatorii să aducă noi capabilități de AI generative în aplicațiile native Windows și de web. Colaborarea va oferi dezvoltatorilor de aplicații acces facil API la modelele de limbaj de mici dimensiu (SLM) accelerate de GPU care permit capabilități retrieval-augmented generation (RAG) ce rulează pe dispozitiv cu ajutorul Windows Copilot Runtime.
SLM-urile oferă posibilități extraordinare pentru dezvoltatorii Windows, printre care sumarizarea conținutului, generare de conținut și automatizarea sarcinilor. Capabilitățile RAG îmbunătățesc SLM-urile oferind modelului AI access la informații specific domeniului care nu sunt bine reprezentate în modelele de bază. API-urile RAG permit dezvoltatorilor să valorifice surse de date specifice aplicațiilor și să adapteze comportamentul și capacitățile SLM la nevoile aplicației.
Aceste capabilități AI vor fi accelerate de plăcile video NVIDIA RTX, precum și acceleratoarele AI de la alți furnizori de hardware, oferind utilizatorilor finali experiențe AI rapide și receptive în întregul ecosistem Windows.
API-ul va fi lansat în developer preview anul acesta.
Modele de 4x mai rapide și de 3x mai mici cu RTX AI Toolkit
Ecosistemul AI a construit sute de mii de modele open-source pentru dezvoltatorii de aplicații, dar majoritatea modelelor sunt predefinite pentru scopuri generale și construite pentru a funcționa într-un centru de date.
Pentru a ajuta dezvoltatorii să construiască modele AI specifice pentru aplicații care să ruleze pe PC-uri, NVIDIA prezintă RTX AI Toolkit — o suită de unelte și SDK-uri pentru personalizarea modelelor, optimizare și lansare pe PC-uri RTX AI. RTX AI Toolkit va fi disponibil în iunie pentru dezvoltatori
Dezvoltatorii pot personaliza și predefine modele cu unele open-source QLoRa. Apoi pot folosi optimizatorul de model NVIDIA TensorRT™ pentru a cuantifica modelele pentru a consuma de 3 ori mai puțină memorie RAM. NVIDIA TensorRT Cloud optimizează apoi modelul pentru performanțe maxime pentru toate plăcile video RTX. Rezultatul este o performanță mai rapidă de până la 4 ori prin comparație cu un model predefinit.
SDK-ul NVIDIA AI Inference Manager (AIM) disponibil acum în early access, simplică implementarea ACE pe PC-uri. Acesta preconfigurează PC-ul cu modelele, motoarele și dependențele AI necesare în timp ce orchestrează inferența AI fără probleme între PC-uri și cloud.
Parteneri software precum Adobe, Blackmagic Design și Topaz integrează componente ale RTX AI Toolkit în aplicațiile lor creative populare pentru a accelera performanța AI pe PC-urile RTX.
„Adobe și NVIDIA continuă să colaboreze pentru a oferi cliențior experiențe revoluționare în toate fluxurile de lucru creative, de la video la imagistică, design, 3D și nu numai,” a spus Deepa Subramaniam, vice president of product marketing, Creative Cloud la Adobe. „TensorRT 10.0 pe PC-urile RTX oferă performanțe fără precedent și capabilități bazate pe AI pentru creatori, desgineri și dezvoltatori, deblocând noi posibilități creative pentru crearea de conținut în instrumente creative de top din industrie precum Photoshop.”
Componente ale RTX AI Toolkit, precum TensorRT-LLM sunt integrate în framework-uri de dezvoltare și aplicații populare pentru AI generativ, inclusiv Automatic 1111, ComfyUI, Jan.AI, Langchain, LlamaIndex, Oobabooga și Sanctum.AI.
AI pentru creare de conținut
De asemenea, NVIDIA integrează accelerarea RTX AI în aplicații pentru creatori, modderi și entuziaști video.
Anul trecut NVIDIA a prezentat accelerarea RTX folosind TensorRT pentru una dintre cele mai populare interfețe Stable Difussion, Automatic1111. Începând de săptămâna aceasta RTX va accelera și popularul ComfyUI, care livrează o îmbunătățire de până la 60% în performanță față de versiunea curentă și o performanță de 7 ori mai rapidă prin comparație cu MacBook Pro M3 Max.
NVIDIA RTX Remix este o platformă de modding pentru remasterizarea jocurilor clasice DirectX 8 sau DirectX 9 cu full ray tracing, NVIDIA DLSS 3.5 și materiale realiste. RTX Remix include un runtime renderer și aplicația RTX Remix Toolkit care facilitează procesul de modding al asset-urilor și materialelor din joc.
Anul trecut NVIDIA a făcut RTX Remix Runtime open source, permițându-le dezvoltatorilor de moduri să extindă compatibilitatea jocurilor și să avanseze capacitățile de rendering.
De când a fost lansat RTX Remix Toolkit la începutul acestui an, 20.000 de modderi l-au folosit pentru a modifica jocuri clasice, ceea ce a dus la peste 130 de remasterizări RTX în curs de dezvoltare pe Discord-ul RTX Remix Showcase.
Luna aceasta NVIDIA va face RTX Remix Toolkit open source, cee ace permite modderilor să eficientizeze modul în care asset-urile sunt înlocuite și scenele sunt reilluminate, să crească formatele de fișiere acceptate pentru RTX Remix asset ingestor și să sporească instrumentele de textură AI ale RTX Remix cu noi modele.
Mai mult, NVIDIA face ca capabilitățile RTX Remix Toolkit să fie accesibile prin intermediul unui REST API, care permite modderilor să facă legătura între RTX Remix și intrumentele de creare de conținut digital, cum ar fi Blender, instrumente de modding precum Hammer și aplicații de AI generativ precum ComfyUI. De asemenea, NVIDIA oferă un SDK pentru RTX Remix Runtime, pentru a permite modderilor să implementeze rendererul RTX Remix în alte aplicații și jocuri dincolo de clasicele DirectX 8 și 9.
Având în vedere că mai multe elemente ale platformei RTX Remix sunt făcute open source, modderii din întreaga lume pot construe și mai multe remasterizări uimitoare.
NVIDIA RTX Video, populara funcție de super-resolution alimentată de AI care are suport în Google Chrome, Microsoft Edge și Mozilla Firefox este acum disponibilă ca SDK pentru toți dezvoltatorii, ajutându-i să integreze nativ AI pentru upscaling, sharpening, compresie, reducerea artefactelor și conversie HDR.
În curând, în software-ul de editare video DaVinci Resolve de la Blackmagic Design și Wondershare Filmora, RTX Video va permite editorilor video să facă upscale fișierelor video de calitate scăzută la rezoluție 4K, precum și să convertească fișiere sursă SDR în HDR. Mai mult, player-ul media gratuit VLC va adăuga în curând RTX Video HDR la capabilitatea super-resolution deja existentă.