sony, intelligent vision sensor

Intelligent Vision Sensor de la Sony este primul dotat cu procesare hardware AI

Cu câțiva ani în urmă, Sony a creat primul senzor de imagine cu memorie RAM on-chip, care a permis captarea video în mișcare lentă la framerate foarte mare. Acum, compania a creat primul senzor cu hardware AI on-board, care poate realiza recunoașterea de mare viteză a imaginilor.

Intelligent Vision Sensor, IMX500, are un design stivuit, format dintr-un cip de pixeli (1/2,3”, rezoluție de 12,3MP, 1,55 µm pixeli) și un cip logic care are un DSP dezvoltat de Sony și memorie pentru modelele AI.

Senzorul poate captura video 4K la 60 fps, dar mai important este că necesită doar 3,1 milisecunde pentru a analiza imaginea (folosind modelul MobileNet V1 de la Google). Nici măcar nu este nevoie să scoată imagini, ci poate trimite doar metadate pentru a fi procesate.

sony, intelligent vision sensor

După cum relatează Sony, acesta este un element important pentru confidențialitate, deoarece datele imaginii nu părăsesc niciodată cipul (și cu siguranță nu este necesar să fie trimise pe internet în cloud). De asemenea, de îndată ce modelele AI pot fi configurate, același hardware poate fi utilizat pentru diferite sarcini.

Un exemplu simplu este introducerea IMX500 într-o mașină și orientându-l către șofer. Dacă senzorul detectează că șoferul este distras sau adormit, poate trimite un avertisment mașinii. Chiar dacă un procesor extern poate face aceeași sarcină, folosirea doar a senzorului de imagine este mai simplă (și deci mai fiabilă) și mai ieftină.

Magazinele pot utiliza Intelligent Vision Sensor pentru diferite sarcini. De exemplu, unul ar putea fi la ușă, numărând câte persoane au intrat. Altul poate fi atent la rafturi, trimitând o notificare atunci când stocul scade. Încă un altul poate determina zonele în care merg majoritatea oamenilor și produsele pe care le ridică.

sony, intelligent vision sensor

sony, intelligent vision sensor

Este puțin probabil ca IMX500 să își găsească drumul în smartphone-uri. Dar îsi poate găsi locul în casele voastre ca parte a unui difuzor inteligent – de ex. poate vedea cine pune întrebarea, ceea ce va ajuta sistemul să ofere un răspuns mai relevant. Și, din nou, problemele de confidențialitate sunt reduse, deoarece senzorul de imagine poate emite doar „Tom vorbește” în loc să capteze o fotografie și să trimită spre procesare.

De asemenea, nu este doar confidențialitate, un design care utilizează acest senzor va avea o latență mult mai mică, va avea nevoie de foarte puțin lățime de bandă și reduce consumul de energie la pornire.

3,1 milisecunde pentru a analiza o imagine este mult mai rapidă decât abordările tradiționale, permițând aplicațiilor care au nevoie de timpi de reacție rapidă (de exemplu roboți industriali). De asemenea, metadatele sunt minuscule comparativ cu materialele video de 4K / 60fps pe care se bazează, astfel încât sute de camere pot împărtăși o conexiune de date relativ lentă.

IMX500 (doar senzorul) și IMX501 (senzorul dintr-un pachet LGA) vor fi trimise ca mostre în curând companiilor, iar Sony crede că primele produse care le vor folosi vor apărea anul viitor. Deocamdată, aceste două costă 10.000 JPY, respectiv 20.000 JPY (adică 94 USD și respectiv 187 USD).

Patrick
Acum 15 ani îmi căutam locul în lumea profesionala. Am căutat să îmi aleg un domeniu care să-mi placă, să mă caracterizeze și am început să tatonez mai multe terenuri, printre care și geografia turistică. În scurt timp am renunțat la studiul geografiei turistice din motive personale și familiale pentru un job în IT, care începea să devină la modă pe atunci. Astfel că am început lucrul la o companie de furnizare servicii de internet care a început în cartierul în care locuiam și în câțiva ani s-a extins. Pe atunci aveam un PC cu procesor AMD low-end (chiar și pentru vremea aceea) cu care am început să învăț software: programare, design grafic (începusem pasiunea pentru Adobe Photoshop cu care astazi am avansat la post-procesare fotografii și pictură digitală, ilustrație etc.), dintre care și web design, domeniu în care am început, pe atunci, destul de timid și cu multe greșeli. În timp, mi-am construit un portfoliu de lucrări, am câștigat câțiva clienți, iar apoi, după câțiva ani mi-a crescut reputația odată cu avansarea în tehnologie, pentru ca recent să-mi înființez Studiourile Cydrone, o companie-studio de creație digitală. Am trecut de la HTML4, XHTML, la HTML5 si CSS3, apoi la CMS web developing. Nu am ratat nici domeniul bloggingului și mi-am pornit primul meu blog pe blogspot.com, apoi am trecut la domeniu propriu. Astăzi scriu pe diverse platforme, în primul rând pe cea personala, pe care am transformat-o într-o academie online (Cydrone Archetypal Academy) în care abordez teme avansate precum matematica de modelare (vă aduceți aminte că am început cu programarea? Nu degeaba…), geometrie sacră, fractali, modele numerologice de succes, stil de viață sănătos și conștient, afaceri de succes, antreprenoriat, dezvoltare personala, educație financiară, iar în al doilea rând am fondat Revista România Culturală, o platforma online în care promovez cultura română din toate timpurile (căreia îi sunt pe vecie recunoscător). Alte platforme pe care mai scriu sunt androidinfo.ro (știri și recenzii în tehnologie mobile și nu numai), infotimes.ro (știri generale), dar și pe medium.com, linkedin.com etc.
%d blogeri au apreciat: