Cu câțiva ani în urmă, Sony a creat primul senzor de imagine cu memorie RAM on-chip, care a permis captarea video în mișcare lentă la framerate foarte mare. Acum, compania a creat primul senzor cu hardware AI on-board, care poate realiza recunoașterea de mare viteză a imaginilor.
Intelligent Vision Sensor, IMX500, are un design stivuit, format dintr-un cip de pixeli (1/2,3”, rezoluție de 12,3MP, 1,55 µm pixeli) și un cip logic care are un DSP dezvoltat de Sony și memorie pentru modelele AI.
Senzorul poate captura video 4K la 60 fps, dar mai important este că necesită doar 3,1 milisecunde pentru a analiza imaginea (folosind modelul MobileNet V1 de la Google). Nici măcar nu este nevoie să scoată imagini, ci poate trimite doar metadate pentru a fi procesate.
După cum relatează Sony, acesta este un element important pentru confidențialitate, deoarece datele imaginii nu părăsesc niciodată cipul (și cu siguranță nu este necesar să fie trimise pe internet în cloud). De asemenea, de îndată ce modelele AI pot fi configurate, același hardware poate fi utilizat pentru diferite sarcini.
Un exemplu simplu este introducerea IMX500 într-o mașină și orientându-l către șofer. Dacă senzorul detectează că șoferul este distras sau adormit, poate trimite un avertisment mașinii. Chiar dacă un procesor extern poate face aceeași sarcină, folosirea doar a senzorului de imagine este mai simplă (și deci mai fiabilă) și mai ieftină.
Magazinele pot utiliza Intelligent Vision Sensor pentru diferite sarcini. De exemplu, unul ar putea fi la ușă, numărând câte persoane au intrat. Altul poate fi atent la rafturi, trimitând o notificare atunci când stocul scade. Încă un altul poate determina zonele în care merg majoritatea oamenilor și produsele pe care le ridică.
Este puțin probabil ca IMX500 să își găsească drumul în smartphone-uri. Dar îsi poate găsi locul în casele voastre ca parte a unui difuzor inteligent – de ex. poate vedea cine pune întrebarea, ceea ce va ajuta sistemul să ofere un răspuns mai relevant. Și, din nou, problemele de confidențialitate sunt reduse, deoarece senzorul de imagine poate emite doar „Tom vorbește” în loc să capteze o fotografie și să trimită spre procesare.
De asemenea, nu este doar confidențialitate, un design care utilizează acest senzor va avea o latență mult mai mică, va avea nevoie de foarte puțin lățime de bandă și reduce consumul de energie la pornire.
3,1 milisecunde pentru a analiza o imagine este mult mai rapidă decât abordările tradiționale, permițând aplicațiilor care au nevoie de timpi de reacție rapidă (de exemplu roboți industriali). De asemenea, metadatele sunt minuscule comparativ cu materialele video de 4K / 60fps pe care se bazează, astfel încât sute de camere pot împărtăși o conexiune de date relativ lentă.
IMX500 (doar senzorul) și IMX501 (senzorul dintr-un pachet LGA) vor fi trimise ca mostre în curând companiilor, iar Sony crede că primele produse care le vor folosi vor apărea anul viitor. Deocamdată, aceste două costă 10.000 JPY, respectiv 20.000 JPY (adică 94 USD și respectiv 187 USD).