Insbesondere ist eine wachsende Nachfrage nach dynamischer Handgestenerkennung in Echtzeit für Smart-Home-Anwendungen, Online-Spiele und Mensch-Roboter-Interaktionen zu verzeichnen. Bei SAL betreibt das Team der Forschungseinheit Embedded AI Grundlagenforschung zu diesem Thema.
Für Handgestenerkennung in Echtzeit, die für Sicherheitsvorkehrungen in Produktionshallen oder für selbstfahrende Fahrzeuge wichtig ist, sind geringe Latenzzeiten, schnelle Datenübertragung und Hochgeschwindigkeitskameras erforderlich. In diesem Szenario führen bildbasierte Kameras zu einer enormen Menge an redundanter Datenverarbeitung, da die nützlichen Informationen auf die Bewegung der Hände zurückzuführen sind. Im Gegensatz dazu aktivieren ereignisbasierte Kameras nur die Pixel, bei denen eine Veränderung stattgefunden hat, und senden diese Informationen zur weiteren Verarbeitung, wodurch die Rechenlast drastisch reduziert und somit der Energieverbrauch erheblich gesenkt werden kann.
Das Setup besteht aus einer ereignisbasierten DAVIS346-Kamera, die an einen PC angeschlossen ist, wo die Ereignisse erfasst und in Echtzeit von einem neuronalen Faltungsnetzwerk in Python verarbeitet werden. Diese Umgebung wurde im SAL-Team der Research Unit Embedded AI geschaffen, um Forschung zu ereignisbasierten Algorithmen und Hardwarebeschleunigern zu betreiben.
Für das Setup, das von Diego Gigena-Ivanovich und Chunlei Xu entworfen und entwickelt wurde, wurden drei Handgesten (Hund, Kaninchen, Taube) mit unterschiedlichen Kombinationen von Licht, Hintergrund und Handbewegungen erstellt, die dann von der ereignisbasierten Kamera erkannt werden.
Diego stammt aus Argentinien, wo er Elektrotechnik studierte und anschließend sein Doktoratsstudium unter der Aufsicht von Dr. Pedro Julian startete. Im Jahr 2021 kam er gemeinsam mit Pedro Julian zu SAL, wo er seine wissenschaftliche Arbeit auf dem Gebiet der eingebetteten KI fortsetzt und Teil des SAL-DC ist, einem Doktorandenausbildungsprogramm für Forscher:innen, die sich auf das Gebiet der EBS konzentrieren.
