KI-gestützte Ohrhörer: Wie Forscher Sony-Kopfhörer mit Kameras für die Objekterkennung aufrüsten

Dieses System erweitert herkömmliche Noise-Cancelling-Ohrhörer verbindet diese mit einem Bild-Sprach-Modell (VLM). Das Ziel ist es, die Funktionalität – wie Objekterkennung, Textübersetzung und visuelle Analyse – in ein diskretes Ohrhörerformat zu verpacken.

Die Entwicklung war technisch anspruchsvoll. Die größte Herausforderung war der begrenzte Platz im Ohrhörergehäuse, was die Kamera auf eine geringe Auflösung (324x324 Pixel) und einen extrem stromsparenden Betrieb zwang.

Um die Bilddaten zu verarbeiten, werden die Aufnahmen des linken und rechten Hörers mittels Stitching zu einer einzigen Panoramaansicht zusammengefügt. Die Aktivierung erfolgt ausschließlich über Sprachbefehle.

Ein entscheidender Aspekt ist der Datenschutz: Die Vuebuds sind darauf ausgelegt, keine Daten in die Cloud zu senden. Die Verarbeitung läuft lokal auf einem verbundenen Smartphone ab.

Dies adressiert die tief sitzenden Bedenken der Öffentlichkeit gegenüber sichtbaren Kameras, die bei früheren Technologien wie Google Glass zu Skepsis führten. Die Forscher sehen darin einen Weg, die Vorteile der visuellen KI in einer akzeptierten Form zu präsentieren.

Praktische Anwendungsfälle reichen Übersetzung zur Beschreibung System momentan nur Bilder und keine Videos aufzeichnet, demonstriert es das Potenzial, alltägliche Informationen durch die Kombination änglich zu machen.