The percentage of deaf people in the world is 0.1%. This means that 777 million people in the world suffer from deafness. Due to the fact that everyday life is not always barrier-free for this user group, the goal of our project was to find an innovative solution to break through these barriers.
For this purpose we developed a concept of mixed reality glasses, which are able to translate between spoken language and sign language in both directions.
Der Prozentsatz der gehörlosen Menschen auf der Welt beträgt 0,1 %. Das bedeutet, dass 777 Millionen Menschen auf der Welt an Gehörlosigkeit leiden. Aufgrund der Tatsache, dass der Alltag für diese Nutzergruppe nicht immer barrierefrei ist, war es das Ziel unseres Projekts, eine innovative Lösung zu finden, um diese Barrieren zu durchbrechen. Zu diesem Zweck haben wir ein Konzept einer Mixed-Reality-Brille entwickelt, die in der Lage ist, zwischen Lautsprache und Gebärdensprache in beide Richtungen zu übersetzen.
The technology needed for this is already available today and is also built into mixed reality glasses. The versatile functionality of these and the resulting enormous case size, like that of the Microsoft Holo Lens, make it impossible to integrate them into everyday life. Therefore, we have assembled the necessary components and built them into a standard eyeglass frame.
Die dafür notwendige Technologie ist bereits heute verfügbar und auch in Mixed-Reality-Brillen verbaut. Die vielseitige Funktionalität dieser und die daraus resultierende enorme Gehäusegröße, wie bei der Microsoft Holo Lens, machen eine Integration in den Alltag unmöglich. Deshalb haben wir die notwendigen Komponenten zusammengestellt und in ein Standard-Brillengestell eingebaut.
We kept the design simple. The most important information are displayed in the user's field of vision. This has an adaptive effect in everyday use. General information about the glasses, such as the battery status and the time, are visible at the top right. As soon as the glasses register the other person's voice, it displays and translates it in white lettering on the bottom right. The writing fades after three seconds without further information. Own sentences are also shown to give the user the opportunity to check the output of the glasses.
Wir haben das Design einfach gehalten. Die wichtigsten Informationen werden im Blickfeld des Benutzers angezeigt. Das hat einen adaptiven Effekt im täglichen Gebrauch. Allgemeine Informationen zur Brille, wie der Batteriestatus und die Uhrzeit, sind oben rechts sichtbar. Sobald die Brille die Stimme des Gegenübers registriert, zeigt sie diese in weißer Schrift unten rechts an und übersetzt sie in Schrift. Diese wird nach drei Sekunden ohne weitere Informationen ausgeblendet. Eigene Sätze werden ebenfalls angezeigt, um dem Benutzer die Möglichkeit zu geben, die Ausgabe der Brille zu überprüfen.
The corresponding app allows the user to make basic settings via a Bluetooth connection. This includes whether the translation is displayed in text or sign language. In addition, the user's own language can be set and, if necessary, the language of the other person. If you do not set the other person's language, it is in auto mode and recognizes the language itself.
Die zugehörige App ermöglicht es dem Benutzer, grundlegende Einstellungen über eine Bluetooth-Verbindung vorzunehmen. Dazu gehört, ob die Übersetzung in Text- oder Gebärdensprache angezeigt werden soll. Darüber hinaus kann die eigene Sprache und ggf. die Sprache der anderen Person eingestellt werden. Wird die Sprache der anderen Person nicht eingestellt, befindet sie sich im Auto-Modus und erkennt die Sprache selbst.
The corresponding app allows the user to make basic settings via a Bluetooth connection. This includes whether the translation is displayed in text or sign language. In addition, the user's own language can be set and, if necessary, the language of the other person. If you do not set the other person's language, it is in auto mode and recognizes the language itself.
The camera and the Lidar sensor are used to record foreign gestures. These are recorded by the camera, which is supported by the Lidar sensor especially in dark lighting conditions, and translated into the user's own language.
The infrared cameras attached to the lower frame of the glasses are pointed downward to register hand positions and convert the gestures into spoken language.
