Microsofts Seeing AI-App hilft Blinden, alles um sich herum zu „sehen“

Microsoft hat eine App für das iPhone herausgebracht, die die visuelle Welt in ein hörbares Erlebnis für Sehbehinderte übersetzen soll.

Seeing AI nutzt künstliche Intelligenz für die Bilderkennung und die Verarbeitung natürlicher Sprache und verwendet die Kamera des Smartphones, um zu erfassen, was um den Benutzer herum passiert, und gibt dies dann durch Sprache weiter.

Richten Sie die App auf eine Person und sie wird Ihnen mithilfe von Gesichtserkennungssoftware das Geschlecht, Alter und die Emotionen dieser Person mitteilen. Richten Sie es auf etwas, das Text enthält – wie ein Straßenschild oder ein Dokument – und es spricht, was es liest.

Die App ist auch in der Lage, Produktinformationen von gescannten Barcodes weiterzuleiten, während Funktionen zur Identifizierung von Währungen – nützlich für die Übergabe von Bargeld in einem Geschäft – und zur Beschreibung breiterer Szenen entwickelt werden.

Zum Beispiel macht der Benutzer in der Promo unten ein Foto und die App sagt, dass das Bild ein junges Mädchen ist, das im Park Frisbee wirft.

See related Die Low-Tech-Erfindungen retten Leben in EntwicklungsländernKönnten Apps und Implantate Pillen und Rezepte ersetzen?

Die App ist das Ergebnis der Arbeit von Microsoft Research und scheint eine saubere Verbindung mehrerer Schwerpunkte zu sein. Die Website des Forschungsflügels listet KI, Computer Vision und menschliche Sprachtechnologien als Kernbereiche auf, wobei Seeing AI alle drei abdeckt. Andere Projekte, an denen die Initiative arbeitet, umfassen ein Minecraft-basiertes Testgelände für KI und Mittel für neuronale Netze, um ihren eigenen Softwarecode zu erstellen.

Seeing AI scheint sicherlich das Potenzial zu haben, ein nützliches Werkzeug für Menschen mit Sehbehinderungen zu werden, obwohl die App vermutlich ein gewisses Sehvermögen erfordern würde, um die Kamera auf ein gewünschtes Objekt auszurichten – insbesondere wenn Es wird zum Scannen von Dokumenten verwendet. Im Gespräch mit Alphr sagte das Royal National Institute of Blind People (RNIB), dass die von der Microsoft-App vorgestellten Technologien eine „Revolution“ beim Zugang bieten könnten, dass ihre Verwendung jedoch von der Fähigkeit der Kamera abhängen würde, Benutzer selbst zu steuern:

"Künstliche Intelligenz, Computer Vision und menschliche Sprachtechnologien bieten eine Revolution im Zugang für blinde und sehbehinderte Menschen", sagte Robin Spinks, Senior Strategy Manager bei RNIB. „Ausrichtung und Platzierung sind entscheidende Faktoren für einen erfolgreichen Einsatz von Computer Vision. Sie werden gut abschneiden, wenn Sie sehen können, wohin Sie die Kamera richten müssen, aber der eigentliche Trick besteht darin, dass sich die Kamera selbst ausrichtet, sodass eine Person ohne nützliches Sehvermögen gleichermaßen davon profitieren kann.

"RNIB arbeitet mit Blue-Chip-Unternehmen auf der ganzen Welt zusammen, um das Potenzial dieser Technologien zu nutzen, und wir begrüßen die Ankunft von Seeing AI sehr."

Diejenigen, die in den USA, Kanada, Hongkong, Indien, Neuseeland und Singapur leben, können die iOS-App jetzt ausprobieren, während Benutzer in Großbritannien warten müssen, bis sie verfügbar ist.