Onderzoekers in dienst van Facebook, onder andere eigenaar van Oculus VR, hebben een methode ontwikkeld waarmee het mogelijk is om in virtual reality te typen zonder fysiek toetsenbord. Daarmee zou een van de VR-ongemakken worden weggenomen. De methode werd tijdens het UIST 2020-evenement gedemonstreerd, een symposium over user-interfaces tussen mens en technologie.
Hand-tracking in VR bestaat al enkele jaren, maar staat nog in de kinderschoenen. De onderzoekers van Facebook Reality Labs gebruiken een op AI gebaseerde methode die de output van de letters voorspelt op basis van vingerbewegingen. Het model is getraind met gegevens van 20 typisten die op een fysiek toetsenbord hebben getypt met speciale handschoenen. Het bewegingsmodel voorspelt wat mensen van plan zijn om te typen. Daarbij zijn de grillige typepatronen van gebruikers een van de grootste uitdagingen.
Met deze nieuwe methode werd door testpersonen een gemiddelde snelheid van 73 woorden per minuut behaald, met een foutpercentage van 2,4%. Deze snelheid is vergelijkbaar met de snelheden die werden behaald met een fysiek toetsenbord.
De software is momenteel nog verre van gebruiksklaar. Hoofdletters worden bijvoorbeeld nog niet ondersteund en het bewegingsmodel gebruikt een uiterst nauwkeurig handvolgsysteem. VR-systemen als de Oculus Quest zijn daarin veel onnauwkeuriger. Hang je favoriete ramplank voorlopig dus nog niet aan de wilgen.
Bronnen: Research Paper, Tech@Facebook
