Een team van onderzoekers van verscheidene Britse universiteiten heeft een ‘deep learning’-model getraind om data te stelen door te luisteren naar de geluiden van aangeslagen toetsen op het toetsenbord van een computer. Ze claimen tot 95 procent accuraatheid. Wanneer de opnames van de geluiden eerst via software als Zoom worden geleid is er nog steeds 93 procent juistheid in de gestolen data te herkennen, aldus de onderzoekers.
Samplen van de audio (arxiv.org)
De eerste stap om het model te ontwikkelen was het opnemen van de geluiden van de toetsaanslagen voor een bepaald toetsenbord. Dit werd gedaan met bepaalde opname-apparatuur en op een bepaalde afstand. Met die data werd het model getraind. In dit geval ging het om het toetsenbord van een MacBook Pro waarvan de geluiden werden opgenomen met een iPhone 13 Mini. 36 toetsaanslagen die allen 25 keer herhaald werden, werden opgenomen. De afstand tot de microfoon van de telefoon bedroeg 17 centimeter. Identificeerbare verschillen in de toetsaanslagen werden zichtbaar gemaakt door de data om te zetten in grafieken als spectrogrammen. De verschillen werden middels dataprocessing versterkt weergegeven in de data.
Spectrogrammen (arxiv.org)
Na wat experimenteerwerk werden de spectrogrambeelden gevoed aan CoAtNet, een programma dat afbeeldingen kan classificeren. De paper (download, .pdf) laat alle data zien alsmede hoe die eerst geprepareerd is voor het CoAtNet-model.
De testomgeving (arxiv.org)
Als gebruiker valt hier wel het een en ander tegen te doen. Men kan bijvoorbeeld gebruik maken van apparatuur of software die extra geluiden van andere mensen die aan het typen zijn afspelen tijdens het werken. Ook kunnen audiofilters gebruikt worden die ingesteld zijn op het verwijderen van geluiden van toetsaanslagen. Het aanvalsmodel liet in ieder geval wel zien dat simpele geluidsdempers zoals die in mechanische toetsenborden niet voldoende zijn om het getrainde model te foppen. Voor wachtwoorden kan uiteraard ook managersoftware gebruikt worden zodat wachtwoorden niet ingetypt hoeven te worden.
Bronnen: BleepingComputer, WinFuture
