Использование датчиков движения смартфона для прослушивания разговоров

Группа исследователей из пяти американских университетов разработала технику атаки по сторонним каналам EarSpy, позволяющую организовать прослушивание ведущихся на телефоне разговоров, через анализ информации от датчиков движения. Метод основан на том, что современные смартфоны комплектуются достаточно чувствительными акселерометром и гироскопом, которые реагируют и на колебания, наводимые маломощным громкоговорителем устройства, применяемым при общении без громкой связи. Используя методы машинного обучения исследователем удалось на основе полученной от датчиков движения информации частично восстановить звучащую на устройстве речь и определить пол говорившего.

Ранее считалось, что атаки по сторонним каналам c привлечением датчиков движения могут быть осуществлены только при использовании мощных динамиков, применяемых для громкой связи, а динамики, звучащие при прикладывании телефона к уху, не приводят к утечкам. Тем не менее, повышение чувствительности датчиков и применение более мощных двойных ушных динамиков в современных смартфонах изменило ситуацию. Атака может быть проведена в любых мобильных приложениях для платформы Android, так как доступ к датчикам движения предоставляется приложениям без специальных полномочий (за исключением Android 13).

Применение свёрточной нейронной сети и классических алгоритмов машинного обучения позволило при анализе спектрограмм, сформированных на основе данных с акселерометра на смартфоне OnePlus 7T, добиться точности определения пола в 98.66%, определения говорящего в 92.6% и определения произносимых цифр в 56.42%. На смартфоне OnePlus 9 данные показатели составили 88.7%, 73.6% и 41.6% соответственно. При включении громкоговорящей связи точность распознавания речи увеличилась до 80%. Для записи данных с акселерометра использовалось типовое мобильное приложение Physics Toolbox Sensor Suite.


Для защиты от рассматриваемого вида атак в платформу Android 13 уже внесены изменения, ограничивающие до 200 Hz точность данных от датчиков, предоставляемых без специальных полномочий. При выборке с частотой 200 Hz точность атаки снижается до 10%. Дополнительно отмечается, что помимо мощности и числа динамиков на точность также сильно влияет близость динамиков к датчикам движения, герметичность корпуса и наличие внешних помех из окружающей среды.

27.12.2022
https://www.opennet.ru/opennews/art.shtml?num=58396​