Помню как пару лет назад по IT сообществам (и на ачате было) пролетела новость о том что в релиз вышел бот который опирается на скриншоты и его можно было запрограммировать под любые нужды Помогите найти это чудо, если меня кто то понял что я имею введу... Еще помню что он был под Windows, Linux, MacOS
В общем это программка которая делает каждые X сек скрин, разбирает его с помощью заготовлены шаблонов, и в зависимости от результатов тыкает мышкой в XY. Из всего этого можно составлять алгоритмы, нужные пользователю