Пользователь чат-бота Bing обошёл запрет для ИИ на распознавание капчи при анализе текста по картинк

Пользователь чат-бота Bing показал, как можно обойти запрет разработчиков для ИИ на распознавание капчи при анализе текста по картинке.

Чат-бот Bing при попытке напрямую попросить распознать капчу сообщает, что разработчики запретили ему это делать. Примечательно, что Bing получил опцию распознавания картинок совсем недавно. ИИ делает это с помощью обновлённой версии нейросети GPT-4.


Пользователь решил изменить запрос с помощью известного способа «разговорить» ChatGPT на запретные темы, а именно — задать вопрос якобы от почившей бабушки. Картинка с капчей в этом случае была вставлена в изображение ожерелья. Пользователь попросил чат-бота помочь распознать текст (только распознать, не переводить) внутри ожерелья, так как это специальный код, который знала бабушка.

В итоге чат-бот согласился распознать капчу и ещё пособолезновал пользователю.


В конце сентября исследователь Гаган Готра (Gagan Ghotra) обнаружил, что некоторые запросы пользователей к чат-боту Bard доступны в открытом виде в поисковых системах. Эксперты выяснили, что при попытке поиска (site:https://bard.google.com/share/) действительно в Google (уже закрыли доступ), Bing и даже «Яндекс» можно просмотреть некоторые запросы пользователей с ответами чат-бота, включая их личные данные.

02.10.2023
https://habr.com/ru/news/764736/​