Как не надо внедрять в продукт ИИ

Гайдами о магии AI земля полнится, но в погоне за ачивкой «я тоже передовой» можно жестко обжечься.

Так ребята из Snapchat (обязательно напишу о них скоро еще один пост, они много нового анонсировали на недавнем ивенте) внедрили в продукт чат-бота на основе ChatGPT, докрутив его до «дружелюбного помощника, который и подарок другу на др придумает, и какую сторис снять сегодня посоветует».

В интернете много наездов на Snap с контекстом «от лица 12-летней девочки я придумал, как уговорить их чат-бота дать мне инструкцию, как скрыть от мамы, что ко мне приставал взрослый мужик», но тут я не особо разделяю претензии: авторы таких запросов обычно долго тренируют чат-бота, чтобы обойти его защитные алгоритмы, да и репорт в поддержку тут помог бы больше, чем тред в Твиттере.

Но вот что реально вызвало 3 тысячи рецензий за неделю со средним баллом около единицы, так это механика «погружения» пользователей в AI.

— чат с ИИ запинен в списке чатов юзера
— убрать его или отпинить невозможно
— вместе с чатом самого Snapchat об обновлениях аппа, чаты «не с друзьями» отъели уже две ячейки в шапке списка

Идеальный шанс, чтобы сделать отпинивание чата платным, подумали вы? И оказались правы, потому что именно это Snap и сделал: внес удаление и отпинивание чата с ИИ в свою платную подписку.

Пользователи немного в шоке.
И чтобы добить их окончательно, они выясняют, что чат-бот знает их геолокацию, даже если они не делились ею с ним или со своими друзьями.

Штош, и такое бывает. Ребята из VK, пожалуйста, не делайте так.