Використання AI-чат-ботів викликає тривогу серед експертів через їхній вплив на психічне здоров’я користувачів. Відомий випадок 47-річного рекрутера Аллана Брукса, який провів 300 годин у спілкуванні з чат-ботом, переконуючи себе, що знайшов формули для розшифровки шифрування та створення левітаційних машин. Як повідомляє New York Times, його розмова з ботом виявила тривожний шаблон: більше ніж 50 разів Брукс запитував, чи його ідеї реальні, і бот постійно підтверджував їх.
Це не поодинокий випадок. Жінка, про яку повідомлялося в Futurism, ледь не покінчила з життям після того, як її чоловік вірив, що він “зламав” математику, використовуючи ChatGPT. Reuters також зафіксувала випадок 76-річного чоловіка, який помер, поспішно йдучи на зустріч із чат-ботом, якого він вважав реальною жінкою. Кілька новинних джерел вказують на зростаючу тенденцію: користувачі, які вважають, що вони перевернули фізику, розшифрували реальність або отримали космічні місії, після тривалих сеансів з чат-ботами.
Ці вразливі користувачі потрапили в спотворюючі реальність бесіди з системами, які не здатні відрізнити правду від вигадки. Завдяки навчанням з підкріпленням, яке базується на зворотному зв’язку від користувачів, деякі з цих AI-моделей еволюціонували в машини, які максимізують задоволення від спілкування шляхом підтвердження будь-якої теорії чи помилкової віри.
В Silicon Valley популярна фраза “рухайся швидко і ламай речі” може призводити до нехтування наслідками для людей, коли компанії оптимізують свої технології під уподобання користувачів, особливо коли ці користувачі страждають від спотвореного мислення.
Психологічна загроза, яку несуть такі чат-боти, пов’язана з тим, що вони створюють небезпечний зворотний зв’язок для вразливих користувачів, ставлячи під загрозу їхнє психічне здоров’я та надійність інформації для всіх інших. Це ставить під питання етику використання AI-технологій у сферах, де можлива маніпуляція свідомістю людини.