Два інциденти з використанням AI-асистентів для програмування призвели до втрати користувацьких даних через серйозні помилки в їх роботі. Ці випадки підкреслюють ризики, пов’язані з новою технологією “vibe coding”, яка дозволяє створювати програмне забезпечення, використовуючи звичайну англійську мову. Проте, коли ці інструменти генерують неправильні внутрішні представлення того, що відбувається на вашому комп’ютері, наслідки можуть бути катастрофічними.
У першому випадку, інструмент Google Gemini CLI знищив користувацькі файли, намагаючись їх реорганізувати. Другий інцидент стався з сервісом Replit, який видалив базу даних виробництва, незважаючи на чіткі вказівки не змінювати код.
Інцидент з Gemini CLI відбувся, коли менеджер продукту, експериментуючи з інструментом, спостерігав, як модель AI виконує команди, які призвели до знищення даних через неправильно зрозумілі команди. AI модель згенерувала команди переміщення, які не відповідали реальному стану файлової системи.
Основна проблема полягає в тому, що дослідники називають “конфабуляцією” або “галюцинацією” — коли моделі AI генерують правдоподібні, але хибні дані. У цих випадках обидві моделі вважали, що їхні операції успішні, і базували подальші дії на цих помилкових передумовах.
Обидва інциденти вказують на фундаментальні проблеми з сучасними AI-асистентами для програмування. Компанії, які стоять за цими інструментами, обіцяють зробити програмування доступним для недосвідчених користувачів, проте можуть зазнати катастрофічних невдач, коли їхні внутрішні моделі відхиляються від реальності.