AI-пошукова система Perplexity звинувачується у використанні прихованих ботів для обходу заборон на сканування сайтів. Такі дані оприлюднила компанія Cloudflare, яка займається захистом та оптимізацією мереж.
Згідно з повідомленням, клієнти Cloudflare скаржилися на те, що їхні сайти блокують боти Perplexity, але незважаючи на це, доступ до контенту все ще зберігається. Cloudflare провела власні дослідження та виявила, що Perplexity використовує боти, які обходять заборони, застосовуючи різні IP-адреси.
Дослідники зазначили, що ці приховані боти не входили до офіційного діапазону IP Perplexity і змінювали свої адреси у відповідь на блокування з боку файрволів та правил у файлах robots.txt. Такі дії були зафіксовані на десятках тисяч доменів з мільйонами запитів щодня.
Ця ситуація ставить під загрозу норми Інтернету, які існують більше тридцяти років. У 1994 році інженер Мартін Костер запропонував Протокол виключення роботів (Robots Exclusion Protocol), який дозволяє сайтам інформувати сканери про заборону на доступ. Цей стандарт отримав офіційне визнання в 2022 році.