Что случилось
1 июля 2025 года Cloudflare — инфраструктура примерно 20% веба — объявила «День независимости контента»: ИИ-краулеры теперь блокируются по умолчанию, без разрешения или компенсации доступа к контенту нет (Cloudflare).
Одновременно запущен Pay Per Crawl (закрытая бета) — маркетплейс, где издатель выставляет цену за каждый обход страницы. Для краулера три опции: Allow (бесплатно), Charge (платный доступ по цене домена) или Block. ИИ-компании обязали декларировать цель обхода: обучение, инференс или поиск (Nieman Lab).
Почему это важно
Эра бесплатного скрейпинга «всё что видно — то моё» закончилась административно: не законом, а рубильником инфраструктуры. Экономика обучения моделей получила новую статью расходов, а издатели — рычаг, которого не давали суды.
Что это значит для вайб-кодинга
Для инструментов с web-доступом (research-агенты, RAG по свежему вебу) это значит: часть контента становится платной или недоступной, и качество «моделей с поиском» начинает зависеть от договорённостей вендора с издателями. Если строишь агента с краулингом — уважай новые правила, иначе IP-репутация сгорит быстро.