☁️ Cloud & Infrastructure

Cloudflare превращает канонические ссылки в 301 редиректы для обучения ИИ

Что, если ваши устаревшие документы отравляют ИИ-модели? Cloudflare только что превратил канонические теги в жёсткие редиректы для краулеров, обучающих ИИ — хитроумное решение коварной проблемы.

Dev Digest Apr 24, 2026 4 min read
Read in: English 日本語 한국어 Русский Türkçe
Панель управления Cloudflare, показывающая редиректы для ИИ-краулеров, применяющие канонические URL

⚡ Key Takeaways

  • Канонические теги становятся автоматическими 301 редиректами для верифицированных ИИ-краулеров, игнорируя баннеры об устаревании, которые боты воспринимают как контент. 𝕏
  • Cloudflare Radar теперь отслеживает коды ответов ИИ (2xx/3xx/и т. д.) в веб-трафике, выявляя пробелы в применении правил. 𝕏
  • Масштабируется лучше ручных правил — не требуется отслеживание UA или настройка для каждого пути. 𝕏
  • Уникальный инсайт: отражает ранние войны за хотлинкинг в вебе, давая владельцам контента предписывающий контроль над «диетой» ИИ. 𝕏
Jordan Kim
Written by

Jordan Kim

Cloud and infrastructure correspondent. Covers Kubernetes, DevOps tooling, and platform engineering.

#AI crawlers #AI training #AI training crawlers #AI training data #Cloudflare #Wrangler CLI #canonical redirects #deprecated content #developer-tools #web scraping
More in Cloud & Infrastructure →

Worth sharing?

Get the best Developer Tools stories of the week in your inbox — no noise, no spam.

Originally reported by Cloudflare Blog

Related Stories

📬

Stay in the loop

The week's most important stories from Dev Digest, delivered once a week.

No spam. Unsubscribe any time.