Програма «Оплата за сканування» дозволяє видавцям встановлювати ціну на доступ AI-сканерам до їх контенту. Компанії, що займаються штучним інтелектом, можуть переглядати ціни та вирішувати, чи зареєструватися для сплати збору «Оплата за сканування», чи відмовитися. Наразі ця можливість доступна лише для «групи провідних видавців і творців контенту», проте Cloudflare заявила, що все ж забезпечить, аби «AI-компанії могли використовувати якісний контент належним чином — з дозволом та компенсацією».
Cloudflare вже певний час допомагає власникам доменів боротися з AI-сканерами. Компанія почала надавати можливість сайтам блокувати AI-сканери у 2023 році, але це стосувалося тільки тих, хто дотримується файлу robots.txt — угоди, яка не підлягає виконанню, що вказує, чи можуть боти сканувати контент. Минулого року Cloudflare дозволила сайтам блокувати «всі» AI-боти, незалежно від того, чи поважають вони файл robots.txt, і тепер ця опція за замовчуванням доступна для нових клієнтів Cloudflare. (Компанія ідентифікує сканери для блокування, порівнюючи їх із власним списком відомих AI-ботів.) У березні Cloudflare також запустила функцію, яка надсилає веб-сканери в «AI Лабіринт», щоб відвернути їх від сканування сайтів без дозволу.
Декілька великих видавців і онлайн-платформ, включаючи Associated Press, The Atlantic, Fortune, Stack Overflow та Quora, підтримують нові обмеження Cloudflare для AI-сканерів, оскільки сайти намагаються адаптуватися до майбутнього, де більше людей отримують інформацію через AI-чат-ботів, а не пошукові системи. «Люди більше довіряють AI протягом останніх шести місяців, що означає, що вони не читають оригінальний контент», — зазначив генеральний директор Cloudflare Метью Прінс під час заходу Axios Live минулого тижня.
Крім того, Cloudflare повідомила, що працює з AI-компаніями для перевірки їхніх сканерів і дозволу їм «чітко вказувати свою мету», наприклад, чи використовують вони контент для навчання, виведення висновків чи пошуку. Власники сайтів можуть переглянути цю інформацію та вирішити, які сканери можуть отримати доступ до їх контенту.
«Оригінальний контент — це те, що робить Інтернет одним із найбільших винаходів останнього століття, і ми повинні об’єднати зусилля, щоб його захистити», — заявив Прінс у прес-релізі. «AI-сканери безмежно сканували контент. Наша мета — повернути владу рук творцям, підтримуючи при цьому інновації AI-компаній».