Cloudflare вводит стандартную блокировку ИИ-скреперов данных ( nytimes.com )
Это немного глупо. Замедление, да, но блокировка? Люди, которые *действительно* хотят этот контент, найдут способ, и это ударит по всем остальным, которым придется решать глупые загадки, прежде чем перейти по каждой ссылке, или запускать майнинг криптовалюты для них, прежде чем им покажут контент.
Недавно я зашел на большой местный аукционный сайт, на котором я часто покупаю, и получил одно из таких сообщений: «Мы обнаружили необычный трафик из вашей сети». И «Докажите, что вы человек». За которым последовало «Вы прошли проверку за 0,4 с, ваш IP-адрес забанен». Серьезно? Мне теперь замедлить просмотр? Я попробовал другой браузер, другую ОС, войти в систему, очистить куки и т. д. Тот же результат, когда я попытался выполнить поиск. Потребовалось 4 часа после обращения в их службу поддержки клиентов, чтобы разблокировать его. И объяснение было: «Вы кликаете слишком быстро».
В какой-то момент это просто становится фарсом, и хлопоты не стоят содержания. Кроме того, хотя в моей истории нет ботов, возможно, придет время, когда местные LLM будут достаточно хороши, чтобы я мог сказать одному из них “перезакажи мой кошачий корм”, и он пойдет и сделает это. Почему они так полны решимости “остановить это” (спойлер, они не могут).
Для тех, кто говорит, что LLM уже могут заказывать кошачий корм, я говорю: не торопитесь. Во-первых, кошачий корм должен продаваться/предлагаться (иногда в сочетании с дополнительными услугами). Во-вторых, он должен быть полезным (без зерновых), а в-третьих, вкус должен нравиться моим кошкам. Пока я не собираюсь доверять это LLM.
Список ботов на данный момент довольно короткий:
https://developers.cloudflare.com/bots/concepts/bot/#ai-bots
Cloudflare видит большую часть веб-трафика. Я предполагаю, что это самые большие боты, которых они видят прямо сейчас, и любые новые претенденты будут добавляться по мере их обнаружения. Вероятно, невозможно действительно заблокировать все, но у них есть веб-покрытие, чтобы обнаружить больше, чем у большинства.
Достаточно, чтобы сократить трафик на большинство сайтов более чем вдвое, если блокировки сохранятся.
Они когда-нибудь исправляли автоматическую блокировку RSS-каналов?
https://news.ycombinator.com/item?id=41864632
Ссылка на архив: https://archive.ph/ARnyu
Бедный пользователь ChatGPT, тебя никто не понимает.
Source: news.ycombinator.com