Reddit закрылся от «Яндекса» и других альтернативных Google поисковиков
Интернет-форум Reddit перестал корректно отображаться в выдаче всех поисковых систем, кроме Google, сообщило издание 404 Media, изучившее результаты поиска в Microsoft Bing, DuckDuckGo и других поисковиках. По данным издания, ссылки с Reddit за последнюю неделю или не отображаются в альтернативных поисковых системах, или, как в случае с DuckDuckGo, отображаются в незначительном количестве и без описаний. Аналогично обстоят дела и в «Яндексе», убедился «Ъ».
В российской компании сообщили «Ъ», что в файле robots.txt Reddit, где прописываются директивы для интернет-роботов, «установлен запрет на сканирование и индексирование контента всеми поисковыми роботами, в том числе поиска "Яндекса"». При попытке открыть этот файл вручную отображается сообщение о том, что «Reddit верит в свободный интернет, но не в злоупотребление публично доступным контентом».
404 Media связывает происходящее со сделкой об использовании контента для обучения искусственного интеллекта (ИИ), которую Reddit заключила с Google. По данным Reuters, владелец форума будет получать от поисковика около $60 млн в год. Сами компании публично сообщали о сделке, но не комментировали информацию о ее условиях. Похожее соглашение Reddit заключил и с OpenAI.
Запретительные директивы в robots.txt могут применяться для того, чтобы не позволять компаниям использовать контент сайта для задач ИИ. Такой запрет в отношении OpenAI, в частности, прописал принадлежащий VK «Дзен». К моменту запуска сервиса «Яндекс Нейро» в апреле 2024 года некоторые сайты, входящие в Skhulev Media Holding, запретили «Яндексу» использовать свой контент в нейросетевых продуктах компании. При этом сайты не запрещали индексирование сайта для появления в поисковой выдаче, а к настоящему моменту, судя по данным robots.txt, отменили и запрет для нейросетевых продуктов.