Ещё один пример, как ИИ мне налажал.
Попросил нейросеть проверить файл robots.txt одного из сайтов. Там были команды Clean-param (для очистки мусора из поисковой выдачи), которые Google не понимает, а внедрил Яндекс. ИИ предложил убрать эти команды под специальную строку для ботов Яндекса:
User-agent: Yandex
Но это грубая ошибка, потому что при наличии такой строки в файле боты Яндекса автоматом переходят к ней и делают только то, что написано там.
Если основные директивы Disallow/Allow прописаны под общей для всех поисковиков строкой
User-agent: * то Яндекс их просто не увидит. Поэтому есть два варианта:
Подписывайтесь на мой телеграм-канал Финсайд и потом не говорите, что вас не предупреждали: https://t.me/finside. Темы канала: экономика, инвестиции, финтех, банки. Автор: Олег Анисимов Также читайте, как я погорел на стартапе.
Либо не делать строку User-agent: Yandex вообще, ограничиваясь User-agent: * , либо дублировать все правила из общего раздела и в раздел для Яндекса.
Маленький пример, что до конца ИИ доверять нельзя. Может налажать.
