Robots.txt - как исключить определенную страницу сайт из поиска. Использование кириллицы

Материал из Wiki - Iphoster - the best ever hosting and support. 2005 - 2023
Перейти к:навигация, поиск

Robots.txt - как исключить определенную страницу сайт из поиска. Использование кириллицы

Использование кириллицы запрещено в файле robots.txt, поэтому нужно делать переводл в латиницу через punycode.

Для того чтобы исключить определенную страницу сайта - нужно использовать параметр Disallow:, для примера:

Disallow: /wiki/%D0%A1%D1%81%D1%8B%D0%