Robots.txt - как исключить определенную страницу сайт из поиска. Использование кириллицы


Материал из Wiki - Iphoster - 'the best ever support'

Перейти к: навигация, поиск

Robots.txt - как исключить определенную страницу сайт из поиска. Использование кириллицы

Использование кириллицы запрещено в файле robots.txt, поэтому нужно делать переводл в латиницу через punycode.

Для того чтобы исключить определенную страницу сайта - нужно использовать параметр Disallow:, для примера:

Disallow: /wiki/%D0%A1%D1%81%D1%8B%D0%
Индекс цитирования