Robots.txt - управление поисковыми ботами: различия между версиями

Материал из Wiki - Iphoster - the best ever hosting and support. 2005 - 2024
Перейти к:навигация, поиск
(Новая страница: «'''Robots.txt - файл для управления поисковыми ботами.''' == Разрешить индексировать сайт тольк...»)
 
 
(не показаны 4 промежуточные версии этого же участника)
Строка 2: Строка 2:
  
  
== Разрешить индексировать сайт только ботам Yandex, Google, Rambler с задержкой 4сек между опросами страниц.==
+
==== Разрешить индексировать сайт только ботам Yandex, Google, Rambler с задержкой 4сек между опросами страниц.====
 +
'''robots.txt:'''
 
  User-agent: *
 
  User-agent: *
 
  Disallow: /  <br />
 
  Disallow: /  <br />
Строка 16: Строка 17:
  
  
--[[Участник:Admin iph|Admin iph]] 20:28, 6 февраля 2012 (MSK)
+
 
 +
Для MJ12bot бота:
 +
User-Agent: MJ12bot
 +
Crawl-Delay: 10
 +
 
 +
Для yandex - не актуально с February 22, 2018
 +
В Яндекс.Вебмастере появился новый инструмент — Скорость обхода, который находится в разделе Индексирование

Текущая версия на 12:54, 11 января 2023

Robots.txt - файл для управления поисковыми ботами.


Разрешить индексировать сайт только ботам Yandex, Google, Rambler с задержкой 4сек между опросами страниц.

robots.txt:

User-agent: *
Disallow: /   
User-agent: Yandex Crawl-delay: 4 Disallow:
User-agent: Googlebot Crawl-delay: 4 Disallow:
User-agent: StackRambler Crawl-delay: 4 Disallow:


Для MJ12bot бота:

User-Agent: MJ12bot
Crawl-Delay: 10

Для yandex - не актуально с February 22, 2018

В Яндекс.Вебмастере появился новый инструмент — Скорость обхода, который находится в разделе Индексирование