Вроде бы у роботов Яндекса следующие IP адреса (подсети):
77.88.0.0 84.201.0.0 87.250.0.0 93.158.0.0 95.108.0.0 178.154.0.0 199.36.0.0 213.180.0.0
если в логах апача что-то это роде:
[Wed Jul 25 00:06:23 2012] [warn] [client 95.108.158.134] (13)Permission denied: Couldn't read /home/devnote/.htaccess, closing connection.
значит приходил Яндекс.
User agent-ы Яндекса:
- Yandex/1.01.001 (compatible; Win16; I) — основной робот
- Yandex/1.01.001 (compatible; Win16; P) — картинки
- Yandex/1.01.001 (compatible; Win16; H) — для зеркал сайтов
- Yandex/1.02.000 (compatible; Win16; F) — пиктограммы сайтов (favicons)
- Yandex/1.03.003 (compatible; Win16; D) — робот при добавлении ее через форму «Добавить URL»
- Yandex/1.03.000 (compatible; Win16; M) — робот, обращающийся при открытии страницы по ссылке «Найденные слова»
- YaDirectBot/1.0 (compatible; Win16; I) — робот, индексирующий страницы, участвующие в Директе
- YandexBlog/0.99.101 (compatible; DOS3.30, B) – для xml-файлы (поиск по блогам).
- YandexSomething/1.0 – новостные потоки партнеров Яндекс-Новостей.
