Ищем страницы со статусом 500 Inernal Server Error:
grep '\s500\s' mysite.access.log.1
видим например такое:
178.154.179.248 — — [03/Apr/2013:06:09:38 +0400] "GET /forum/topic/1/28?view=attachment&post=28&id=2 HTTP/1.1" 500 1784 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
178.154.179.248 — — [03/Apr/2013:06:10:06 +0400] "GET /forum/topic/1/28?view=attachment&post=28&id=2 HTTP/1.1" 500 1784 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
приходил YandexBot и получил код 500.
Самое простое решение – запретить индексирование этих урлов в robots.txt:
Disallow: /forum/person/ Disallow: /*?view=avatar Disallow: /*?view=attachment
