"Robots.txt по-русски"    Читать новости с сайта в RSS

Статьи о работе с файлом robots.txt и частых ошибках в его написании. Информация о поисковых роботах Рунета, faq.