Как редактировать правильно файл robots.txt ?
Файл robots.txt — обычный текстовый файл для управления режимами сканирования роботами.
Довольно подробно можно прочитать о нем по адресу: http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml