Файл robots.txt, создается, что бы указывать поисковым роботам, какие каталоги учитывать при индексации, а какие не следует.
Данный инструмент, позволяет оптимизатору быстро сгенерировать все данные, необходимые для создания файла robots.txt.
Скопируйте полученный результат, вcтавьте в блокнот, сохраните с именем robots.txt и положите в корень сайт