Доброго времени суток, уважаемые посетители и подписчики Tipsite.ru! сегодня речь пойдет о том, как составить правильный robots.txt.
Тема эта очень важная, я бы даже сказал – одна из главных. Поэтому внимательно читайте эту статью, и будет Вам счастье 😉 !
Что такое robots.txt?
Прежде чем приступать к составлению robots.txt, необходимо разобраться, что это вообще такое. Сейчас объясню почему. Когда я создал свой первый сайт, то представления о том, что такое robots.txt у меня совершенно не было. Нет, я, конечно, знал, что это какой-то файл, который чего-то там запрещает или разрешает, но мне казалось, что можно вполне обойтись и без него. И лишь со временем, разобравшись в этом вопросе, я понял, что robots.txt – полезная и нужная штука! ЧИТАТЬ ДАЛЬШЕ ЭТУ УВЛЕКАТЕЛЬНУЮ СТАТЬЮ… »