Настройка robots.txt в купонной сборке adCMS

Настройка robots.txt в купонной сборке adCMS

У многих клиентов покупающих наши сборки возникает вопрос по настройке файла robots.txt, сегодня мы расскажем зачем этот файл нужен и как его настроить.

Мы будем рассматривать настройки файла robots.txt в купонных сборках adCMS , и так как в наших сборках они ни чем отличаются то данная статья будет полезна всем обладателям купонных сайтов на системе управления adCMS .

Что такое robots.txt?

Robots.txt — текстовый файл, расположенный на сайте, который предназначен для роботов поисковых систем. В этом файле вебмастер может указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности.

Содержимое по умолчанию файла robots.txt купонной сборки adCMS.

По умолчанию содержимое файла robots.txt имеет сделующий вид:

User-Agent: *

Disallow: /*?_openstat

Disallow: /*index.html

Disallow: /*index.php

Disallow: /*?goto_coupon=

Disallow: /*offset=*

Disallow: /content/files/

эти настройки запрещают индексацию поисковым роботом, страниц:

  • index.html
  • index.php

Все url начинающиеся с:

  • ?goto_coupon=
  • ?_openstat
  • offset=

и папку с файлами /content/files/

В наших сборках для предотвращения попадания страниц сайта в индекс поисковых систем раньше чем сайт заполнен, добавлена деректива Disallow: / которая запрещает индексацию ВСЕГО САЙТА! Т.е. для того чтобы Ваш сайт начал индексироваться, вам необходимо зайти на ваш сервер по FTP и удалить строчку Disallow: / из файла robots.txt, который лежит в корневой папке сайта. После этого ваш сайт в ближайшее время будет проиндексирован поисковыми системами. Здесь нужно отметить что поисковая система Яндекс достаточно долго индексирует сайт, индексация может занять до месяца. Для ускорения процесса индексации сайта поисковыми системами вам нужно сообщить о создании нового сайта в кабинете вебмастера поисковой системы.