Пятница
    20.10.2017
    06:13
Приветствую Вас Гость
RSS
 
МИР УВЛЕЧЕНИЙ!
Главная Регистрация Вход
Меню сайта

ВСЕ ДЛЯ ДЕТЕЙ

ИЗУЧАЮ САЙТ UCOZ

Наш опрос
Оцените мой сайт
Всего ответов: 10

Главная » 2012 » Октябрь » 18 » Блокировка и удаление страниц с помощью файла robots.txt
12:52
Блокировка и удаление страниц с помощью файла robots.txt

Файл robots.txt позволяет ограничить доступ к сайту для роботов поисковых систем, сканирующих Интернет. Перед обращением к сайту эти роботы ищут файл robots.txt, который запрещает им доступ к определенным страницам. (Роботы наиболее распространенных поисковых систем выполняют директивы файла robots.txt. Некоторые роботы могут интерпретировать их иначе. Файл robots.txt не является обязательным к исполнению, и некоторые спамеры и другие злоумышленники могут его игнорировать. Поэтому мы рекомендуем защищать конфиденциальную информацию паролем.)


Чтобы просмотреть список URL, которые Google не удалось просканировать, перейдите на страницу Заблокированные URL в разделе Состояние в Инструментах для веб-мастеров.

Файл robots.txt необходим только в том случае, если на вашем сайте есть содержание, которое не следует включать в индекс поисковых систем. Если вы хотите, чтобы поисковые системы включали в свои индексы все содержание вашего сайта, файл robots.txt (даже пустой) не требуется.

Хотя Google не сканирует и не индексирует содержание страниц, заблокированных в файле robots.txt, URL, обнаруженные на других страницах в Интернете, по-прежнему могут добавляться в индекс. В результате URL страницы, а также другие общедоступные сведения, например текст ссылок на сайт или заголовок из каталога Open Directory Project (www.dmoz.org), могут появиться в результатах поиска Google.

Чтобы использовать файл robots.txt, необходимо иметь доступ к корневому каталогу вашего домена (в случае сомнений обратитесь к поставщику услуг веб-хостинга). Если у вас нет доступа к корневому каталогу домена, вы можете ограничить доступ с помощью метатега robots.

Чтобы полностью исключить вероятность появления контента страницы в индексе Google, даже если на нее ссылаются другие сайты, используйте метатег noindex или x-robots-tag. По мере сканирования страниц, робот Googlebot обнаружит метатег noindex и не станет отображать страницу в индексе. HTTP-заголовок x-robots-tag рекомендуется использовать, чтобы исключить из индекса файлы, формат которых отличается от HTML (например, изображения или другие типы документов).

Просмотров: 349 | Добавил: Белянушка | Теги: robots.txt, причина, сайт, заблокирован | Рейтинг: 0.0/0
Всего комментариев: 1
+1   Спам
1 Janna   (12.11.2012 18:31)
Чтобы индексировался сайт, ничего править в robots.txt , не зная HTML - не нужно ! По истечении 30 дней от создания сайта, Ваш сайт роботы сами проиндексируют. Эти 30 дней , по условиям системы UCOZ , сайт не видим в поисковиках. Словом, документы лучше не трогать ... не исправлять ничего. Просто добавляйте материалы и статьи на сайт, и всё !!! Система всё сделает сама. с теплом, heart

Добавить в закладки
Имя *:
Email *:
Код *:
Форма входа

Поиск

Календарь
«  Октябрь 2012  »
ПнВтСрЧтПтСбВс
1234567
891011121314
15161718192021
22232425262728
293031

Архив записей

Друзья сайта
  • Официальный блог
  • Сообщество uCoz
  • FAQ по системе
  • Инструкции для uCoz

  • Статистика

    Онлайн всего: 1
    Гостей: 1
    Пользователей: 0