Логин: Пароль: Забыли пароль? Регистрация
Рекламный блок

              

Страница 1 из 11
Форум » FOR WEB-MASTER`S » SEO » Командный файл поисковиков - Robots.txt
Командный файл поисковиков - Robots.txt
АватарДата: Пятница, 11.02.2011, 11:54 | Сообщение # 1

Репутация: 1
Сообщений: 250
Награды: 0
Статус:
В этой краткой статье мы доступно рассматриваем команды robots.txt для поисковых роботов с примерами и советами реализации. Если Вы не знаете, что это такое, но у Вас есть сайт, обязательно прочтите эту статью, возможно, Вы найдете причину того, из-за чего к вам не заходят поисковики или отыщите причину утечки секретной информации

Все объявления
ЯндексДирект

*
Продвижение сайта
Продвижение сайтов в поисковых системах. Результат гарантируем!
hoster.kz

robots.txt - это обычный текстовый файл, наличие которого самым первым проверяют поисковые роботы из-за того, что им, возможно, не придется индексировать этот сайт, а соответственно, его время не будет потеряно зря.

Для этого создадим файл robots.txt и напишем в него:
user-agent: * #Всем поисковым роботам
disallow: / #Запрещено к индексации все (корневая директория)

Но поисковик может обнаружить и другой вариант:
user-agent: * # Всем поисковым роботам
disallow: /temp/ #Запрещена к индексации директория temp
disallow: /virus/ #Запрещена к индексации директория virus

Также поисковой робот может обнаружить и такой вариант:
user-agent: googlebot #Поисковый робот google
disallow: / #Запрещено к индексации все (корневая директория)

И смешанный вариант:
user-agent: googlebot #Поисковый робот google
disallow: / #Запрещено к индексации все (корневая директория)

user-agent: * # Всем поисковым роботам
disallow: /temp/ #Запрещена к индексации директория temp
disallow: /virus/ #Запрещена к индексации директория virus

Теперь давайте рассмотрим первый пример. На мой взгляд, он актуален для тех сайтов, контент которых не должен распространяться с помощью поисковых роботов. Например, закрытый сайт любителей windows 3.11.

В варианте номер 2, как Вы заметили, отключены для индексации две директории, одна с постоянно временной информацией (эдакая свалка) а вторая со злостным вирусом. И первое, и второе не желательно распространять в Интернете, т.к. уже все и так на грани информационного апокалипсиса. Поэтому все, что не для всех, можно отключить. Вторая сторона медали состоит еще и в том, что robots.txt общедоступен и любой может увидеть, что Вы там спрятали (исключили из индексации), какие директории, файлы и загореться желанием заполучить доступ именно к ним. Тем более, если Вы напишите disallow: /virus/1.zip уверен, что найти его после этого не составит труда даже ребенку. А «совсем некоторые» вебмастера упорно продолжают развивать этот медот и вписывать, таким образом, в robots.txt файлы, не подлежащие общественному просмотру.

И в последнем примере мы отключили индексацию для google, а зачем он нам нужен? Может быть, мы любим Рамблер, который по сей день не видит разницы между htm и asp, php и т.д. А google уже обрабатывает команды расширений в robots.txt…

Пример (только для googlebot):
disallow: /temp/*.cgi #Запрещены к индексации все cgi файлы в директории temp
или
disallow: *.cgi #Запрещены к индексации все cgi файлы

Напоследок еще добавлю, что robots.txt нужно размещать в корневой директории (Например: http://www.pcnews.biz/robots.txt), а сайт не имеющий robots.txt возможно будет подвержен не регулярным набегам поисковых ботов.

 
Форум » FOR WEB-MASTER`S » SEO » Командный файл поисковиков - Robots.txt
Страница 1 из 11
Поиск:


Статистика форума Zorend.ru
Последние темы Популярные темы Лучшие пользователи Новые пользователи Звезды ZOREND`a
Глобальное обновление
Пара Анекдотов
Правила раздела
Считаем до 1000
Какая видео карта сейчас нормальная?
WebThumb 2.0 - Обмен посетителями на ваш сайт
халявные Icq налетай!
Аву плиз
 Считаем до 1000
 Конкурс "Уникальный человек"
 Участники конкурса "Уникальный человек"
 Играем в города :)
 Ваш аппарат
 Жалобы на участников конкурса "Уникальный человек"
 Зимняя шапка.
 Смайлики
Timoha - (Сообщений: 1091)
cook - (Сообщений: 1056)
pikus - (Сообщений: 1012)
Adrianoosem - (Сообщений: 419)
n1ceman - (Сообщений: 319)
b0ot - (Сообщений: 313)
sg-ua - (Сообщений: 250)
Аватар - (Сообщений: 250)
Alisasslom - (Зарегистрирован: 20.07.2015)
donkj4 - (Зарегистрирован: 20.07.2015)
meroslEr - (Зарегистрирован: 20.07.2015)
MelvinRat - (Зарегистрирован: 20.07.2015)
randiew16 - (Зарегистрирован: 20.07.2015)
ArthurGers - (Зарегистрирован: 20.07.2015)
CharlesCida - (Зарегистрирован: 20.07.2015)
guydd11 - (Зарегистрирован: 20.07.2015)
friendgog - (Репутация: 1187)
cook - (Репутация: 1004)
b0ot - (Репутация: 500)
pikus - (Репутация: 201)
Вадим - (Репутация: 102)
Timoha - (Репутация: 7)
-Wicked - (Репутация: 5)
plan - (Репутация: 5)