archive.org & robots.txt

Пожелания, предложения и замечания.

Модераторы: Сергей Грибовский, MikeLos, Boris

Сообщение
Автор
Erelen
читатель
Сообщения: 36
Зарегистрирован: Вт июл 15, 2008 7:28 pm
Контактная информация:

archive.org & robots.txt

#1 Сообщение Erelen » Пт июн 22, 2012 3:51 am

А зачем в http://prokite.ru/robots.txt есть следующий блок:

# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /

? В этом есть какой-то осознанный смысл?

А то я тут хотел посмотреть ту версию сайта, которую я впервые увидел лет пять назад, а облом:

http://wayback.archive.org/web/*/http://prokite.ru/

MikeLos
смотритель
Сообщения: 2546
Зарегистрирован: Чт авг 28, 2003 12:18 pm
Откуда: Moscow

#2 Сообщение MikeLos » Пт июн 22, 2012 5:22 pm

Я робот.ткст скопировал с какого-то места где говорили что это самый правильный робот.ткст для сео

Erelen
читатель
Сообщения: 36
Зарегистрирован: Вт июл 15, 2008 7:28 pm
Контактная информация:

#3 Сообщение Erelen » Пт июн 22, 2012 5:26 pm

Я бы предложил этот блок удалить.
Почему бы не позволить archive.org сохранять сайт?

MikeLos
смотритель
Сообщения: 2546
Зарегистрирован: Чт авг 28, 2003 12:18 pm
Откуда: Moscow

#4 Сообщение MikeLos » Пт июн 22, 2012 8:31 pm

согласен

Marconi
летатель
Сообщения: 373
Зарегистрирован: Чт май 15, 2008 4:04 pm
Откуда: Клин
Контактная информация:

#5 Сообщение Marconi » Сб июн 23, 2012 9:54 pm

ZuBR писал(а):Вообще-то это ограничение необходимо в целях защиты и оптимизации нагрузки на сервер.

бред, какая защита и от чего? оптимизация нагрузки? даа... много нагрузит один робот с архиватора

Boris
впередсмотритель
Сообщения: 2013
Зарегистрирован: Пн сен 04, 2006 3:23 pm
Откуда: Москва

#6 Сообщение Boris » Вс июн 24, 2012 12:03 am

Скорее всего эта запись ограничивает только wayback.archiver. У разных ботов обычно разные user-agent. По видимому у этого сервиса бот особенно агрессивно нападает на каждый ресурс. Вот и сложилась практика его запрещать.
В общем наверно надо решить достаточно ли wayback популярный сервис чтоб он был нам интересен. И если интересен то эту строчку надо убрать.
Это явно оптимизация не для CEO а для хостинг провайдеров ;)

Boris
впередсмотритель
Сообщения: 2013
Зарегистрирован: Пн сен 04, 2006 3:23 pm
Откуда: Москва

#7 Сообщение Boris » Вс июн 24, 2012 6:14 pm

ZuBR писал(а):
Скорее всего эта запись ограничивает только wayback.archiver.


Не скорее всего, а "только".


Не стоит быть настолько категоричным ;)
Некоторые деятели иногда маскируют свои боты под чужие, или код того-же бота может работать с другого сервиса...


Вернуться в «> сайт»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 1 гость