Войти
Каталожный блог
Тег: боты
Новые боты Яндекса
Обещали — сделали. С понедельника начали ходить:
Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots)
User-name слегка ...
yandex 10 боты 6 комментариев: 4 NULL, 2010-06-30 10:43
О нерациональности Яндекса
Не понимаю простой штуки — если по Ашманову и Трофименко апдейты основного индекса в последнее время происходят где-то раз в неделю, то зачем семейство ботов Yandex/1.01.001 (compatible; Win16; I) десять раз за сутки дергает главную ...
yandex 10 боты 6 комментариев нет NULL, 2010-01-14 17:26
Из Арзамаса в Снежинск
В октябре Яндекс остановил работу своих роботов-простукивальщиков, которые приходили с хостов avr01.yandex.net — avr09.yandex.net. Сначала заметил у себя, но если погуглить по открытым статистикам, то можно увидеть, ...
yandex 10 боты 6 комментариев: 3 NULL, 2009-11-20 14:13
Yandex.Commerce.Pinger
Давно интересуюсь этим ботом. Поиск в Гугле выдает одну тему на форуме полугодовалой давности и кучу проиндексированных логов. В теме выдвигается гипотеза, что это простукивальщик Яндекс.Маркета. Мои сайты не присутствуют в Маркете, да и гуглеж по логам ...
yandex 10 боты 6 статистика 4 комментариев нет NULL, 2009-10-28 23:16
О "быстрых ссылках" Яндекса
30 июля 2009 года Яндекс официально заявил о "быстрых ссылках" в своей выдаче. Фича удобная и полезная. Еще летом заметил одну вещь, связанную с этими ссылками, но тогда писать не было возможности. Сейчас поискал в Яндексе и Гугле — вроде бы об ...
yandex 10 боты 6 комментариев нет NULL, 2009-10-25 23:59
Большие значения Crawl-delay в robots.txt
Месяц назад сайт lermont.ru поперли с виртуального хостинга Петерхоста:Наша компания постоянно следит за стабильностью работы серверов и старается не допускать повышенной нагрузки, чтобы обеспечить равномерную и стабильную работу ...
robots.txt 1 боты 6 статистика 4 комментариев: 1 NULL, 2009-10-24 20:36