Вот Магадан Добрался И До Меня
Заглянул только что на страницу статистики внешних переходов и узрел странную картину: за последние дни посещаемость значительно упала, а тут дикий рывок - за полтора часа количество хитов взлетело выше самой большой дневной отметки последних двух недель!
Ясен пень - кто-то сканирует. Вот только с какой целью и кто именно? Может меня ДДОСят или это очередной умный парсер контент тырить пытается?...
Короче, в поисках виновника я полез смотреть статистику сервера и увидел там интересного "посетителя", которого раньше не замечал - spider05.yandex.ru. О, как! Получается, что это яндексовый обновленный паук пробежался по страницам сайта и теперь надо ждать резких перемен в видимости моего блога Яндексом.
Во что это все выльется увидим позже, но пока меня интересует другой вопрос: Почему новый робот Яндекса прикрывается юзер-агентом четввертой мозиллы????...
Вот еще один IP-шник нарисовался, с которого ходит какой-то кривой бот и сканит практически весь сайт - 218.215.137.16
А кривой потому, что его в полной мере касается то, что описано вот тут: http://fit-media.com/post_1200930244.html
Вобще то судя по своему сайту, роботы ПС приносящих основной трафик - (Яндекс, Google и Рамблер) отличаютя культурностью, т.е. ходят постоянно, жрут по немногу и сервер не грузят. А вот Mail.ru и WebAlta (земля ей пухом) - пытаются одновременно сожрать тысячи страниц.
((
(14 июня 2008, 07:25)Всплески ативности Яндекс, на самом деле тоже бывают, но очень редко и в пределах нормы.
В основном ходят эти 2:
213.180.207.25 (ws-int000.yandex.ru)
213.180.206.45 (spider11.yandex.ru) - самый прожорливый
бывают и другие.
sfront.yandex.ru, turbospider.yandex.ru
Как правила - после таких "выходок" - растет посещаймость с Яндекса, но не надолого. До следуешего апдейта базы.
Вобщем я думаю, доставать он тебя изредка будет, ты только не бань его
Что же касается Магадана,
я уже пожинаю "плоды" - много страниц ушло за пределы топа, и сейчас чтобы их вернуть - нужны ссылки на эти страницы. Но что делать когда их (страниц)- тысячи