Чёртов bingbot/2.0

[idnex]

На моём сайте очень много страниц и бывают моменты, когда набегает куча ботов и нагружает сайт больше, чем нужно.
Естественно, плохих ботов я сразу блокирую, поэтому пришлось немного посидеть и подумать, что-бы ещё такого сделать:



В итоге решил заблокировать bingbot/2.0. Трафика Бинг не даёт совершенно, хотя я думал, может чего выжму из него.

Действительно, запросов от bingbot/2.0 было очень много:



После блокировки нагрузка на сайт очень существенно снизилась:



Ну вот теперь можно и заслуженно отдохнуть:

[pegs]

На чём у Вас сайтец, если боты сайт нагружают?

[idnex]

pegs, там парсеры на php+mySQL

[ProCoder]

А bingbot не понимает директиву crawl-delay?

[idnex]

Сообщение от ProCoder

А bingbot не понимает директиву crawl-delay?

Нет, у меня стоит Crawl-delay: 5