Чёртов bingbot/2.0
 

На моём сайте очень много страниц и бывают моменты, когда набегает куча ботов и нагружает сайт больше, чем нужно.
Естественно, плохих ботов я сразу блокирую, поэтому пришлось немного посидеть и подумать, что-бы ещё такого сделать:

https://i.imgur.com/5yv8kVJ.jpg

В итоге решил заблокировать bingbot/2.0. Трафика Бинг не даёт совершенно, хотя я думал, может чего выжму из него.

Действительно, запросов от bingbot/2.0 было очень много:

https://i.imgur.com/Myf2Bmo.png

После блокировки нагрузка на сайт очень существенно снизилась:

https://i.imgur.com/uHIBqGo.png

Ну вот теперь можно и заслуженно отдохнуть:

https://i.imgur.com/5yv8kVJ.jpg

:D

На чём у Вас сайтец, если боты сайт нагружают?

pegs, там парсеры на php+mySQL

А bingbot не понимает директиву crawl-delay?

Нет, у меня стоит Crawl-delay: 5