Блокирование роботов по их IP 

Самый простой способ - зафильтровать их в .htaccess (Файл в корневой папке вашего сайта) по IP создав такие правила:

deny from 54.36.150.0/24
deny from 151.80.39.0/24
deny from 54.36.148.0/24

deny from 40.79.25.228
deny from 54.36.149.0/24
deny from 216.244.66.0/24
deny from 46.229.168.0/24

Зафильтровывать придётся целыми сетями так как ребята, которые создают роботов выводят их в интернет через целые пулы IP адресов. Для панели управления хостингом cPanel алгорим действий по поимке "крыс" может быть таким:

1. Время когда робот зашёл на ваш сайт и привёл к перегрузке ресурсов можно посмотреть в "Использовании ресурсов". Там есть графики по которым это можно определить.
2. Найти IP адреса с временем посещения сайта роботами можно в логах Web сервера: "Доступ к необработанным данным":

Блокирование робота по индефикатору User Agent

Второй способ: фильтрация роботов в .htaccess по User Agent. К счастью они от вас не скрываются. Особенно, когда приводят к падению сайта. Всё сразу становится понятно :-) (кто попадёт под раздачу)

Опытным путём я через неделю нашёл всех: SemrushBot, AhrefsBot, MJ12bot, Riddler, aiHitBot, trovitBot, Detectify, BLEXBot, LinkpadBot, dotbot, FlipboardProxy, proximic, YaK, CCBot. Они то и приводили к падению сайта.

Зафильтровать их можно в файле .htaccess такими правилами: 

RewriteCond %{HTTP_USER_AGENT} SemrushBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} AhrefsBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} MJ12bot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} Riddler
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} aiHitBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} trovitBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} Detectify
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} BLEXBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} LinkpadBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} dotbot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} FlipboardProxy
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} proximic
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} YaK
RewriteRule (.*) - [F,L]

RewriteCond %{HTTP_USER_AGENT} CCBot
RewriteRule (.*) - [F,L]

Скидывайте в комментариях ваших крыс, а я дополню эту доску позора ими.

Всем удачи в борьбе с этой напастью :-)