Поисковые системы могут вызвать большую нагрузку.
Для решения проблемы нужно указать в robots.txt директиву Crawl-delay.
Директива Crawl-delay указывает поисковому роботу, чтобы он загружал страницы вашего сайта с интервалом не менее 90 секунд, другими словами просто выдерживал паузу во время индексации страниц сайта.

Пример
В корне сайта создать файл robots.txt и записать в него:
User-agent: *
Crawl-delay: 90