Время ответа сервера зависит от процессов, которые происходят во время генерации страницы.
Существует огромное количество причин, из-за которых конкретная страница сайта может отвечать долго:
Сложные (не оптимизированные) и большие запросы к базе данных MySQL
Обращения к внешним ресурсам
Подключение множества модулей в CMS
Подключение JavaScript/CSS с удаленных ресурсов
Не оптимизированные изображения


Первым делом нужно проанализировать ответ сервера используя сервис tools.pingdom.com
Показатель Wait говорит о времени, которое уходит на генерацию страницы перед тем, как она загружается.
Вы можете проверить любую страницу вашего сайта, и увидите, что время загрузки напрямую зависит от сложности страницы.
Оптимизировав свой сайт вы получите значительное ускорение, в принципе нормально когда время загрузки на превышает 500 мс.