Инфо Тестирование производительности серверов хостинга в фактах и картинках

Один из читателей этой темы задал вопрос:
Попробуем ответить на этот вопрос.
Как говорил наш Учитель "Любая теория подтверждается статистикой",
поэтому покажем в качестве отзыва обычную статистику сайта
одного из клиентов, расположенного на физическом сервере № 1069 ДЦ Москва.

Покажем статистику посещаемости за прошлый месяц.



Посетители переходили на сайт из 43 поисковых систем
Чтобы у читателей не возникло ощущения, что на сайт просто сливают трафик,
показываем статистику посещений сайта поисковыми роботами.



За прошлый месяц сайт посетило 98 поисковых роботов.
И как пример лояльности клиента, показываем перечень серверных логов



Данный клиент пользуется услугами ДЦ Москва 3 года ...

В нашу тестовую лабораторию обратился представитель компании Русоникс и
предложил протестировать физические выделенные сервера.

На выбор было предложено 3 варианта комплектации сервера,
из которых мы выбрали


Затем пришло бодрое письмо, что наш выделенный сервер активируется



Заходим в панель управления сервера и убеждаемся, что нам выдали именно то, что было заказано



Устанавливаем стандартный демо-сайт, запускаем внутренний монитор производительности,
и тут нас ждет первое разочарование ...



Выделенный сервер по тарифному плану 30 000 рублей в месяц не смог набрать даже 60 баллов,
которые легко набирают сервера других хостеров ...

Запускаем нагрузочный тест, и тут нас ждет второе разочарование ...



С нагрузкой в 2000 соединений сервер еще справляется, но далее начинают сыпаться ошибки ...

В попытках понять странное поведение такого дорогого сервера запускаем диагностику
и тут все сразу становится на свои места ...



Это обычный VDS с технологией OpenVZ

Выводы наши уважаемые читатели пусть сделают сами ...

Информация о хостере

Недавно один из хостеров разместил на нескольких форумах информацию о том,
что на его серверах якобы получена производительность более 120 баллов.

Хотим предостеречь наших читателей, что данная информация не имеет под собой
ничего общего с реальной картиной в рейтинге серверов.
Недобросовестный хостер может показывать несуществующие (рекламные) цифры производительности
за счет выбора самой младшей редакции демо-сайта / минимального функционала / отключения сервисов ...

Мы же производим тестирование всех серверов по одной и той же методике, начиная с 2008 года по 2014 год,
на идентичной демо-конфигурации,
потому что только замеры на единой конфигурации могут дать реальные результаты для сравнения характеристик ...

Данного хостера, по его же просьбе, мы тестировали 3 раза,
показываем результаты тестирования на самом дорогом тарифном плане.

Производительность по внутреннему тесту ...



Фрагмент вывода информации об одном из протестированных серверов:



Что можно сказать, посмотрев на этот технический паспорт?
Модель виртуализации - KVM
Скорость дисковой системы - не самая плохая, в минимальный допуск в 2 сек укладывается
Скорость MySQL - очень средненькая
Скорость канала до Яндекса - самая обычная для порта 100 Мб/с

На копии экрана преднамеренно показаны имя сервера и адрес сервера,
чтобы хостер не стал возражать, что тестировали не его хостинг ...

Остальные выводы наши уважаемые читатели могут сделать сами ...

Информация о хостере

К нам обратился клиент и рассказал свою историю:
Клиент попросил найти причины низкой скорости работы сайта.

Ну что-ж, попробуем помочь этому клиенту,
проверяем исходные данные интернет-проекта



Размер архива: 93.5 ГБ
Файлов в архиве: 131490



Размер данных: 6.52 ГБ

Делаем первичный замер быстродействия:



Можно уверенно утверждать, что по параметрам быстродействия такой сервер явно уступает
даже параметрам бесплатного хостинга ...

Запускаем экспресс-тест в попытках найти причину столь низкой производительности:



Все сразу становится ясно - перед нами уже знакомая нашим читателям конфигурация,
самый обычный малобюджетный бытовой компьютер в немецком малобюджетном ДЦ !

Рассмотрим характеристики этого псевдо-сервера поподробней и по порядку отчета :

Процессор - обычный бытовой проц для домашнего компьютера, работающий на частоте 1.6 ГГц,



Диск - обычный бытовой диск для домашнего компьютера, начало выпуска Ноябрь 2011 года



А это, видимо, и есть тот самый "секретный ингредиент" для увеличения скорости работы РНР,
видеокарта класса GeForce 7200 GS , начало выпуска Май 2007 года ?

Пинги до Яндекса - самые обычные для Германии - в пределах 55 мс

Дата инсталляции системы = Декабрь 2013 года
Время бесперебойной работы = всего 47 дней

Скорость канала до Яндекса 5,341,505 bytes/sec
то есть фактические параметры канала соответствуют "гарантированной полосе" всего 50 Мбит/сек,

Для демонстрации того, что проблемы кроются не в движке сайта, а в крайне неудачном выборе хостинга,
разворачиваем архив сайта на другом сервере и моментально получаем результат более 70 баллов !!!



Параметры самого обычного хостинга в самом обычном ДЦ Москва:



Таким образом, предоставленный клиенту московский сервер в очередной раз одержал убедительную победу над немецким,
сумев занять при этом сразу несколько мест в нашем рейтинге серверов хостинга по категориям:

Интегральная производительность по внутреннему тесту
Данный сервер занимает Второе место = 70.42 балла

Производительность CPU по тесту Битрикс
Данный сервер занимает Первое место = 31.9 миллионов операций в секунду

Производительность CPU по экспресс-тесту
Данный сервер занимает Первое место = 32.081 миллионов операций в секунду

Производительность HDD по тесту Битрикс
Данный сервер занимает Третье место = 18850 операций в секунду

Производительность MySQL по тесту Битрикс
Данный сервер занимает Первое место = 18314 операций в секунду

Производительность MySQL по экспресс-тесту
Данный сервер занимает Третье место = 42750 операций в секунду

Информация о хостере ДЦ Москва

Один из читателей этой темы, хостер, попросил повторно протестировать качество своего хостинга.

Для теста нам выдали сервер на самом дорогом тарифном плане Битрикс-Эксперт.

Реклама на сайте обещает:
поэтому мы предполагаем, что сервер наберет не менее 30 баллов ...

Однако, запустив внутренний тест, видим, что наши ожидания не оправдались ...



Сервер не набрал даже 30 баллов, то есть норматив 2008 года для серверов "младших классов VDS-256" не сдан ...

Запускаем многопоточный тест на способность держать соединения, генерировать страницы и отдавать их пользователям ...



На первой же секунде теста сервер выстреливает пачку из 500 ошибок, после чего на 13 секунде впадает в глубокую кому ...

Чтобы понять, в чем причина такой внезапной клинической смерти, вскрываем еще не остывшее тело пациента и запускаем посмертную диагностику



Быстрый взгляд на историю болезни пациента выделяет несколько моментов:

1.1 - Локация = Франция
( без комментариев ... )

1.2 - Операционная система = Cloud Linux
( пока ни один из протестированных нами серверов на этой OS не смог набрать более 30 баллов ...)

1.3 - Размер свободной памяти = 162 Мб
( противники тут же могут возразить, что она вся вытекла, например в кеш ? ... )

1.4 - Время бесперебойной работы - всего 154 дня ...
( без комментариев ... )

1.5 - На сервере обнаружено 598 сайтов
( противники тут же могут возразить, что на их серверах работает без проблем 5980 "высоконагруженных" проектов,
именно поэтому мы и запускаем многопоточный тест из расчета всего по 10 посетителей на один сайт сервера ... )

На копии экрана многопоточного теста преднамеренно показан адрес сайта сервера,
чтобы хостер не стал возражать, что тестировали не его хостинг ...

Остальные выводы наши уважаемые читатели могут сделать сами ...

Информация о хостере

Двое читателей этой темы, которые сами же просили о повторном тестировании и агрессивно рекламирующие свои услуги по хостингу,
остались категорически несогласны с результатами тестирования качества своих услуг.

Первый читатель, который размахивал на ряде форумов флагом с цифрой 120 баллов,
и представляющий интересы хостинга adminvps, стал заявлять, что его неправильно меряют:
Кого он хотел удивить своими мифическими цифрами ?

Показываем результаты реального тестирования, которые были произведены на другом сервере хостинга более 4 лет назад



как видим на копии экрана, производительность более 130 баллов ...

Пытливый читатель сразу может задать вопрос:
"Почему тогда нынешний лидер рейтинга набирает всего 80 баллов, в чем причина ?"

Ответ на такой вопрос довольно прост:

1.1 - Тогда использовалась версия РНР v5.2
1.2 - Тогда использовалась версия Битрикс v8.6

Сейчас текущая версия Битрикс v14 , а каждый разработчик сайта знает, что любой переход к более
старшим версиям всегда увеличивает, вместе с функциональностью,
количество компонент и вес, соответственно и массу ядра сайта ...
Кроме этого, на версии РНР v5.2 разогнать сайт до скорости 100 баллов было более простой задачей,
чем сейчас получить хотя-бы двух-кратный прирост производительности, то есть 60 баллов ...
Кроме этого, мы уже много раз объясняли читателям, как можно получить фиктивные цифры производительности,
полагаем на этом вопрос по поводу хостинга adminvps закрыт ...

Второй читатель, представляющий интересы хостинга lite-host, стал также заявлять, что его сервер преднамеренно неправильно измеряют,
стал обвинять в низких показателях своего хостинга всех вокруг, исключая себя,
начиная с разработчиков 1С-Битрикс и заканчивая автором этой публикации.
По его мнению, абсолютно все вокруг были виноваты в том,
что его сервер падает в момент тестирования и не набирает даже 30 баллов,
в своих обвинениях злопыхатель дошел до того, что затестил сам себя и получил всего 1 балл !!!



После этого он разразился тирадами в стиле "Наш ответ Чемберлену",
из его путанной речи можно было уловить смысл только нескольких фраз:
Он уже дошел до того, что ставит себя на место СУДЬИ - безупречного в своих мыслях, мотивах и поступках ???

Попробуем пройтись по пунктам этих смехотворных утверждений

Под тяжестью неоспоримых улик и доказательств этот так называемый хостер был вынужден признаться,
что он установил ограничение для посетителей в 48 соединений !!!

Теперь давайте просто задумаемся, к чему это приводит на практике ?

Для иллюстрации ситуации будем показывать примеры сайтов, которые используют форумные движки.
Движок форума позволяет видеть количество посетителей на сайте и рекорды посещаемости.
Рекорд посещаемости - количество посетителей на линии в единицу времени,
на стандартных форумах этот показатель измеряется один раз в минуту.

Так вот, на серверах lite-host, где стоит ограничитель в 48 соединений,
рекорд посещаемости сайта мог бы выглядеть примерно так



"Жалкое зрелище, душераздирающее зрелище..."

Второй пример - на форуме в момент замера присутствует 821 посетитель, рекорд = 1014 посетителей



Второй сайт расположен на самом обычном сервере в самом обычном ДЦ Москва,
этот сервер тестировался под нагрузкой в 20 000 соединений ...



Любознательные читатели вправе задать вопрос, а что будет,
если нужно гарантированно обслуживать сайт такого масштаба:



на форуме в момент замера присутствует 1705 посетителей, рекорд = 25392 посетителя

Не вопрос - результаты тестирования на том же самом обычном сервере в самом обычном ДЦ Москва,
этот сервер тестировался и под нагрузкой в 50 000 соединений ...



К вышеизложенному можно добавить только высказывания двух специалистов,
которые занимаются вопросами сертификации хостинга в двух известных и крупных компаниях:

2.1 - 1С-Битрикс: Александр Демидов
Наш комментарий - мы тестируем только то, что выдает хостер, именно в том состоянии и при тех настройках,
которые установлены хостером.
Подробную методику нашего тестирования мы излагали на специализированном форуме,
в разделе для хостинг-партнеров 1С-Битрикс, можно еще добавить,
что за последние 4 года методика нашего тестирования абсолютно не поменялась,
и она абсолютно одинакова для всех, независимо от сервера хостинга либо тарифного плана ...

2.2 - Юмисофт: Константин Смыгин
Наш комментарий - именно поэтому мы тестируем сервера хостинга многопоточным тестом,
это показывает способность сервера держать соединения, генерировать страницы и отдавать их пользователям ...

Что еще можно добавить к уже сказанному ?
Все наши примеры работ с сайтами клиентов, которые обращались к нам в поисках причин низкой скорости работы сайта,
малой посещаемости и плохой индексации поисковыми системами мы уже демонстрировали нашим читателям,
можно только еще раз кратко повторить наше портфолио:

3.1 - Опыт работы с большими сайтами клиентов (100 Gb)
3.2 - Опыт работы с большими базами клиентов ( 7 Gb)
3.3 - Опыт работы с большими входящими нагрузками (более 25000 соединений)
3.4 - Наша лаборатория имеет в своем штате квалифицированных специалистов,
которые получили в общей сложности 20 сертификатов
3.5 - Автор этой публикации имеет личный сертификат специалиста - системного администратора,
выданный компанией Айдеко, совместно с журналом Хакер, цитатником Рунета bash.org.ru, цифровым
порталом iXBT и сообществом Habrahabr.ru на конкурсе-турнире на звание "Системный Администратор 2010"
3.6 - Автор этой публикации имеет 6 личных сертификатов специалиста - по курсу хостинга, выданных компанией 1С-Битрикс
3.7 - Наш коллектив принимал участие в далеком уже 2009 году в Деcятом Всероссийском Открытом Интернет-Конкурсе
"Золотой сайт 2009-2010", в категории = Лучший сайт на "1С-Битрикс"

Один хостер прислал письмо с приглашением протестировать качество новой услуги - Хостинг с бесплатным периодом.

Мы с удовольствием откликнулись на это приглашение, заходим в панель хостинга,
устанавливаем демо-сайт для тестирования.

Все идет подозрительно гладко, в чем же подвох для бесплатного хостинга ?

Сайт установился быстро, без единой ошибки, только на последнем шаге, из-за лимитов бесплатного хостинга,
главная страница сайта не загрузилась, поэтому заходим в админку сайта в ручном режиме.

Запускаем в панели производительности тест скорости



показатели в пределах нормы, так как на бесплатных хостингах обычно можно получить от 8 до 15 баллов ...

Вспомнив процесс тестирования хостинга lite-host, где стоит ограничитель в 48 соединений,
запускаем на этом бесплатном хостинге тест в 250 соединений !!!



Как можно увидеть на копии экрана - тест проходит без единой ошибки!
Напомним, что на хостинге lite-host проверялся тарифный план Битрикс-Эксперт ( 900 рублей в месяц )

В завершение - запускаем команду определения конфигурации сервера



Какие выводы можно сделать по результатам тестирования:

1.1 - бесплатный хостинг в отдельных случаях не уступает по производительности более дорогому платному хостингу
1.2 - бесплатный хостинг не может в большинстве случаев заменить платный хостинг из-за наличия ограничений на ресурсы
1.3 - бесплатный хостинг вполне может справится с задачей демонстрации работы или отладки отдельно взятого сайта

Информация о хостере

Еще один хостер прислал письмо с приглашением протестировать свой хостинг и мы решили показать на примере 3-х хостеров,
которые обращались к нам за последние 3 недели,
различный подход к понятиям надежности и производительности.

Для объективной оценки нескольких факторов, воспользуемся модифицированной формулой расчета позиций в рейтинге,
обычно применяемой сотрудниками 1С-Битрикс :
Итак - в этом импровизированном соревновании приняли участие 3 хостинга.
Для приведения формулы расчета к единому знаменателю,
примем условную стоимость тарифного плана единой в размере 310 рублей в месяц.

Наши участники:
lite-host.in
Тарифный план - 900 рублей в месяц
radiushost.ru
Тарифный план - бесплатно
ihc.ru
Тарифный план - 310 рублей в месяц

Для наглядности показываем наиболее характерные в плане надежности и производительности
данные графиков многопоточного теста у каждого хостера,
это показывает способность держать соединения, генерировать страницы и отдавать их пользователям ...

Первым посчитаем результат хостинга lite-host.in



P = 21.79
Q = 10.67
Z = 310 (тариф 900 рублей)
S = 48 (ограничитель хостинга)

Суммарный балл = 35,99

Вторым посчитаем результат хостинга radiushost.ru



P = 17.72
Q = 137.67
Z = 310 (бесплатный тариф)
S = 250

Суммарный балл = 1967,34

Третьим посчитаем результат хостинга ihc.ru



P = 31.53
Q = 123.67
Z = 310
S = 4500

Суммарный балл = 56602,96

Таким образом, в нашем импровизированном соревновании победил хостинг компании ihc.ru,
второе место занял бесплатный хостинг,
по поводу качества хостинга за 900 рублей наши читатели выводы могут сделать сами ...

Показываем копии экранов замера Победителя:

Запуск в панели производительности теста скорости



В завершение - запускаем команду определения конфигурации сервера



Информация о хостере

Один из читателей этой темы из Украины, житель Киева, прислал письмо с просьбой протестировать хостинг



заходим на сайт хостинга и читаем информацию про тарифный план

Исходя из того, что хостинг настроен для сайтов на WordPress, высказываем предположение,
что запустить полноценный тест вряд ли получится, но предпринимаем первую попытку ...

Как и следовало ожидать, в процессе распаковки тестового сайта выскочила ошибка



продолжаем попытку запуска теста дальше, однако ограничения хостинга и тарифного плана дают о себе знать, в том числе:

1.1 - предельное время для выполнения скрипта PHP = 30 сек
(нам удавалось запускать тест даже при лимите предельное время для выполнения скрипта PHP = 10 сек)

1.2 - пользователь заперт в своей домашней директории
(на других серверах тест запускался и при этом ограничении)

1.3 - отключено 26 функций PHP
(нам удавалось запускать тест даже при отключении 55 функций PHP)



Как и следовало ожидать, нам не удается запустить полноценный тест ...

Предпринимаем вторую попытку, ставим Lite-version теста для бесплатных хостингов.



На этой версии удалось запустить только тест производительности, и полученные результаты уступают даже бесплатному хостингу

Какой вывод можно сделать из этого:
2.1 - В большинстве случаев, хостер назначает цену тарифного плана, исходя из реальных затрат на свое оборудование ...
2.2 - Вероятность получить нормальную производительность на микро-бюджетных тарифных планах стремится к нулю ...
2.3 - В ряде случаев, о которых уже было рассказано, параметры бесплатных хостингов не уступают малобюджетным платным тарифам ...

Дополнительная информация к размышлению ...
Пример запуска теста для определения конфигурации сервера, это обычный немецкий хостинг,
который накладывает самые обычные ограничения
для бесплатных и малобюджетных тарифных планов на аккаунты пользователей, как-то :

3.1 - предельное время для выполнения скрипта PHP = 30 сек
3.2 - предельный размер памяти для скрипта PHP = 64 Мб
3.3 - пользователь заперт в своей домашней директории
3.4 - отключено 40 функций PHP

Небольшой фрагмент вывода информации о протестированном сервере из Германии для сравнения прилагается:



Почувствуйте разницу, тест запускался более года назад ...

Информация о хостере

Еще один из читателей этой темы прислал письмо с просьбой протестировать хостинг



заходим на сайт хостинга и выбираем самый дорогой тарифный план Битрикс: Бизнес

Запускаем тест производительности, полученные результаты на уровне показателей бесплатного хостинга



Сервер не набрал даже 30 баллов, то есть норматив 2008 года для серверов "младших классов VDS-256" не сдан ...

Запускаем многопоточный тест на способность держать соединения, генерировать страницы и отдавать их пользователям ...



С нагрузкой в 1250 соединений сервер еще справляется, но далее начинают сыпаться ошибки ...

Запускаем диагностику, чтобы найти причину такой низкой производительности сервера,
и тут все сразу становится на свои места ...



Хотелось бы обратить внимание наших читателей на три момента:

1.1 - Это самый обычный маломощный VDS, Hypervisor KVM, BIOS Bochs
На текущий момент в нашей базе данных хранится информация о 404 протестированных нами серверов хостинга,
и всего только 6 серверов используют BIOS Bochs.

1.2 - Производительность памяти
быстродействие памяти всего 6 Gbps
против показателей лидеров рейтинга 17 Gbps
проигрыш в скорости в 2.8 раз !!!

1.3 - Производительность дисковой системы
скорость записи на диск всего 88 Mbps
против показателей лидеров рейтинга 376 Mbps
проигрыш в скорости в 4.2 раз !!!

Выводы наши уважаемые читатели пусть сделают сами ...

Информация о хостере