Наши статусы

Public cloud since 2008

VMware Hybrid Cloud Powered

VMware Enterprise Service Provider

Скачайте книгу!

Наша электронная книга IaaS для бизнеса по кирпичикам для генеральных и коммерческих директоров

Iaas для бизнеса по кирпичикам

Центр компетенции

Приходите в наш центр компетенции, если вы хотите посмотреть корпоративное облако или выбрать систему хранения данных.

Центр компетенции

DRS в облаке

Организация площадки DRS в публичном облаке

Что мы знаем о серверах высокой плотности?

01.01

Что мы знаем о серверах высокой плотности?


Комментарии к некоторым постам хабра заставили задуматься, есть ли понимание у народа о серверах высокой плотности и их возможностях. Целью написания данного поста является внесение определенности по этому вопросу. Также планируется, что этот пост станет первым в череде статей на тему HPC (high performance computing, высокопроизводительные вычисления).

Сервера высокой плотности наиболее востребованы в технологиях построения суперкомпьютеров кластерного типа, систем виртуализации и организации облаков, систем параллельного доступа к системам хранения, систем аналитических расчётов, поисковых системах и др. Их применение обусловлено, прежде всего, невозможностью выполнить все предъявляемые требования, используя иные технологии. Рассмотрим варианты решений, их плюсы и минусы. 

Блейд-сервера (Blade)
На Западе мест размещения серверов в ЦОД’ах уже давно не хватает. Поэтому неудивительно, что сервера высокой плотности впервые появились там. Пионером была компания RLX Technologies, которая в 2000 году разработала систему, умещающую в 3U 24 лезвия. Основные заказчики этих первых Blade-серверов были вояки и NASA. Далее этот startup был куплен HP. Но самое главное было сделано - был создан сервер высокой плотности. 


За пионерами последовали и гиганты: Intel, IBM, HP. Далее - DELL, SUN, Supermicro, Fujitsu, Cisco, HDS и др. 

Основные отличия Blade-систем от RACK-серверов, помимо высокой плотности, заключается в интеграции серверов с сопутствующей инфраструктурой: сети, мониторинг, управление, охлаждение и электропитание. Всё это расположено в одной коробке и по возможности обладает элементами отказоустойчивости. Объединяющим элементом является BackPlane – системная плата, обычно пассивная. К ней подключаются все элементы Blade-системы. Место, занимаемое в шкафу, варьируется от 3U до 10U. Самыми высокоплотными решениями являются HP Blade и DELL PowerEdge – 3,2 сервера на 1U. Практически все производители делают сервера только на процессорах семейства x86/x64. Но существуют также и решения на RISC, MIPS и ARM процессорах.

Кстати, в решении RLX Technologies плотность серверов была выше. Это обусловлено тем, что в нем использовались одноядерные процессора Celeron, которые сейчас используются в основном только лишь для настольных тонких клиентов. Понятно, что тепловыделение современных процессоров гораздо выше, и именно это пока не позволяет увеличивать плотность в современных решениях.

В чем преимущества блейд-серверов? Давайте выделим основные моменты:
  1. Всё расположено в одном корпусе-шасси.
  2. Система мониторинга и управления обладает расширенными функциями по сравнению с RACK-серверами.
  3. Наличие нескольких типов сетей в каждом сервере-лезвии. Это могут быть: 
    • Ethernet (100Mb/s, 1Gb/s, 10Gb/s)
    • FibreChannel (2Gb/s, 4Gb/s, 8Gb/s, 16Gb/s)
    • InfiniBand (SDR, DDR, QDR, FDR)

  • Встроенные элементы охлаждения и электропитания обладают элементами отказоустойчивости.
  • Горячая замена всех сменных компонентов.
  • Возможность организации встроенной дисковой системы хранения данных для всех установленных серверов-лезвий.
  • Плотность размещения в шкафу.

    В чём слабые стороны? Основные недостатки, которые видятся мне существенными:
    1. Высокая цена неполного комплекта. Только при достижении заполнения порядка 70% мы получаем близкие цены с RACK’овыми аналогами.
    2. Ограничение по расширению конфигураций сервера-лезвия.
    3. Невозможность отторжения сервера-лезвия как самостоятельной единицы.
    4. Ограниченность одновременного использования сетевых интерфейсов.
    5. Невозможность, в ряде случаев, организовать неблокирующуюся сеть между серверами-лезвиями и внешним миром.
    6. Ограничение в применении компонентов по термопакету (например, нельзя ставить самые топовые процессоры из-за перегрева).
    7. Проприетарные технологии. Купив у одного производителя оборудование – будешь покупать только у него.
    8. Повышенные требования к инженерной инфраструктуре (электропитание и охлаждение).
    Рассмотрим структуру Blade системы на примере решения от компании Dell. Это Dell PowerEdge M1000e. 


    Сервера-лезвия могут иметь от двух до четырёх процессоров. В зависимости от количества и типа процессоров в одно шасси можно установить от 8 до 32 лезвий-серверов. Каждое лезвие-сервер может иметь интерфейсы 1GbE, 10GbE, 8Gb/s FC, IB DSR, DDR, QDR, FDR. Базово имеются порты 1GbE.

    В зависимости от размера лезвий, количество устанавливаемых мезонинных модулей интерфейсов может быть один или два. Каждый из мезонинных модулей может иметь четыре порта 1GbE или два порта любых других интерфейсов.

    Для организации отказоустойчивой схемы в шасси коммутаторы устанавливаются парами. Возможно установить три пары коммутаторов. Каждая пара должна состоять из одинаковых коммутаторов. Соответственно, могут быть различные комбинации: 
    • Первая пара (A) 1GbE;
    • Вторая пара (B) 1GbE, 10GbE, 8Gb/s FC, IB (DSR, DDR, QDR, FDR);
    • Третья пара © 1GbE, 10GbE, 8Gb/s FC, IB (DSR, DDR, QDR, FDR).
    Так же для отказоустойчивости устанавливаются два модуля удалённого мониторинга и управления. Данные модули позволяют удалённо управлять любым лезвием. От включения, настройки BIOS’а, выбора источника загрузки, установки ОС как с внутреннего носителя, так и с локального носителя администратора до предоставления полноценного удалённого доступа к KVM.

    Одним из вариантов загрузки, является загрузка с SD карточки. Таких карточек в лезвии можно установить две и иметь возможность загружаться с любой. Так же возможно их объединить в зеркало.

    Единственным модулем, не имеющий резервирования, является модуль KVM. Но отказ этого модуля не отменяет возможности подключения и управления через сеть.

    При использовании лезвий M420 плотность серверов на 1U равна 3,2 сервера.


    TWIN-сервера
    Альтернативой по плотности существующим Blade-системам являются их младшие братья – TWIN. Данная технология была разработана в компании Intel и для продвижения на рынок передана компании Supermicro в 2006 году. Первые TWIN-сервера появились в 2007 году. Это был 1U’шный двухсерверный конструктив с одним блоком питания, где все коммутационные разъёмы были выведены на тыловую часть серверов.


    Данная компоновка за эти шесть лет получила признание, и линейка сильно расширилась. Сейчас доступны 1U, 2U и 4U TWIN-сервера с возможностью установки от 2-х до 8-ми двухсокетных серверов. У некоторых производителей появились варианты с размещением вместо двух двухсокетных серверов одного четырёхсокетного. Основные плюсы и минусы перечислю ниже.

    Плюсы TWIN-серверов:
    1. Всё расположено в одном корпусе-шасси.
    2. Наличие нескольких типов сетей в каждом сервере. Это могут быть:
      • Ethernet (100Mb/s, 1Gb/s, 10Gb/s)
      • InfiniBand (SDR, DDR, QDR, FDR)

  • Встроенные элементы охлаждения и электропитания в ряде моделей обладают элементами отказоустойчивости.
  • В ряде TWIN-серверов горячая замена всех сменных компонентов.
  • Использование стандартных PCI-e плат расширения.
  • Возможность организации встроенной дисковой системы хранения данных.
  • Плотность размещения в шкафу.
  • Цена ниже, чем Blade и RACK сервера.

    Минусы:
    1. Требуется наличие внешних сетевых коммутаторов.
    2. Невозможность отторжения сервера-лезвия как самостоятельной единицы.
    3. В ряде случаев ограничение в применении компонентов по термопакету (например, нельзя ставить самые топовые процессоры из-за перегрева).
    4. При полной забивке шкафа TWIN-серверами повышенные требования к инженерной инфраструктуре (электропитание и охлаждение).
    5. Плотность размещения серверов ниже, чем у блейдов.
    Как мы видим из плюсов-минусов, TWIN-сервера и блейд-сервера являются скорее не конкурентами, а органичным дополнением друг друга.

    Одними из ярких представителей TWIN-серверов являются серверы Dell С6000 серии. Они представляют собой 2U’шный конструктив с двумя БП и возможностью установить два, три или четыре модуля-сервера. В каждый сервер можно установить две или три платы расширения с интерфейсом PCI-e.


    Микросервера
    Наш рассказ будет не полным, если мы не расскажем о последних веяниях конструктивов серверов для ЦОД’ов. Речь пойдет о микросерверах. Это односокетные сервера с минимизацией размеров и электропотребления. Рассчитывать на серьёзные характеристики по производительности не стоит. Одним из представителей этого вида серверов является сервер компании Supermicro, представленный на рисунке.


    Как видно из рисунка, плотность данного решения равна уже 4 сервера на 1U. Возникновение данного класса серверов продиктовано невысокими требованиями к серверам для большинства приложений, используемых клиентами. Микросервера могут быть применимы в качестве альтернативы виртуализации. Когда какое-либо приложение не рекомендуется виртуализовывать по тем или иным причинам. Небольшие микросервера также подойдут для типовых невысоконагруженных офисных задач.

    Вывод 
    Я постарался не углубляться в детали каждого отдельно взятого производителя. Эти детали можно изучить непосредственно на сайтах этих производителей.

    Сделать однозначный вывод о том, какое из описанных выше решений подойдет наилучшим образом для конкретного заказчика, сложно. Так, например, плотность блейд-серверов гораздо выше, чем у TWIN-серверов, что позволяет разместить большее количество серверов на минимуме места. С другой стороны латентность модулей 10GbE для блейд-корзины может быть выше, чем латентность PCIe карточки 10GbE для TWIN-серверов. Или, пиковая производительность процессоров в высокоплотных Blade-серверах ниже, чем у процессоров в TWIN решениях. Но утверждать о преимуществах одного высокоплотного решения над другим можно только исходя из конкретной задачи. Готовы поделиться своим мнением с интересующимися, рассматривая их конкретные задачи.
  • Баяндин Е.А., директор по технической поддержке и сопровождению ООО «С 7 Трэвел Ритейл»

    «Для размещения наших сервисов мы рассмотрели множество поставщиков услуг, по итогу выбрали компанию ИТ-ГРАД. Для начала перенесли тестовую среду, сейчас размещаем и часть продуктива. За время сотрудничества компания ИТ-ГРАД продемонстрировала ответственный и компетентный подход к выполнению поставленных перед ними задач.»

    Все отзывы

    Меркуданов Н.А., зам. генерального директора ООО «Бизнес Решение»

    «На этапе выбора поставщика мы подвергли „ИТ-ГРАД“ всесторонней проверке как с технической, так и с организационной точки зрения. В процессе „ИТ-ГРАД“ показал себя с наилучшей стороны и остается нашим надежным партнером уже почти два года.»

    Все отзывы

    Отзыв руководителя информационно-аналитического управления РПЦ В.Кипшидзе

    «Выражаем искреннюю благодарность и признательность ООО „ИТ-ГРАД“ и лично генеральному директору Гачко Д.В. за поддержку, оказанную православному интернет-проекту Prihod.ru, надежному партнеру Русской Православной Церкви в области медиа- и интернет-технологий.»

    Все отзывы

    Отзыв заместителя начальника отдела автоматизации ООО «Мицар» Алексея Доманникова

    «Мы столкнулись с проблемой очистки почты от больших объемов вирусов и спама. ИТ-ГРАД обеспечил нас виртуальным сервером и необходимым количеством лицензий Spam Titan, соответствующим текущим потребностям компании.»

    Все отзывы

    Венедиктова Р.Э., генеральный директор ООО «Прометей»

    «На протяжении уже более двух лет данная компания предоставляет нам услуги по организации виртуальной инфраструктуры на базе технологии VMware. Наш бизнес - это телекоммуникационные услуги, биллинг которых является одной из важнейших бизнес-задач компании "Прометей". Благодаря техническим решениям "ИТ-ГРАД" биллинг наших услуг обеспечивается на высочайшем уровне.»

    Все отзывы

    Андрей Охрименко, ит-директор интернет-магазина «Boutique.ru»

    «На данный момент мы отказались от 30 рабочих станций и перевели клиентов на виртуальные десктопы на основе решения VMware View, развернутые в публичном облаке «IT-GRAD». Инфраструктура рабочих станций приведена к стандартному виду, что облегчает её поддержку, уменьшает время реакции на инциденты и облегчает процесс ввода/вывода новых рабочих мест для сотрудников.»

    Все отзывы

    Генеральный директор ООО «Комплект»

    «На протяжении длительного времени наша компания сотрудничает с «ИТ-ГРАД». Мы пользуемся такими услугами, как организация рабочего места, телефония OCS, аренда 1С и хостинг почтового сервера. Благодаря работе специалистов этой компании, все наши сотрудники приносят значительный вклад в развитие бизнеса».

    Все отзывы

    Иващенко Елена Валентиновна, заместитель генерального директора ООО «Мосрегионвент»

    «На протяжении 2 лет мы успешно сотрудничаем с компанией ИТ-ГРАД. Мы арендуем конфигурации 1С: Бухгалтерия 8.2 и 1С: Управление торговлей 8.2. Данные конфигурации были доработаны техническими специалистами ИТ-ГРАД в соответствии с нашими пожеланиями, за что выражаем им отдельную благодарность.»

    Все отзывы

    Карпухин Вячеслав, директор по информационным технологиям ООО «АРМАКС Групп»

    «На основе выделенной инфраструктуры было организовано 2 виртуальных сервера: терминальный сервер+сервер 1С и сервер БД. Данный подход к организации ИТ позволил нам обеспечить качественную инфраструктуру для бухгалтеров и избежать капитальных затрат.»

    Все отзывы

    Шевченко Марина Сергеевна, директор ООО «Поверенный» (Бухгалтерский аутсорсинг)

    «В «облачном» сервисе от «ИТ-ГРАД» привлекает защищенность данных. Можно быть уверенными в том, что будет использовано только лицензионное программное обеспечение и защищенное пространство.»

    Все отзывы

    Борис Грейдингер, директор по ИТ Компании ESET

    «Мы остались довольны качеством услуг, предоставленных компанией «ИТ-ГРАД». Можем отметить качество технической поддержки и готовность оперативно предоставить все необходимые консультации. Готовы рекомендовать аренду виртуальных машин «ИТ-ГРАД» как гибкое решение, позволяющее избежать значительных затрат на построение собственной инфраструктуры.»

    Все отзывы

    Павел Власов, директор «Информационные сервисы ЖКХ»

    «За время работы с командой «ИТ-ГРАД» выделены следующие преимущества используемых услуг: доступность, цена, гибкость и мощность самой платформы VMware. Удобно делать обновления наших систем, предварительно либо делая полный backup виртуальной машины, либо snapshot с возможность очень быстрого отката...

    Все отзывы

    Delivery Club: как облако IaaS помогает в организации сервиса по доставке еды

    Читать полностью

    PickPoint – первая в России сеть постаматов: 5 лет в облаке IaaS

    PickPoint: – первая в России сеть постаматов: 5 лет в облаке IaaS

    Читать полностью

    IaaS в ритейле: опыт сети магазинов Hamleys

    IaaS в ритейле: опыт сети магазинов Hamleys

    Читать полностью

    FitnessBar.ru: IaaS для крупнейшей сети магазинов спортивного питания и аксессуаров

    Читать полностью

    Первый БИТ: использование IaaS облачным провайдером для предоставления SaaS-сервиса

    Читать полностью

    ЦРТ: «Речевые технологии» из облака IaaS-провайдера

    Читать полностью

    Prihod.ru: опыт использования облака IaaS крупнейшим православным интернет-проектом в России

    Читать полностью

    ×Ваша заявка принята!
    Ссылка на скачивание книги придет Вам на электронную почту.
    ×Ваше сообщение успешно отправлено.
    Спасибо за регистрацию!

    Test

    Order

    ×
    ×Your message was successfully sent.
    Thank you for registration!

    Тестировать

    Заказать

    ×

    тестировать

    заказать

    ×

    тестировать

    заказать

    ×

    тестировать

    заказать

    ×

    тестировать

    заказать

    ×

    тестировать

    заказать

    ×

    тестировать

    заказать

    ×

    тестировать

    заказать

    ×