Высокопроизводительные вычисления (HPC)

Высокопроизводительные вычисления все больше завоёвывают мир. Они оптимизируются под задачи, видоизменяются и становятся своим неповторимым миром. Мы рассмотрим несколько решений, принадлежащих этому миру.

Основное применение суперкомпьютеров - в расчетах математических моделей различных конструкций, явлений, процессов и т.п. Определение необходимости проведения таких расчетов не наша прерогатива. Зато мы можем помочь в определении архитектуры и состава необходимого суперкомпьютера для ваших целей.

Решения могут быть как для простых инженерных расчетов, так и для фундаментальных научных исследований с использованием сеток размерностью в сотни миллионов ячеек. Наши решения проверены в работе в университетах, предприятиях и ведущих отраслевых и академических научных институтах.

Решения на базе высокопроизводительных SMP систем семейства x86/x64

Базовым решением является сервер с количеством процеcсорных ядер от 64 штук и объёмом оперативной памяти от 128 GB. Сетевые интерфейсы могут быть предложены разные: 1 Gigabit Ethernet, 10 Gigabit Ethernet, Infiniband QDR или FDR. Базовым является интерфейс 10 Gigabit Ethernet в следствии своей универсальности и пропускной способности. Такие решения крайне востребованы при расчётах больших моделей в фундаментальных исследованиях.

Решения на базе кластеров, вычислительные узлы которых общаются между собой посредством MPI

Данное решение является общеупотребимым. Но даже стандартные решения периодически не показывают ожидаемые результаты. Происходит это исключительно вследствие не понимания исполнителями требований решаемых задач и не эффективной оптимизации суперкомпьютера под эти задачи.

Конфигурации вычислительных узлов варьируются от двух сокетных до восьми сокетных, построенных на базе процессоров семейства x86/x64 Intel Xeon или AMD Opteron. Размер оперативной памяти от 1 GB до 16 GB на одно физическое ядро. Интерконнект базово предлагается Infiniband, но для определённого класса задач использование 10 Gigabit Ethernet дает более высокую эффективность.

Масштабирование этого решения позволяет создавать суперкомпьютеры с пиковой производительностью до нескольких PFlops.

Ускорители

Для увеличения производительности вычислительных узлов применяются различного рода ускорители. Существует несколько типов ускорителей. Основными являются ускорители на базе потоковых процессоров и на базе перепрограммируемых логических вентилях.

Типичным представителем потоковых ускорителей являются AMD FireStream, nVidia Fermi, Intel Xeon Phi. Выполнены данные ускорители обычно в виде платы расширения с интерфейсом PCI-e. Производительность указанных выше ускорителей на сегодняшний день составляет около 1 TFlops на операциях с двойной точностью.

Сети

Любой суперкомпьютер имеет несколько сетей. Маленький может обойтись и двумя-тремя. Большие обычно используют до три-пять сетей. Наиболее используемые сети - Infiniband и Ethernet. Так же для определённых суперкомпьютеров применяются специализированные сети с организацией 2D-тор, 3D-тор, … nD-тор. Все перечисленные сети обладают полной пропускной способностью при любых нагрузках и имеют минимальные значения задержки при передаче данных.

СХД

Любой суперкомпьютер обладает своей собственной СХД. Редко когда одна большая СХД обслуживает несколько суперкомпьютеров. Но такое то же возможно. Отличительной особенностью СХД для суперкомпьютеров является высокая производительность ввода-вывода, низкая задержка, возможность предоставлять параллельный доступ к одному файлу большому количеству узлов (в больших суперкомпьютерах до десятков тысяч узлов), надёжность, отказоустойчивость и т.д.

Бывает, что для небольших суперкомпьютеров достаточно и обыкновенной СХД без параллельной файловой системы. Поэтому выбор любой СХД основывается, прежде всего, от потребностей стоящей задачи.

СХД с параллельной файловой системой

В 2010 году был принят стандарт широко распространённого протокола NFS – NFS v.4.1. Отличительной особенностью данной версии от предыдущих является глава, посвящённая параллельному доступу и описывает pNFS. В этой главе описаны три способа доступа к данным – файловый, блочный и объектный. На данный момент доступна только одна реализация – файловая. Блочная ожидается в следующем году. А объектная - не ранее 2014 года.

Но это не ограничивает возможность применения закрытых технологий. Так широко известны следующие файловые системы: GPFS, Lustre, OneFS, PanFS, StorNext, ExaData. Каждая такая файловая система обладает уникальными возможностями и бывает незаменима для определенного круга задач. Например, для медийной обработки наиболее подходят ExaData и StorNext. Для работы с суперкомпьютерами GPFS, Lustre и PanFS. Однако стоит отметить, что PanFS работает только на СХД компании Panasas и поэтому использовать её можно только в связке с указанным оборудованием.

Другим отличительным критерием может быть место расположения файловой системы. OneFS и PanFS установлены в самих СХД. GPFS, Lustre, StorNext, ExaData устанавливаются на выделенные сервера. Предлагаем обратить внимание на следующие параллельные файловые системы:

NFS v.4.1

Network File System (NFS) — протокол сетевого доступа к файловым системам. NFS абстрагирована от типов файловых систем как сервера, так и клиента, существует множество реализаций NFS-серверов и клиентов для различных операционных систем и аппаратных архитектур. Составной частью NFS v.4.1. является pNFS — Parallel NFS, механизм параллельного доступа NFS-клиента к данным множества распределенных NFS-серверов. Наличие такого механизма в стандарте сетевой файловой системы поможет строить распределённые «облачные» («cloud») хранилища и информационные системы.

GPFS

Параллельная файловая система GPFS разработана и развивается компанией IBM. IBM General Parallel File System (GPFS) - это высокопроизводительная файловая система с коллективным доступом к дискам, обеспечивающая быстрый доступ ко всем узлам гомогенного или гетерогенного кластера серверов IBM UNIX под управлением операционной системы AIX 5L или Linux.

Lustre

Lustre — это распределенная файловая система массового параллелизма, используемая обычно для крупномасштабных кластерных вычислений. Название Lustre является контаминацией, образованной словами Linux и cluster. Реализованный под лицензией GNU GPL, проект предоставляет высокопроизводительную файловую систему для кластеров с десятками тысяч узлов сети и петабайтными хранилищами информации.

Архитектура СХД с параллельной файловой системой

Базовым решением является наличие систем хранения данных с блочным доступом и подключенных к ним группы серверов, на которых исполняется код параллельной файловой системы. Эта группа в свою очередь делится на файловые сервера и сервера метаданных. Файловые сервера непосредственно размещают данные на доступное им дисковое пространство и обеспечивают быстрый доступ к ним. В то же время серверам, которые потребляют эти данные, неизвестно у какого файлового сервера эти данные брать. Поэтому первичный запрос идёт серверу метаданных и он уже указывает с какого файлового сервера какую часть запрашиваемого файла надо будет взять.

Другим решением является решение компании NetApp. DataONTAP Cluster Mode функционирует на каждом контроллере СХД и образует из этих контроллеров единую одноранговую равноправную систему хранения данных. Запрос, пришедший к любому контроллеру, обрабатывается этим контроллером и он запрашивает недостающие данные у своих соседей. Таким образом, нет необходимости устанавливать выделенные сервера метаданных.

Проект Apache™ Hadoop® развивается с открытым исходным кодом для надежных, масштабируемых, распределенных вычислений.

Библиотека программного обеспечения Apache Hadoop является основой, которая реализует распределенную обработку больших наборов данных через кластеры компьютеров с использованием простой модели программирования. Она предназначена для масштабирования от одного сервера до тысячи, где каждый сервер выступает в роли локального вычислителя и одновременно системы хранения.

В проекте Hadoop применяется вычислительная парадигма MapReduce. Hadoop MapReduce — база для программирования и выполнения распределенных вычислений в рамках парадигмы MapReduce, а также набор Java-классов и исполняемых утилит для создания пакетных заданий на MapReduce-обработку. В совокупности они дополняют друг друга.

Разработчику приложения для Hadoop MapReduce необходимо реализовать базовый обработчик, который на каждом вычислительном узле кластера обеспечит преобразование исходных пар «ключ-значение» в промежуточный набор пар «ключ-значений» (класс, реализующий интерфейс Mapper, назван по функции высшего порядка Map), и обработчик, сводящий промежуточный набор пар в окончательный, сокращённый набор (свёртку, класс, реализующий интерфейс Reducer). Каркас передает на вход свёртки отсортированные выводы от базовых обработчиков, сведе́ние состоит из трех фаз — shuffle (тасовка, выделение нужной секции вывода), sort (сортировка, группировка по ключам выводов от распределителей — досортировка, требующаяся в случае, когда разные атомарные обработчики возвращают наборы с одинаковыми ключами, при этом, правила сортировки на этой фазе могут быть заданы программно и использовать какие-либо особенности внутренней структуры ключей) и собственно reduce (усечение) — получения результирующего набора. Для некоторых видов обработки свёртка не требуется, и Hadoop MapReduce возвращает в этом случае набор отсортированных пар, полученных базовыми обработчиками.

Но как показала практика, не для всех таких задач эффективен Hadoop в его первоначальном виде. Более гибкой и эффективной оказалась архитектура, где дисковые квоты находятся на высокопроизводительном отказоустойчивом дисковом хранилище и вычислительные узлы подключены уже непосредственно к СХД. Таким образом, мы получаем универсальную и гибкую структуру, в которой каждый законченный логический компонент архитектуры независим от других. Опыт её внедрения показал эффективность использования такого решения.

NetApp® E-series – высокопроизводительные системы хранения данных, отвечающие высоким корпоративным требованиям производительности и объема хранения без ущерба с точки зрения простоты и эффективности. Отвечающие множеству разных требований сбалансированные системы разработаны таким образом, что одинаково хорошо поддерживают высокопроизводительные файловые системы, требующие высокой пропускной способности приложения и рабочие нагрузки при выполнении множества операций. Возможность использовать в системах E-series разные дисковые полки позволяет создавать специальные конфигурации, адаптируемые для любой среды.

DataONTAP – это операционная система систем хранения данных NetApp. Он имеет несколько разновидностей: DataONTAP Seven Mode, DataONTAP Cluster Mode, DataONTAP Seven Mode V-series.

Наиболее востребованным для суперкомпьютеров является DataONTAP Cluster Mode. Прародителем DataONTAP Cluster Mode была обособленная ветка DataONTAP GX (последняя версия 10). Но начиная с версии 8, DataONTAP имеет единую нумерацию версий и единый базовый код с Seven Mode и V-series.

Помимо предоставления возможностей параллельного доступа к данным, DataONTAP Cluster Mode позволяет объединять несколько СХД компании NetApp, в т. ч. разных комплектаций и моделей, в единую СХД с единой системой управления и едиными агрегатами, расположенными одновременно на дисках всех контроллеров. Таким образом достигается возможность увеличения производительности всех частей единой системы хранения данных. Параллельный доступ обеспечивается по протоколу NFS v.4.1. Так же поддерживаются протоколы CIFS, iSCSI, FibreChanel.

В планах компании NetApp в самое ближайшее время слить две ветки Seven Mode и Cluster Mode в единую с поддержкой возможностей их обеих.

Lustre — это распределенная файловая система массового параллелизма, используемая обычно для крупномасштабных кластерных вычислений. Название Lustre является контаминацией, образованной словами Linux и cluster. Реализованный под лицензией GNU GPL, проект предоставляет высокопроизводительную файловую систему для кластеров с десятками тысяч узлов сети и петабайтными хранилищами информации.

Баяндин Е.А., директор по технической поддержке и сопровождению ООО «С 7 Трэвел Ритейл»

«Для размещения наших сервисов мы рассмотрели множество поставщиков услуг, по итогу выбрали компанию ИТ-ГРАД. Для начала перенесли тестовую среду, сейчас размещаем и часть продуктива. За время сотрудничества компания ИТ-ГРАД продемонстрировала ответственный и компетентный подход к выполнению поставленных перед ними задач.»

Все отзывы

Меркуданов Н.А., зам. генерального директора ООО «Бизнес Решение»

«На этапе выбора поставщика мы подвергли „ИТ-ГРАД“ всесторонней проверке как с технической, так и с организационной точки зрения. В процессе „ИТ-ГРАД“ показал себя с наилучшей стороны и остается нашим надежным партнером уже почти два года.»

Все отзывы

Отзыв руководителя информационно-аналитического управления РПЦ В.Кипшидзе

«Выражаем искреннюю благодарность и признательность ООО „ИТ-ГРАД“ и лично генеральному директору Гачко Д.В. за поддержку, оказанную православному интернет-проекту Prihod.ru, надежному партнеру Русской Православной Церкви в области медиа- и интернет-технологий.»

Все отзывы

Отзыв заместителя начальника отдела автоматизации ООО «Мицар» Алексея Доманникова

«Мы столкнулись с проблемой очистки почты от больших объемов вирусов и спама. ИТ-ГРАД обеспечил нас виртуальным сервером и необходимым количеством лицензий Spam Titan, соответствующим текущим потребностям компании.»

Все отзывы

Венедиктова Р.Э., генеральный директор ООО «Прометей»

«На протяжении уже более двух лет данная компания предоставляет нам услуги по организации виртуальной инфраструктуры на базе технологии VMware. Наш бизнес - это телекоммуникационные услуги, биллинг которых является одной из важнейших бизнес-задач компании "Прометей". Благодаря техническим решениям "ИТ-ГРАД" биллинг наших услуг обеспечивается на высочайшем уровне.»

Все отзывы

Андрей Охрименко, ит-директор интернет-магазина «Boutique.ru»

«На данный момент мы отказались от 30 рабочих станций и перевели клиентов на виртуальные десктопы на основе решения VMware View, развернутые в публичном облаке «IT-GRAD». Инфраструктура рабочих станций приведена к стандартному виду, что облегчает её поддержку, уменьшает время реакции на инциденты и облегчает процесс ввода/вывода новых рабочих мест для сотрудников.»

Все отзывы

Гениральный директор ООО «Комплект»

«На протяжении длительного времени наша компания сотрудничает с «ИТ-ГРАД». Мы пользуемся такими услугами как организация рабочего места, телефония OCS, аренда 1С и хостинг почтового сервера. Благодаря работе специалистов этой компании все наши сотрудники приносят значительный вклад в развитие бизнеса.»

Все отзывы

Иващенко Елена Валентиновна, заместитель генерального директора ООО «Мосрегионвент»

«На протяжении 2 лет мы успешно сотрудничаем с компанией ИТ-ГРАД. Мы арендуем конфигурации 1С: Бухгалтерия 8.2 и 1С: Управление торговлей 8.2. Данные конфигурации были доработаны техническими специалистами ИТ-ГРАД в соответствии с нашими пожеланиями, за что выражаем им отдельную благодарность.»

Все отзывы

Карпухин Вячеслав, директор по информационным технологиям ООО «АРМАКС Групп»

«На основе выделенной инфраструктуры было организовано 2 виртуальных сервера: терминальный сервер+сервер 1С и сервер БД. Данный подход к организации ИТ позволил нам обеспечить качественную инфраструктуру для бухгалтеров и избежать капитальных затрат.»

Все отзывы

Шевченко Марина Сергеевна, директор ООО «Поверенный» (Бухгалтерский аутсорсинг)

«В «облачном» сервисе от «ИТ-ГРАД» привлекает защищенность данных. Можно быть уверенными в том, что будет использовано только лицензионное программное обеспечение и защищенное пространство.»

Все отзывы

Борис Грейдингер, директор по ИТ Компании ESET

«Мы остались довольны качеством услуг, предоставленных компанией «ИТ-ГРАД». Можем отметить качество технической поддержки и готовность оперативно предоставить все необходимые консультации. Готовы рекомендовать аренду виртуальных машин «ИТ-ГРАД» как гибкое решение, позволяющее избежать значительных затрат на построение собственной инфраструктуры.»

Все отзывы

Павел Власов, директор «Информационные сервисы ЖКХ»

«За время работы с командой «ИТ-ГРАД» выделены следующие преимущества используемых услуг: доступность, цена, гибкость и мощность самой платформы VMware. Удобно делать обновления наших систем, предварительно либо делая полный backup виртуальной машины, либо snapshot с возможность очень быстрого отката...

Все отзывы

Delivery Club: как облако IaaS помогает в организации сервиса по доставке еды

Читать полностью

PickPoint – первая в России сеть постаматов: 5 лет в облаке IaaS

PickPoint: – первая в России сеть постаматов: 5 лет в облаке IaaS

Читать полностью

IaaS в ритейле: опыт сети магазинов Hamleys

IaaS в ритейле: опыт сети магазинов Hamleys

Читать полностью

FitnessBar.ru: IaaS для крупнейшей сети магазинов спортивного питания и аксессуаров

Читать полностью

Первый БИТ: использование IaaS облачным провайдером для предоставления SaaS-сервиса

Читать полностью

ЦРТ: «Речевые технологии» из облака IaaS-провайдера

Читать полностью

Prihod.ru: опыт использования облака IaaS крупнейшим православным интернет-проектом в России

Читать полностью

Юлмарт
ООО "Воздушные ворота северной столицы"
Альфа Капитал
Avito
Первый Бит
АБК
Наши клиенты
×Ваша заявка принята!
Ссылка на скачивание книги придет Вам на электронную почту.
×Ваше сообщение успешно отправлено.
Спасибо за регистрацию!

Test

Order

×
×Your message was successfully sent.
Thank you for registration!

Тестировать

Заказать

×

тестировать

заказать

×

тестировать

заказать

×

тестировать

заказать

×

тестировать

заказать

×

тестировать

заказать

×

тестировать

заказать

×