Выбираем blade Supermicro. Часть 1.

Blade-серверы - тема очень запутанная, в первую очередь благодаря большой матрице различных компонентов. Постараемся немного навести порядок - рассмотрим все актуальные на сегодняшний день blade-шасси, серверы, систему интерконнектов и , возможно, вопросы питания/охлаждения.
Речь пойдет о blade-серверах Supermicro. Конечно, существуют еще любимые многими за сервис, хорошую документацию и продуманную конструкцию изделия tier-1 брендов (в первую очередь, Hewlett-Packard и IBM), но это совсем другая категория, в 3-5 раз дороже, в зависимости от конфигурации.

Выбираем blade Supermicro. Часть 2: шасси
Выбираем blade Supermicro. Часть 3: блейды под шасси 710/720 и 714
Выбираем blade Supermicro. Часть 4: interconnects
Часть 5: Blade серверы Supermicro '2013

Что такое blade-серверы и зачем они нужны?

Все просто: это компактная система, где питание и охлаждение являются общими для всех серверов, размещенных в специальном шасси. Различные сетевые и storage интерфейсы (например, Ethernet, InfiniBand, FC) с каждого blade-сервера выводятся через промежуточную плату на так называемые интерконнект-модули (не знаю, как это адекватно перевести на русский): коммутаторы и passthrough-модули. В каждом сервере размещен BMC-контроллер, который обеспечивает управление через KVM-over-LAN, впрочем, через специальный кабель можно подключить к большинству современных блейдов обычную консоль. Мониторинг здоровья самого шасси (статус блоков питания, вентиляторов, модулей) обеспечивает специальный модуль (он может быть задублирован), у Supermicro это CMM (Chassis Management Module), к которому через встроенный свитч подключены IPMI порты всех blade-серверов, установленных в шасси.

Плюсы очевидны:

• Экономия места в стойке. Например, шасси HP c7000 - это 16 блейдов половинной высоты в шасси высотой 10U, т.е. в расчете на каждый сервер приходится 0.625U, а при установке двойных BL2x220c - еще в два раза меньше. Для Supermicro плотность размещения мы рассмотрим ниже. Дополнительность стоит учесть и размещение коммутаторов в самом шасси.
• Экономия на кабелях. Имеется ввиду не стоимость (даже для InfiniBand стоимость кабелей теряется на фоне остального оборудования), а на сложности укладки кабельного хозяйства. Пример: 10 "двойных" серверных модулей TwinBlade - это двадцать серверов минимум с тремя Ethernet-портами (один IPMI, два гигабитных), т.е. 60 портов. В обычных серверах это приводит к большим пучкам патч-кордов, которые нужно как-нибудь аккуратно уложить и промаркировать. В blade-шасси все это выводится сразу на соотстветствующий интерконнект модуль, а IPMI-порты - на модуль управления, что при использовании двух свитчей SBM-GEM-X2C дает нам 6 аплинков по 10Гбит.
  
• Консолидация питания и охлаждения. Несколько десятков обычных серверов - это по 1-2 блока питания на каждый и еще более многочисленные вентиляторы системы охлаждения. Блоки питания разных серверов могут быть несовместимы между собой (хотя, например, HP сделал серьезный шаг в направлении решения этой проблемы - Common Slot Power Supply, универсальный форм-фактор БП для большинства ProLiant серверов), с вентиляторами еще сложнее - не все вентиляторы можно поменять легко и быстро, зачастую нужно выдвинуть сервер из стойки и снять крышку (и вспомнить, какой именно вентилятор вы хотели поменять - мониторинг бывает далеко не всегда информативным).
  В blade-шасси Supermicro питание совмещено с охлаждением, в шасси устанавливается два или четыре блока питания, в каждом - по два вентилятора. В варианте с четырьмя БП обеспецивается резервирование по схеме 3+1. То есть достаточно будет держать в запасе 1-2 БП на каждые 20-30 серверов.
  

Обратная сторона компактности:

• Тепловыделение. Проблема связана с высокой плотностью размещения серверов, т.е. как правило, в шкафу будет в 1,5-2 раза больше серверов по сравнению с обычным форм-фактором и начиная с 3-4 шасси для отвода тепла нужен серьезный подход к выбору системы отвода тепла.
• Расширяемость. В blade-серверах Supermicro на борту есть только два гигабитных порта. Дополнительные платы расширения имеют специальный компактный форм-фактор (т.н. mezzanine, как и у других производителей блейдов). Все blade-серверы Supermicro имеют максимум 1 mezzanine слот (в TwinBlade - два, т.к. это два сервера в одном), куда можно установить 1- или 2-портовый контроллер DDR/QDR InfiniBand (на чипе Mellanox ConnectX) или 2-портовый 10GbE контроллер (на чипе Intel 82599). FibreChannel контроллеров и модульных свитчей у Supermicro не и вроде как не планируется, так что добраться до FC инфраструктуры можно через FCoE или мост IB->FC. Есть блейды с возможность установки PCI-E платы полной высоты, но половинной длины, но это, как правило, совершенно не удобно - порты платы оказываюся на передней панели сервера.
  Если вам в блейдах нужен FC, внешний SAS, дополнительные Ethernet-порты, и вообще, установка большего числа mezzanine-плат в каждый сервер, то следует обратить внимание на Hewlett-Packard (при этом растянув в несколько раз бюджет).
  

Цена? В зависимости от конфигурации стоимость инфраструктуры на основе blade-серверов может быть как ниже, так и выше аналога на 1-2U серверах. На графике - примерная розничная стоимость 1-10 серверов с 2x Intel Xeon E5620 и 12ГБ памяти: 2U Twin² (2026TT-HTRF), 2U Twin (6026TT-HDTRF), Blade-серверы (шасси 710Q-R75 + модуль GEM-002, серверы 7126T-T1E), традиционные 1U серверы (6016T-URF). Как видите, не все так однозначно: по цене лидируют 4-в-1 Twin платформы, а не блейды. Но итоговая стоимость владения за счет удобства обслуживания будет ниже у блейдов.
Часть 2: шасси