7 июн. 2013 г.

Blade серверы Supermicro '2013

В 2011-м году в нашем блоге появились подробные обзоры портфолио blade-серверов от Supermicro:
Выбираем blade Supermicro. Часть 1
Выбираем blade Supermicro. Часть 2: шасси
Выбираем blade Supermicro. Часть 3: блейды под шасси 710/720 и 714
Выбираем blade Supermicro. Часть 4: interconnects
Изменения за два года: добавился свитч с поддержкой FCoE, FDR свитчи и контроллеры, обновилась линейка серверов под процессоры Intel, пара новых шасси.
Как и прежде, начнем с вопроса о ценах. Дело в том, что, как и прежде, применение blade-серверов не приводит к прямой экономии на стоимости оборудования. Blade - это, прежде всего, способ снизить стоимость владения - сэкономить на обслуживании, избавившись от паутины огромного количества кабелей (аккуратный и удобный кабель-менеджмент - это особое искусство). Двадцать обычных 1U серверов с двумя блоками питания и пятью сетевыми интерфейсами (например, 2xGbE, 1xGbE под IPMI, 2x10GbE) - это 40 силовых кабелей и 100 сетевых кабелей. При использовании серверов TwinBlade (два двухпроцессорных модуля в каждом сервере) получается всего 4 кабеля питания и 4-6 сетевых кабелей для подключения аплинков со свитчей.

Вот график со свежей информацией по ценам:
Учитывалась стоимость разного количества серверов в одинаковой конфигурации (два процессора Intel Xeon E5-2620, 8x8ГБ памяти DDR3 ECC Registered, два nearline SATA диска 500ГБ). Стоимость Ethernet-коммутаторов и дополнительных интерконнектов не учитывалась. В качестве одиночных серверов оценивались платформы 6017R-WRF, 2U Twin2 - 2027TR-HTRF, FatTwin (8 узлов в 4U) - F617R2-RT+, blade-серверы - 7127R-SH и 7227R-T2 в шасси 720E-R90. Как и два года назад по чистой стоимости оборудования даже при полном заполнении blade шасси с небольшим отрывом лидируют модульные платформы 2U Twin2 (4 2-процессорных узла в корпусе 2U). Blade-серверы вырываются вперед только при добавлении быстрых интерконнектов, например двух портов 10GbE за счет более низких цен на свитчи, контроллеры и небольшой экономии на кабелях и трансиверах:
В вопросу экономии питания в blade-серверах (за счет консолидации питания и охлаждения) следует подходить осторожно, так как при высокой плотности размещения (несколько шасси TwinBlade или GPU-blade) тепловыделение может превысить 30-40кВт на стойку, отвод такого количества тепла потребует дополнительных затрат электроэнергии и денежных средств - нужны будут специализированные системы кондиционирования с закрытой архитектурой циркуляции воздуха.

Шасси

Как и прежде, у Supermicro есть три основных линейки шасси:
  • 710 - для серверов 10-blade
  • 720 - позволяет устанавливать "двойные" серверы TwinBlade (два 2-процессорных сервера в общем корпусе), 4-процессорные серверы и обычные серверы 10-blade.
  • 714 - шасси для тонких серверов 14-blade. В прошлом году появилось шасси SBE-714Q с поддержкой 10GbE и InfiniBand свитчей.
Каждая линейка шасси имеет дополнительные модификации, в зависимости от количества поддерживаемых интерконнектов (например, бюджетный вариант SBE-720D не поддерживает 10GbE и InfiniBand) и количества/мощности блоков питания. Вся информация по совместимости серверов, интерконнектов и шасси приведена в таблице SuperBlade Matrix на сайте Supermicro..
Слева размещаются GbE свитчи или pass-through модули, внутренние порты приходят на штатные набортные 2-портовые GbE контроллеры. Справа - пара модулей для быстрых интерконнектов (10GbE и различные варианты InfiniBand), внутренние порты этих модулей через ведут к портам соответствующих плат расширения на блейдах. При установке двух модулей справа не остается места для модуля управления (CMM). В этом случае используется специальный CMM (mini-CMM, он же CMM-002), устанавливаемый внутрь верхнего сетевого модуля.

Текущая линейка blade серверов

SBI-7127R-S6
Т.н. storage blade. Ключевая особенность - шесть отсеков для установки 2,5" дисков и аппаратный SAS RAID контроллер на базе LSI 2208.
Спецификации SBI-7127R-S6.
Для этого и других серверов под процессоры Intel Xeon E5-2600 Supermicro обещает реализовать поддержку будущих процессоров Xeon E5-2600v2 (Ivy Bridge-EP). SBI-7127R-SH
Expansion blade с FH/HL слотом PCI-E 3.0 16x для установки обычных плат расширения.
Спецификации SBI-7127R-SH.
SBI-7127RG-E
Это новый blade, которого пока что нет на сайте Supermicro. (Обновление от 18.06.2013: уже появился) Является модификацией GPU blade 7127RG - добавлена поддержка современных GPU (1 или 2шт):
  • Nvidia Tesla Kepler K10, K20, K20X
  • Nvidia GRID K1 and K2
  • Intel Xeon Phi
Хорошо подходит VDI (так как теперь есть виртуализация GPU) и для HPC проектов с использованием вычислений на GPU.
SBI-7227R-T2
TwinBlade - 2-в-1, две платы в общем корпусе, по два Intel Xeon E5-2600 на каждой. Именно благодаря твинам Supermicro удается удерживать первое место по плотности размещения - 20 серверов + 4 свитча в 7U. Обратите внимание на раздел SuperBlade Thermal Matrix на странице SuperBlade Matrix. Максимальный TDP при установке двух процессоров в TwinBlade - 115Вт, а топовые процессоры с TDP 130-135Вт (E5-2680 и E5-2690) можно ставить лишь по одиночке и при температуре окружающего воздуха не более 30 градусов.
Спецификации SBI-7227R-T2.
P.S. В документации к SBI-7227R-T2 не указано наличие разъемов USB A - они присутствуют, можно использовать, например, для подключения USB-флешки с ESXi.
SBA-7222G-T2 и SBA-7142G-T4
Выглядят практически одинаково. Первый - это TwinBlade для процессоров AMD 6000 серии (последние 6300 "Abu Dhabi" поддерживаются), второй - 4-процессорный blade. С этими серверами можно получать красивые цифры плотности размещения, например 640 ядер на 7U шасси и 3840 ядер на стойку.
Спецификации SBA-7222G-T2.
Спецификации SBA-7142G-T4.
SBI-7427R-S3 и SBI-7427R-T3
Блейды под процессоры Intel Xeon E5-2600 для 714-х шасси, три отсека для 2,5" дисков. Различие - в SAS RAID контроллере LSI 2208 в первой модели.
Спецификации SBI-7427R-S3.
Спецификации SBI-7427R-T3.

SBI-7427R-SH и SBI-7427R-S2L
Блейды expansion blade под процессоры Intel Xeon E5-2600 для 714-х шасси. В первом случае мы имеем два отсека для 2,5" дисков и возможность установить низкопровильную (MD2) плату в слот PCI-E 3.0 x16. В SBI-7427R-S2L отсек для диска только один, но есть место для плат полной высоты.
Спецификации SBI-7427R-SH.
Спецификации SBI-7427R-S2L.
P.S. Будьте внимательны при выборе модулей памяти для 14-blade серверов - память нужна низкопрофильная (VLP). Но лучшее решение - переложить работу по выбору конфигурации всего проекта с blade-серверами Supermicro и последующему обслуживанию на специалистов компании True System.




Новые коммутаторы

Про SBM-XEM-F8X4SM, свитч 10GbE с поддержкой FCoE уже был соответствующий анонс. Остается лишь добавить, что он давно запущен в производство, и в ближайшее время в нашем блоге ожидается несколько практических статей на тему FCoE.
Обновились коммутаторы и контроллеры InfiniBand - появилась поддержка FDR (fourteen data rate) IB. Новый свитч SBM-IBS-F3616M имеет интересную особенность: все downlink'и (внутренние порты) работают на скорости 40Гбит/с, а 16 внешних портов - 56Гбит/с. Кто-то может заметить, что 40Гбит/с - это QDR IB и, соответсвенно, никакого роста пропускной способности IB между blade-серверами не произошло. Во-вторых, возникает вопрос: что мешало Supermicro реализовать 56Гбит/с на внутренних портах?
Стоит начать с того, что эффективная пропускная способность 4x QDR IB составляет не 40, а 32Гбит/с, так как канальный уровень для защиты от ошибок использует кодирование 8b/10b. Далее - на FDR IB есть два стандарта: FDR-10 с эффективной пропускной способностью в 41,25Гбит/с и FDR - 54,54Гбит/с, оба используют кодирование 64b/66b. Для реализации полноскоростного FDR на внутренних портах инженерам Supermicro банально не хватило количества линий на мидплейне шасси, но мы все же получили примерно 20% прирост пропускной способности.