Выбираем blade Supermicro. Часть 4: interconnects

В предыдущих сериях:
Выбираем blade Supermicro. Часть 1
Выбираем blade Supermicro. Часть 2: шасси
Выбираем blade Supermicro. Часть 3: блейды под шасси 710/720 и 714
Часть 5: Blade серверы Supermicro '2013
Сегодня: заключительная часть подробного обзора линейки блейд-серверов от Supermicro. Данный пост не претендует на пересказ оригинальной документации Supermicro, это лишь относительно подробный обзор с упоминанием наиболее важных особенностей, которые необходимы при выборе компонентов блейд-инфраструктуры Supermicro.

Рассмотрим все модули управления, сетевые модули (как свитчи, так и pass-through, в том числе еще не анонсированные) и варианты их совместной установки.

Обзор возможностей

Максимум, что можно установить в blade-шасси Supermicro:

• Пару модулей управления (CMM, Chassis Management Module). Данный модуль отвечает за мониторинг состояния блоков питания, вентиляторов и всех остальных модулей, также на него через встроенный свитч подключены порты IPMI всех блейд-серверов. Резервировать CMM крайне желательно - при его выходе из строя мы теряем прежде всего возможность подключения к IPMI-портам серверов, но остается возможность подключения аппаратной консоли к каждому блейду индивидуально.
• Два свитча или pass-through модуля Gigabit Ethernet. На всех блейдах Supermicro есть два интегрированных порта Gigabit Ethernet (в данный момент - на чипе Intel 82576), которые выводятся через эти сетевые модули.
• Два свитча или pass-through модуля 10-Gigabit Ethernet (10GbE) или DDR/QDR InfiniBand. На данные модули выводятся порты дополнительных плат специального форм-фактора (т.н. mezzanine). Похожие решения используются и другими вендорами, у Supermicro все просто: один mezzanine на каждый блейд, который может быть двухпортовым, и одна пара свитчей или pass-through

Возможность установки тех или иных модулей зависит от выбора шасси. Так как возможных комбинаций возможно много (например, в 710E можно установить одновременно IB DDR свитч и 10GbE pass-through) - вся информация сведена в удобную таблицу совместимости на сайте Supermicro.
Всегда следует помнить, что блейд-шасси у Supermicro существует в данный момент целых 6 разновидностей: 2 под 10-blade/TwinBlade, 2 под 10-blade и 2 под 14-blade. И многие из них серьезно ограничены в плане подключения сетевых модулей: например, SBE-714D поддерживает только один модуль управления (CMM) и один гигабитный свитч. Ошибившись с выбором шасси, вы можете столкнуться с неприятной перспективой необходимости в замене шасси или установки внешних свитчей.

Шасси SBE-710E, вид изнутри, с лицевой стороны

На задней панели каждого блейд-сервера есть один или два разъема, под питание и линки к сетевым модулям: например, первый GbE порт второго сервера будет на втором порту первого гигабитного свитча. Определенный порт каждого блейда "смотрит" строго на определенный порт сетевого модуля. В этом и заключается преимущество большинства блейд-инфраструктур: большая часть межсоединений выполняется без дополнительных трансиверов и кабелей, что повышает надежность. Соответствие портов в блейд серверах и в сетевых модулях проще всего понять по нижеприведенной схеме:

Нумерация модулей так же проста: сверху устанавливается первый модуль, снизу - второй:

Шасси SBE-710E, вид со стороны сетевых модулей.

На данной фотографии представлен лишь один из возможных вариантов размещения модулей: в GbE отсеках установлены свитчи SBM-GEM-001, во втором IB/10GbE отсеке - свитч DDR Infiniband SBM-IBS-001, в первом CMM-отсеке - модуль CMM-001. Так как SBM-IBS-001 имеет двойную ширину, то второй CMM в данном случае установить некуда.

Модули управления

Основные функции CMM были описаны выше. К CMM можно подключиться через web или IPMIView, получить доступ к состоянию всех компонентов шасси, управлению свитчами и к индивидуальным консолям каждого сервера:

По понятным причинам в каждом blade-шасси должен быть установлен минимум один CMM.
В данный момент у Supermicro есть три вида CMM:

• CMM-001. Стандартный CMM, устанавливается в шасси 710 и 714 серий. На нем есть VGA порт и пара USB: через IPMIView можно быстро переключаться между консолями блейдов и использовать эмуляцию приводов (Virtual Media) через сам CMM, но большого смысла в этом нет - для большинства случаев удобнее будет подключаться к IPMI каждого сервера отдельно.
  
  
• CMM-002, он же mini-CMM. Так как в шасси нет специальных отсеков для CMM, то использование широких сетевых модулей (например двух свитчей IB IBS-Q3616M в шасси 720E) требует особого подхода: CMM-002 представляет собой дочернюю плату, которая устанавливается в соответствующий сетевой модуль с буквой M в артикуле: свитчи XEM-X10SM, IBS-Q3616M и IBS-Q3616M. Разъем RJ-45 для подключения к CMM размещен на свитче.

  

  10GbE свитч XEM-X10SM. Вид сверху. Белый квадрат - место для установки mini-CMM.

• CMM-003 предназначен для установки в новые шасси TwinBlade (720E, 720D) и 10-blade (710Q).

Модули Gigabit Ethernet

• SBM-GEM-X2C+ - Layer-2 / 3 свитч 1/10 Gigabit Ethernet. Имеет 20 гигабитных даунлинков к блейдам, два гигабитных аплинка и три 10-гигабитных: два CX4 и один SFP+.
  GEM-X2C+ вышел одновременно с TwinBlade (т.к. это 2x10=20 серверов на шасси) и может устанавливаться в любое blade-шасси Supermicro.
  
  
• SBM-GEM-X3S - данный свитч скоро придет на смену GEM-X2C+. Те же 20 внутренних портов, только изменились аплинки: четыре гигабитных и три 10-гигабитных с портами SFP+ (т.к. CX4 практически потерял актуальность). Дата начала массового производства пока что неизвестна - следите за новостями и обращайтесь в True System.
  Обновление от 20.06: Отгрузки SBM-GEM-X3S начнутся в начале июля этого года.
  
  
• SBM-GEM-001 - обычный (исторически - самый первый) Layer-2 свитч для блейдов Supermicro. 14 даунлинков + 10 аплинков, совместим со всеми шасси.
  
• SBM-GEM-002 - это уже не свитч, а pass-through модуль на 14 портов, который ничего не коммутирует, а просто выводит порты с блейдов наружу. Для тех случаев, когда возможностей свитча, предлагаемого Supermicro недостаточно или других сценариев, где нужен прямой доступ к сетевым портам блейд-серверов.
  
• SBM-GEP-T20 - тоже pass-through модуль, но на 20 портов, т.е. для шасси TwinBlade. Занимает два слота, что может помешать установке других модулей (например, можно поставить один GEP-T20 в первый ряд, а во второй - GEM-X2C+ и свитч IB/10GbE) .
  

Модули 10GbE (10-гигабитный Ethernet)

Долгожданный 10Gbe появился в блейдах Supermicro не так давно и требует прежде всего соответствующего контроллера. Многие не обращают внимания, но 20 и 40Гбит Infiniband HCA на базе Mellanox ConnectX (IBH-XQD, IBH-XQS, IBH-XDD, IBH-XDS) в блейдах Supercmiro могут работать в режиме 10GbE, причем в двухпортовых картах можно выбрать раздельно режим работы каждого порта. Подробнее о Mellanox ConnectX можно прочесть в официальном datasheet и на сайте Supermicro.
Есть и классический вариант на чипе Intel 82599 под названием XEH-iN2: два порта, ToE, поддержка FCoE, VMDq, VMDc и прочее.
Модули:

• SBM-XEM-002. Pass-through модуль на 14 портов, т.е. для любых шасси, кроме TwinBlade. Снаружи - порты SFP+.
  
• SBM-XEM-X10SM - свитч 10GbE. Так как архитектурно он 24-портовый, то в зависимости от шасси работает как 10+10 (10-blade, внутренние+внешние порты) либо 20+4 (TwinBlade). Имеет место и разъемы для подключения mini-CMM (CMM-002).
  

Модули Infiniband

Первые mezzanine-карты InfiniBand на базе Mellanox InfiniHost (IBH-001, -002, -003) мы рассматривать не будем - они сняты с производства. Сейчас актуальна линейка на Mellanox ConnectX: IBH-XQD (QDR 40Гбит, 2 порта), IBH-XQS (QDR 40Гбит, 1 порт), IBH-XDD (DDR 40Гбит, 2 порта), IBH-XDS (DDR 20Гбит, 1 порт).
Модули:

• SBM-IBS-Q3616/ SBM-IBS-Q3616M, SBM-IBS-Q3618/ SBM-IBS-Q3618M - свитчи InfiniBand QDR (40Гбит) на базе Mellanox InfiniScale IV. Порты: 20+16 в Q3616(M) или 18+18 в Q3618(M). Наружные порты - QSFP, модификации с буквой M поддерживают установку mini-CMM
  
• SBM-IBS-001 - свитч DDR InfiniBand (20Гбит), 14+10 портов (наружные - CX4), предназначен для шасси SBE-710E и SBE-714E
  
• SBM-IBP-D14 - pass-through DDR InfiniBand 14+14 CX4, для шасси SBE-710E и SBE-714E. Занимает все три слота, устанавливается в нижний ряд.
  

В дополнение к Blade Matrix для помощи в выборе сетевых модулей может быть удобна эта таблица:

Как подключить СХД?

Это самый популярный вопрос, прежде всего благодаря тому, что инженеры Supermicro сделали ставку на Infiniband. Долгое время, до появления 10GbE коммутатора и pass-through, IB был единственным быстрым интерконнектом для блейдов Supermicro.
Итак, на сегодняшний день есть следующие возможности для подключения блочных устройств:

• Fibre Channel. Есть техническая возможность установки плат длиной 6.6" в блейды класса Expansion Blade, например в 7126T-SH, т.е. можно разместить обычный PCI-E FC HBA. Но, как уже упоминалось в одной из предыдущих частей, подобное решение будет весьма неудобным: все разъемы и кабели будут сосредоточены на передней панели. Аналогичным способом можно установить любые подходящие по габаритам контроллеры. Например: SAS HBA LSI 9200-8e в блейд-серверах и пара SAS коммутаторов LSI 6160 дадут возможность небольшую, но быструю псевдо-SAN.
• гигабитный iSCSI. На всех блейдах Supermicro есть два гигабитных Ethernet порта, но во многих случаях полосы пропускания iSCSI поверх 1GbE или 2x1GbE будет недостаточно. А при использовании блейдов для виртуализации сценарий с GbE iSCSI просто не подходит: у виртуальных машин могут быть свои требования к полосе пропускания сети, плюс желательно обеспечить отказоустойчивое подключение для управления и вспомогательных сервисов (например, для vMotion в vSphere или Live Migration в Hyper-V
• 10GbE iSCSI. В блейды устанавливается XEH-iN2 (это двухпортовый 10GbE на базе Intel 82599), в шасси - свитчи или pass-through модули. На рынке существует как большое количество СХД начального уровня под 10G iSCSI (например, от HP и Infortrend), так и отличные программные решения (StarWind в редакции Enterprise HA позволит создать недорогой storage-кластер).
  Производительность iSCSI в контроллерах на Intel 82599 немного уступает FCoE (который тоже поддерживается), интересное исследование на эту тему проводила компания Demartek.
• FCoE. Конвергированные сети - не просто модный тренд, во многих случаях это действительно удобное и быстрое решение.
  Для FCoE нужны будут те же XEH-iN2, pass-through модули и 1-2 свитча с поддержкой FCoE, например, Brocade 8000. Цена такого решения, конечно, будет в разы выше по сравнению с 10G iSCSI.
  
• SRP (SCSI RDMA Protocol), FCoIB. InfiniBand разрабатывался, в первую очередь для HPC и основной используемый протокол через IB - это RDMA. Тем не менее есть разные способы передачи SCSI (через SRP - т.е. передача SCSI поверх RDMA протокола), IP трафика или FC через IB.
  SRP требует программного таргета (готовых решений пока что не видно),
  Для FCoIB требуются HCA на базе Mellanox ConnectX (т.е. любых выпускаемых сейчас Supermicro, список есть выше), свитч 3616 или 3618, мост Mellanox BX4010 или BX5020 + лицензия FCoIB (т.к. по умолчанию активирован только EoIB).
  
  
  Мосты имеют несколько IB аплинков и набор SFP+ портов, через которые можно получить как 10GbE, так и FC. Полноценная поддержка VPI возможна только с контроллерами ConnectX-2 (они есть только в обычном исполнении) и ConnectX-3 (возможно, будут к концу года).
  Конечно, есть и более экзотические варианты, например iSCSI через IPoIB, но такой вариант у нас не тестировался.
  

Вот, собственно, и все. В последнем квартале ожидается обновление линейки блейдов (будут 2-процессорные Sandy Bridge) - следите за новостями.
Как всегда, компания True System готова помочь с реализацией любых проектов с блейд-серверами Supermicro.