2 апр. 2011 г.

OEM SAS контроллеры в серверах Supermicro

Компания Supermicro за свою историю выпустила огромное количество системных плат с интегрированными контроллерами и дискретных контроллеров под параллельный SCSI и SAS. Разберем актуальные на данный день контроллеры форм-фактора UIO и системные платы с интегрированными контроллерами SAS на чипах LSI 2008 и 2108.

UIO контроллеры

UIO представляет собой проприетарный форм-фактор Supermicro - "перевернутую" плату со специальным слотом, что позволяет в комбинации с соответствующими системными платами Supermicro (плата имеет характерный вырез), райзерами и корпусами получить возможность установки большого количества плат расширения: до 3шт в корпус 1U и до 7шт в корпус 2U (одна из плат при этом должна быть UIO).
Supermicro сотрудничает с LSI, Intel и Mellanox, выпуская (правда, с некоторыми задержками) контроллеры SAS, 1- и 10Gb Ethernet, 20/40Гбит/с Infiniband.

Около года назад были анонсированы 6Гбит SAS контроллеры: 3 - на базе чипа LSI 2008 и один - на LSI 2108. Почти у всех этих контроллеров есть аналоги среди продуктов самой LSI (кстати, можно использовать драйверы и MegaRAID Storage Manager, выпускаемые LSI)
  • AOC-USAS2-L8E
    LSI 2008, 2 порта SFF-8087, HBA.
    AOC-USAS2-L8E - это HBA со стеком Fusion MPT, аналог - LSI 9211-8i (с IT-прошивкой). Применение - с программным RAID: СХД на базе Linux (например, Open-E) и различных дистрибутивов с поддержкой ZFS (Nexenta, FreeNAS). К сожалению, у Supermicro нет SAS-2 HBA с внешними портами, так что если очень нужно, наружу их можно вывести при помощи брэкета:
  • AOC-USAS2-L8i
    LSI 2008, 2 порта SFF-8087, RAID, 0, 1, 1E, 10.
    AOC-USAS2-L8i - тут добавлен RAID 0, 1, 1E, 10, как в LSI 9211-8i со стандартной IR-прошивкой.
  • AOC-USAS2-L8iR
    LSI 2008, 2 порта SFF-8087, RAID, 0, 1, 5, 10.
    AOC-USAS2-L8iR - самый дешевый способ получить RAID 5. Аналог - контроллер линейки Entry - LSI 9240-8i. Следует помнить, что это по-прежнему слабый для RAID чип LSI 2008, в RAID поддерживается только 16 дисков, RAID-5 не блещет скоростью из-за отсутствия аппаратного XOR блока.
  • AOC-USAS2LP-H8iR
    LSI 2108, 2 порта SFF-8087, RAID 0, 1, 5, 6, 10, 50, 60.
    AOC-USAS2LP-H8iR - полноценный RAID контроллер с 512МБ кэш памяти и поддержкой BBU. Аналог - LSI 9260-8i/9261-8i. Если планируете безопасно использовать кэш на запись - не забудьте приобрести BBU. Supermicro использует LSIiBBU07 под собственным партномером BTR-0018L-0000-LSI плюс набор с кабелем и креплением - BTR-0018L-KIT.
    Есть одна важная особенность: LSI CacheCade (технология SSD-кэширования от LSI) на нем в настоящий момент не поддерживается, так же как и на интегрированных контроллерах LSI 2108. Причины, думаю, очевидны - LSI активно занимается продвижением продуктов в канал под собственной маркой, но вполне возможно, что с Supermicro они договориться через некоторое время все же смогут.
    Обновление от 22.06.2011: 24 мая 2011 вышел новый fw 2.120.53-1235 с поддержкой CacheCade и других MegaRAID Advanced Software Options, подробности - в отдельном посте.
  • Остается еще достаточно большой список SAS 3Гбит контроллеров на базе чипов LSI (1068E с IT, SR и iR стеками) и Intel IOP38 (совместный с Adaptec продукт), но на сегодняшний день они уже не актуальны.

Интегрированные контроллеры

Supermicro распаивает на своих системных платах контроллеры LSI SAS 2008 и 2108. Опознать платы с SAS2 контроллером на борту можно по наличию цифры 6 в наименовании (например, X8DTU-6TF+). Все вышесказанное относится и к ним, дополнительная особенность: для активации RAID-5 (путем прошивки iMR firmware) на платах с LSI 2008 может понадобиться аппаратный ключ AOC-SAS2-RAID5-KEY:

На некоторый платах X8 (например, X8DT3) все еще можно встретить SAS контроллер предыдущего поколения на чипе LSI 1068E - неплохой, проверенный временем контроллер, который так же, как и в случае с LSI 2008, может работать с несколькими прошивками: IT (обычный HBA), SR (программный RAID 0,1,10), iR (добавляется поддержка RAID-5, для прошивки нужно вставить аппаратный ключ iButton). Интересная особенность - изначально контроллер имеет SR-firmware и SR-BIOS, переключить в его в режим обычного HBA (IT) можно просто убрав джампер на материнской плате. BIOS контроллера при этом отображаться перестанет, так что если он все-таки нужен (для выбора загрузочного диска, например), контроллер нужно будет прошить, запросив в техподдержке TrueSystem архив для нужной платы.

Дополнение: Таблица характеристик контроллеров LSI и Supermicro (на базе LSI 2008 и LSI 2108)

12 комментариев:

  1. Чем отличаются 2008 от 2108 и можно ли сделать из raid-версии просто hba, например заменой прошивки?

    ОтветитьУдалить
  2. 1) 2108 - чип для "полноценных" RAID-контроллеров с 512MB кэшом и RAID 0, 1, 5, 6, 10, 50, 60. У LSI появилась еще более производительная версия - 2208, но используется пока только в собственных контроллерах - 9265/9285.
    2) 2008 - используется, в основном в HBA, т.к. не имеет аппаратного XOR-процессора. RAID-контроллеры на базе него имеют серьезные ограничения по числу массивов, дисков в массиве и т.д.
    Контроллеры на базе 2008 могут работать с одним из трех стеков, в зависимости от прошивки:
    iMR (integrated MegaRAID) - стек с поддержкой RAID-5, настраивается через LSI WebBIOS (Ctrl+M) или MSM.
    iR (intergrated RAID) - RAID 0, 1, 1E, 10, настраивается через mptbios (Ctrl+C)
    IT (Initiator-taregt) - режим обычного HBA.
    Прошить firmware IT или iR можно на любой контроллер Supermicro на базе LSI 2008, а вот iMR - только на USAS2-L8iR или набортный с ключом SAS2-RAID5-KEY).
    Все контроллеры на базе 2108 не могут работать как HBA.

    ОтветитьУдалить
  3. Подскажите а возможно перепрошить AOC-USAS2LP-H8iR на LSI 9260-8i? И какими неприятностями это грозит? Объясню зачем мне это нужно esxi 5 не знает smc2108
    esxcfg-scsidevs -l
    naa.600304800086926015ee5feb08b5be7e
    Device Type: Direct-Access
    Size: 2861022 MB
    Display Name: Local SMC Disk (naa.600304800086926015ee5feb08b5be7e)
    Multipath Plugin: NMP
    Console Device: /vmfs/devices/disks/naa.600304800086926015ee5feb08b5be7e
    Devfs Path: /vmfs/devices/disks/naa.600304800086926015ee5feb08b5be7e
    Vendor: SMC Model: SMC2108 Revis: 2.12
    SCSI Level: 5 Is Pseudo: false Status: on
    Is RDM Capable: false Is Removable: false
    Is Local: true Is SSD: false
    Other Names:
    vml.0200000000600304800086926015ee5feb08b5be7e534d43323130
    VAAI Status: unsupported

    А supermicro драйвера лежат под esxi 4.1

    ОтветитьУдалить
  4. >>Подскажите а возможно перепрошить AOC-USAS2LP-H8iR >>на LSI 9260-8i? И какими неприятностями это грозит?
    Можно, для этого нужно подменить SBR блок, иначе чужой fw не прошить. Подробности тут: http://www.xtremesystems.org/forums/showthread.php?271922-LSI-2108-based-card-cross-flashing-%28Dell-H700-LSI-9260-IBM-M5015-Intel-RS2BL080%29
    Напишите мне в почту (nosachevd@truesystem.ru), скину SBR от 9260-8i.
    Теоретически грозить может нестабильной работой (я пока что не выявил) и убийством контроллера, если что-нибудь сделать не так.
    И еще это не совсем этично по отношению к LSI :)

    ОтветитьУдалить
  5. Как я понимаю LSI SAS2208 в составе x9drh-7f тоже нельзя интегрировать iT стек, и passthrough доступа к портам (без инициализации) у него тоже нет ?
    также интересует возможность совместимости в случае выхода из строя контроллера

    ОтветитьУдалить
    Ответы
    1. LSI 2208 - нет, IT там невозможен, прямой доступ тоже это ROC чип, тот же, что в LSI 9265/66/70/71/85/86. Выход из строя не ведет к фатальным последствиям, стек тот же, метаданные хранятся на дисках, подхватываются любым контроллером на базе LSI 2208 (и будущего 3108, насчет совместимости с предыдущим 2108 не уверен), как производства LSI, так и Intel, Dell, IBM, дефицита контроллеров не наблюдается.
      Вам нужен HBA'шный LSI 2108 или 2308, примеры матерей: X9DA7, X9DR7-LN4F, X9DRD-7LN4F. Supermicro никак не выделяет их маркировкой, просто "7" в наименовании.

      Удалить
    2. >>Вам нужен HBA'шный LSI 2108 или 2308
      поправка - не 2108, а 2008 конечно же.

      Удалить
    3. Удивительно, но JBOD mode заявленный как недоступный спокойно работает с последней firmware от LSI, и по факту является тем самым passthrough
      Может кому поможет

      Удалить
  6. Скажите а почему диски не видны в LSI SAS2008 в SuperServer 6036ST-6LR не ужели ключ нужен

    ОтветитьУдалить
    Ответы
    1. Доброго времени суток!
      Тут две причины могут быть:
      1) SATA диски не видны для одного из узлов, т.к. порт у них один. Нужен интерпозер AOC-LSISS9252.
      2) Вторая причина как раз связана с этими интерпозерами. Салазки для дисков имеют два набора отверстий - для простого подключения дисков и для подключения диска вместе с интерпозером отверстия сдвинуты чуть дальше. Скорее всего вы прикрутили через них и диск просто напросто не дотягивается до разъема на бэкплейне.

      Удалить
    2. Кстати, поделитесь, если не сложно - как используете эту платформу.

      Удалить
    3. спасибо большое разобрался ))) хотим ЦХД на АВРОРЕ сделать )

      Удалить