5 мар. 2014 г.

Прошивка SAS2 экспандеров Supermicro

Еще в середине прошлого года Supermicro выпустила прошивку 55.14.18.0 для своих SAS2 экспандеров. Помимо решения нескольких проблем с SES, данный релиз исправляет известную проблему совместимости с контроллерами Adaptec.
Процедура прошивки подробно описана в краткой инструкции к пакету Expander Xtools Lite. Все замечательно работает, можно использовать обычные прошивки для Adaptec и заодно устранить постоянное появление в логах сообщений "Fan failed" (вентиляторы обычно подключают не к бэкплейну, а к материнской плате, в результате бэкплейн через SES постоянно сообщает контроллеру о выходе из строя вентиляторов).
Как выяснилось, при прошивке 2-экспандерных конфигураций в корпусах 216-й серии (бэкплейн BPN-SAS2-216EL2) штатным способом нарушает совместную работу экспандеров (подробности будут ниже). Решение проблемы — прошивать при помощи консольного xflash напрямую, без использования GUI.

Суть проблемы

В dual-domain топологии используется доступ к SAS дискам через два экспандера. SAS диски имеют по два PHY, один из них выходит на первый экспандер, другой — на второй.
Такой способ подключения поддерживают все современные RAID-контроллеры Adaptec и LSI. Помимо некоторого увеличения производительности (что можно получить, просто подключившись к единственному экспандеру через x8 линк вместо x4), такая топология позволяет создать отказоустойчивое подключение. В пределах сервера это малоинтересно, но при подключении нескольких SAS JBODов (дисковых полок) каскадом это является крайне необходимым. Чтобы отключение кабеля или питания на любой из дисковых полок не приводило к потере доступа к другим полкам, подключенным ниже по цепочке, для второго порта применяется обратное каскадирование: экспандеры №1 каскадируются по-порядку (контроллер->полка_1->полка_2->полка_3), а экспандеры №2 — в обратном порядке (контроллер->полка_3->полка_2->полка_1).
Контроллеру для осознания того факта, что оба подключенных к нему экспандера находятся на одном бэкплейне (т.е. для корректной работы SES) и являются частью топологии с общими дисками нужны две вещи:

  • корректные SAS-адреса на экспандерах (заканчивающиеся на 7F и FF для первого и второго экспандера)
  • разные т.н. enclosure id

После прошивки FW 55.14.18.0 штатным способом мы получаем удручающую картину:
Это скриншот LSI MSM, из которого видно, что доступ к дискам осуществляется только через один экспандер. По отдельности они работают, но при совместном подключении один из них "повисает в воздухе". Скриншот здорового человека должен выглядеть так:

Прошивка
Для работы понадобятся:

  • Linux или Windows Server 2008/2008R2.
  • Контроллер SAS2 HBA LSI 9211-4i/-8i или другой HBA на базе чипов LSI 2004/2008 c IT или IR прошивкой или SAS2 RAID контроллер LSI 9260/9261/9265/9266/9271 или другой на базе чипов LSI 2108/2208.
  • Бэкплейн с SAS2 экспандером или экспандерами ("SAS2" в партномере. Например BPN-SAS2-216EL2). Будьте осторожны, можно случайно взять и прошить SAS1 экспандер и получить кирпич.

Мы не можем выложить образы прошивок в открытый доступ, только индивидуально, по запросу.
Процесс:
  1. Получаем WWN экспандеров:
    xflash -i get avail
    
    c:\smc>xflash -i get avail
    
    ********************************************************************************
        Xflash
    
        LSI SAS Expander Flash Utility
    
        Version: 7.0.0.0
    
        Copyright (c) 2010 LSI Corporation.  All rights reserved.
    ********************************************************************************
    
    Initializing Interface.
    Expander: SAS2x36
    
    
    1) SAS2x36 (50030480:00CF9E7F)  (0.0.0.0)
    2) SAS2x36 (50030480:00CF9EFF)  (0.0.0.0)
    
  2. Закачиваем FW в region 0 и в region 2 первого экспандера и ресетим его. После ресета может появится окно MSM с сообщением о том, что "communication with enclosure lost".
    xflash -i 5003048000CF9E7F down fw sas2xfw_55.14.18.0.fw 0
    xflash -i 5003048000CF9E7F down fw sas2xfw_55.14.18.0.fw 2
    xflash -i 5003048000CF9E7F reset exp
    
  3. Ждем пока экспандер перезагрузится (секунд 10) и шьем MFG. В данном случае выбран файл с "nofan", так как все вентиляторы будут подключены к материнской плате.
    xflash -i 5003048000CF9E7F down mfg sc216mfg_primary_fw55_14_18_0_mfg_2_38_nofan.bin
    xflash -i 5003048000CF9E7F reset exp
    
  4. Опять ждем перезагрузки и проверяем версию.
    xflash -i 5003048000CF9E7F get ver 1
    
  5. Повторяем то же самое для второго экспандера.
    xflash -i 5003048000CF9EFF down fw sas2xfw_55.14.18.0.fw 0
    xflash -i 5003048000CF9EFF down fw sas2xfw_55.14.18.0.fw 2
    xflash -i 5003048000CF9EFF reset exp
    
    xflash -i 5003048000CF9EFF down mfg sc216mfg_secondary_fw55_14_18_0_mfg_2_38_nofan.bin
    xflash -i 5003048000CF9EFF reset exp
    

24 комментария:

  1. Здравствуйте,

    Я разыскиваю прошивку для контроллера BPN-SAS2-826EL1. Возможно, подойдёт .fw для оборудования из этой статьи. Подскажите пожалуйста, куда можно обратиться с индивидуальным запросом для прошивки.

    Спасибо

    ОтветитьУдалить
    Ответы
    1. Добрый вечер. Залил на Dropbox: https://www.dropbox.com/s/i9ordhzieic54g5/sc826.zip?dl=0

      Удалить
    2. Большое спасибо, Дмитрий!

      Удалить
  2. Здравствуйте. Не найдётся ли у вас прошивки для бэкплэйна BPN-SAS2-836EL1?

    ОтветитьУдалить
    Ответы
    1. Добрый день.
      Да, архив остался. Напишите на quartz64@gmail.com, пришлю ссылку.

      Удалить
  3. BPN-SAS2-826EL2 можно прошивку на nothernwind@mail.ru ... заранее спасибо

    ОтветитьУдалить
  4. добрый день а есть ли прошивка для SAS-825TQ .. есть не понятно поведение с новым 8805

    ОтветитьУдалить
    Ответы
    1. Добрый день. В 825TQ шить нечего, там только пара чипов, отвечающих за SES.

      Удалить
  5. ясно спасибо будем писать поставщикам.. у нас нет ошибок диска не поморгает им если включены все 8 дисков. по 4 или верх или низ все работает соотвествено куда кабель управляющий воткнут

    ОтветитьУдалить
    Ответы
    1. Посмотрите в инструкции положение джамперов. Там два SES-процессора, для обоих должны джамперы стоять в положении SGPIO, а не i2c

      Удалить
  6. Этот комментарий был удален автором.

    ОтветитьУдалить
  7. Здравствуйте

    Не найдётся прошивки для LSI SAS2X36 SC846EL2?

    ОтветитьУдалить
  8. Добрый день а есть прошивки для BPN-SAS2-846EL1?

    ОтветитьУдалить
    Ответы
    1. Если я правильно понял то для него прошивку выложили выше и прошивать надо только регион 1 и mfg?

      Удалить
  9. Добрый день. Постучитесь в ЛС (уже плохо помню, что там у меня было с SAS2). Сейчас уже не успею ответить, в понедельник только.

    ОтветитьУдалить
    Ответы
    1. Не вижу как написать в ЛС, если что пиши мне.

      Удалить
  10. BPN-SAS-836EL1 Не могу преодолеть скорость 985 Mb/s. И если на одном контроллере HP H240 то общая скорость с двух таких тоже 985 Mb/s, Поставил одну для проверки LSI 9211 i4 прошил под HBA 20.00.06/07.39.02 И тоже 985 Mb/s. Может есть какие идеии или прошивка для этого бекплейна. Или может я чего не включил. Windows 10 pro.

    ОтветитьУдалить
    Ответы
    1. Так на бэкплейне SAS-1 (первое поколение SAS, 3-гигабитное). Там с учетом накладных расходов получается порядка 1 ГиБ/с на линке x4, что к полученным 985 МиБ/с

      Удалить
  11. Я так и подумал. Но первое поколение SAS 3Gb/s, x 4 = 12Gb/s = 1500 МБ/c. Пускай согласно стандарта SAS 3Gb/s = 300 МБ/c. А тут 250. Больше склоняюсь к тому что на момент создания был только PCI-E первого поколения к этому и привязали а втот тут какраз и будет 1,00 ГБ/c ~ 985 Mb/s... Согласно этого создал таблицу.
    BPN-SAS-836EL1 0,985 ГБ/с,
    BPN-SAS-836EL2 1,97 ГБ/с,
    BPN-SAS2-836EL1 1,97 ГБ/с,
    BPN-SAS2-836EL2 3.94 ГБ/с,
    BPN-SAS3-836EL1 3.94 ГБ/с,
    BPN-SAS3-836EL2 7.88 ГБ/с,

    ОтветитьУдалить
  12. Вот такой пациет тоже не хочет больше 1024 Мб/с "HPE ML350 Gen10 12Gb SAS Expander Card Kit with Cables 874576-B21" Самое интересное что подключается двумя шнурками SFF-8087. Диски подключает 6Gbp/s.

    ОтветитьУдалить