11 сент. 2011 г.

Немного о SAS-экспандерах

За последние годы SAS успел окончательно вытеснить параллельный SCSI и даже понемногу начал занимать территорию FibreChannel (как для подключения хостов к СХД, так и дисков). Сменилось поколение стандарта SAS, скоро появится третье поколение (статья о SAS 3.0 и Multilink SAS), выпущено большое количество оборудования, в том числе и основным для нас вендором - компанией Supermicro. Речь, конечно же, пойдет прежде всего о корпусах Supermicro с SAS-экспандерами: по-прежнему вопросы о подключении дисков или контроллеров, совместимости, производительности поступают каждый день.

  1. Что такое SAS-экспандер?
  2. Применение SAS-экспандеров
  3. FAQ
  4. SAS-экспандеры в продуктах Supermicro

Что такое SAS-экспандер?

SAS-экспандер - это коммутирующее устройство, обеспечивающее подключение к общей топологии нескольких SAS-инициаторов и таргетов. Экспандер хранит таблицу маршрутизации с WWN-адресами подключенных к SAS-домену узлов и обменивается данными о маршрутизации и зонировании (начиная с SAS-2) с другими экспандерами в домене. Обычно экспандер обеспечивает через встроенный SMP-таргет мониторинг: показания термодатчиков, скорость вращения вентиляторов, состояние блоков питания.

Применение SAS-экспандеров

Применяются SAS-экспандеры для подключения нескольких SAS-таргетов (это могут быть специализированные СХД с интерфейсом SAS, либо отдельные SAS или SATA диски).
Обычно несколько PHY экспандера конфигурируются как входные (для подключения инициатора - хоста или предыдущего экспандера в топологии), остальные - в качестве выходных портов для подключения конечных устройств, часть может выводится для подключения дочерних экспандеров на отдельные разъемы. В большинстве случаев наружные порты состоят из 4-х PHY, образующих wide-порт при подключении к хосту или другому экспандеру.
SAS-экспандер также занимается тем, что распаковывает STP-фреймы (SATA Tunneling Protocol - протокол, обеспечивающий туннелирование SATA команд в SAS) для работы с подключенными непосредственно к нему SATA-дисками.
Если вас интересуют дальнейшие технические подробности (edge- и fanout-экспандеры в SAS-1, ZPSDS в SAS-2 и т.д.) - добро пожаловать на www.scsita.org.
Внутренний SAS-экспандер Chenbro
Готовым устройством может быть внутренний экспандер - плата с несколькими разъемами SAS 4x (SFF-8087 - внутренний 4x SAS разъем, SFF-8088 - внешний). На иллюстрации представлен внутренний экспандер производства Chenbro, имеющий один 4x входной разъем и 6 (2 внешних и 4 внутренних) - для подключения конечных устройств или других экспандеров. Например, 4 внутренних разъема 4x - это 16 PHY, к которым можно подключить 16 дисков, а 2 внешних использовать для подключения дополнительных дисковых полок.
Внешний экспандер Areca
Чип экспандера может находится непосредственно на плате RAID-контроллера, как в многопортовых Adaptec 51245/51645/52445 и LSI 9280-16i4e/24i4e. ROC-процессоры данных контроллеров имеют только 8 PHY, которые подключены к МС SAS-экспандера, что превращает 8-портовые контроллеры в 16/20/28-портовые.
Экзотическая разновидность - внешний экспандер, в виде отдельного устройства с несколькими внешними SAS-портами.
Еще одно и, пожайлуй, самое распространенное применение - в бэкплейнах дисковых корзин серверов. Например, в популярной серии корпусов Supermicro 846Exx (846E1, 846E2, 846E16, 846E26) можно разместить 24 SAS или SATA диска, при этом будет достаточно 4-портового контроллера (что будет с полосой пропускания - будет подробно описано ниже).
Корпус Supermicro 846E16-R1200B
Собственно говоря, в подобном корпусе может быть размещен не сервер (с системной платой, процессорм и т.д.), а только диски и небольшая плата управления питанием. В этом случае получится просто "коробка с дисками", часто называемая SAS-JBOD или просто JBOD (иногда возникает путаница в терминах, т.к. JBOD'ом еще традиционно называется способ объединения дисков в массиве с последовательным заполнением).
Дополнительная преимущество при подключении дисков через SAS-экспандер - возможность подключения к обоим портам SAS-диска. Все современные диски с интерфейсом SAS имеют два порта, каждый со своим WWN.
Использование двух экспандеров, подключенных к разным портам дисков, позволяет получить port-failover (защиту от выхода из строя phy диска и/или контроллера) или controller-failover - дополнительную защиту от выхода из строя контроллера, в случае использования специализированных внешних SAS СХД или специальных программных решений (например, Nexenta-HA на платформе Supermicro SBB).

FAQ

Пропускная способность
Увидев разницу в цене, например, между 4-портовым SAS-контроллером LSI 9260-4i и LSI 9280-24i4e (24 внутренних порта + 4 внешних), многие ждут подвоха в виде неизбежной потери производительности. В самом деле - достаточно ли полосы пропускания четырех портов SAS для подключения относительно большого количества дисков? Часто приводят следующий довод: "из опубликованных тестов и спецификаций мы видели, что скорость чтения даже на не самых быстрых, но современных SATA дисках составляет порядка 150МБ/с и выше, для 24-х дисков это будет 24x150=3600МБ/с, т.е. полосы 4x6*0,8Гбит (это около 2500МБ/с) никак не хватит".
Для того, чтобы развеять эти опасения, нужно вспомнить про IOPS'ы и ограниченную производительность самих контроллеров, а так же про особенность многопортовых (>8) контроллеров.
Ограничения по IOPS. В серверных системах нечасто встречаются линейное чтение или запись, разве что в системах видеонаблюдения или бэкап-серверах. В основном, речь идет о случайном доступе с различным распределением по размеру блоков и соотношением чтение/запись, особенно это касается СУБД. И вот тут ни о каких 150МБ/с и речи не идет, прогресс остановился - частота вращения шпинделя не превышает 15000об/мин, растет лишь плотность записи. На практике это означает, что даже с быстрого 15k SAS диска мы не можем, к примеру получить больше 250-300 операций ввода/вывода в секунду (IOPS) при чтении малыми блоками, а 7200об/мин дисками - еще меньше. Т.е. при размере блока 4КБ получаем порядка 1МБ в секунду для одного диска при полностью случайном доступе.
Способы решения данной проблемы:
  • использование SSD, производительность которых при случайном доступе в десятки и стони раз превышает возможности обычных HDD
  • наращивание количества шпинделей (есть системы, которые можно масштабировать до нескольких сотен дисков в одной дисковой группе)
  • применение кэширования в RAM-кэше контроллера (в сочетании с оптимизацией это помогает сделать обращение к массиву более последовательным) или так называемого tiered-storage - многоуровневого хранения SATA->SAS->SSD (с вытеснением часто используемых данных на более быстрые уровни)
В общем, фронтенда 4xSAS2 (4x6=24Гбит) и даже SAS1 (4x3=12Гбит) в 99 случаях из ста оказывается более чем достаточно, особенно если сравнить с 4/8Гбит FC и iSCSI или FCoE поверх 10GbE.
LSI 9280-24i4e
Многопортовые контроллеры. Помните, что все выпускамые сейчас SAS RAID контроллеры имеют максимум 8 портов SAS (Обновление: ситуация изменилась после анонса контроллеров Adaptec серии 7. Данные контроллеры имеют до 24 нативных портов SAS2). Большее количество портов, вплоть до 28-ми в контроллерах Adaptec 52445 и LSI 9280-24i4e, получается за счет размещения SAS-экспандера на одной плате с контроллером. Свои плюсы у такого решения есть: для подключения к набортному экспандеру задействованы 8 портов контроллера, а не 4, как в случае с подключением к одиночному внешнему экспандеру (как уже было описано выше - использование подключения к двум экспандерам требует SAS дисков, для SATA нужно дополнительное устройство - мультиплексор). К тому же всегда есть один внешний порт, который можно использовать для подключения большого количества дисков через JBOD'ы.
Ограничениченная производительность контроллеров. Наличие аппаратного блока вычисления контрольных сумм для RAID-5 и RAID-6 вовсе не означает, что контроллер просто обязан пропустить через себя неограниченное количество данных, плюс нужно учесть пропускную способность PCI-E 2.0 x8.
Пример: для контроллеров на базе процессора LSI 2108 (LSI 9260, LSI 9280, различные контроллеры Intel, Dell, Supermicro) предел по пропускной способности на запись в RAID 5 или 6 составляет 1360МБ/с (в массивах 0, 10 - до 3000МБ/с), предел по IOPS - 130000. Контроллеры 3ware на том же процессоре демонстрируют чуть лучшие результаты при многопоточном последовательном чтении/записи, но IOPS-предел у них в два раза меньше. Кстати, на SAS HBA от LSI последнего поколения (на базе LSI 2108) в сочетании с SSD и программным RAID можно получить и до 290000 IOPS.
У нового поколения на базе 2-ядерного LSI 2208 (контроллеры LSI 9265 и 9285) производительность выше - почти до полумиллиона IOPS и более 2000МБ на запись в RAID 5/6.
(Обновление от 18.04.2013. Контроллеры Adaptec 7-й серии демонстрируют лимит в 6600МБ/с.)
Так что если вы уверены в том, что вам нужно получить больше - используйте несколько контроллеров, а LUN'ы с них придется объединять в программный RAID.
Конечно, в реальных применениях достигнуть предела производительности контроллера не так уж просто, и при 20-40 дисках (без SSD) контроллеры Adaptec и LSI демонстрируют приблизительно равные результаты.
Совместимость
Часто задаваемый вопрос: "я подключил такие-то диски к такому-то контроллеру, корпус - Supermicro такой-то, часть дисков не определяется" или "наблюдаю выпадение дисков из массива".
Увы, совместимость между SAS-2 и SAS-1, совместимость между SAS-контроллерами и экспандерами разных производителей, полная поддержка SATA SAS-контроллерами и экспандерами существуют лишь на бумаге. В реальных условиях следует опираться на списки совместимости "контроллер + диски" и "контроллер + экспандер + диски":
Причины несовместимости - от широко известного отсутствия поддержки диском SCT Error Recovery Control (он же TLER в терминологии WD, без поддержки ERC возникает ситуация, когда диск слишком долго пытается получить доступ к сбойному сектору) до фатального сочетания багов в микрокоде контроллера диска, SAS-контроллера и экспандера.
Но помимо HCL (которые могут быть неполными или содержать неточности), есть следующие особенности:
  • Экспандеры первого поколения SAS-1 в корпусах Supermicro (xxxE1-Rxxx, xxxE2-Rxxx) на базе чипов LSI SASX28 и SASX36 довольно привередливы: в HCL от Supermicro по вышеприведенной ссылке очень мало дисков и большинство из них уже сняты с производства.
    C этими экспандерами работает большинство SAS-1 и SAS-2 дисков, в том числе nearline-SAS (диски с механикой от 7200об/мин SATA дисков, но SAS-контроллером), случаев несовместимости не выявлено. А вот c SATA-3 дисками, например, Hitachi 7K3000/A7K3000 есть проблемы: не определяется часть дисков, случайное выпадение дисков из массива под нагрузкой.
    По-прежнему несовместимы с SAS-1 экспандерами Supermicro контроллеры Adaptec 6-й серии (6405, 6805, 6445) - контроллер не видит весь экспандер, либо часть дисков. Данная проблема, возможно, будет устранена в следующем релизе firmware.
  • Дисковые корзины Supermicro CSE-M28E1 и CSE-M28E2, содержащие один или два экспандера LSI SASX12, несовместимы с контроллерами Adaptec 6-й серии и контроллерами LSI MegaRAID SAS-2 (все контроллеры на базе чипов LSI 2108 и 2208): экспандер не определяется, иногда с ошибкой "Invalid SAS topology" при запуске контроллера.
SAS-экспандер и кластеры
Первая идея, которая приходит в голову человеку, впервые увидевшему JBOD с двумя SAS-экспандерами: "А нельзя ли подключить два хоста с SAS RAID контроллерами к этому JBOD и использовать получившуюся конструкцию для кластера, требующего общий LUN?"
Стоимость подобного решения в сравнении с готовыми 2-контроллерными СХД начального уровня выглядит привлекательно. Но, увы, работать ничего не будет*:
  • Обычные RAID контроллеры не рассчитаны на такое подключение (но сейчас есть и исключения в виде LSI Syncro CS). Их firmware ничего не знает о том, как поделить доступ к дискам с другим контроллером. Если бы даже не существовало этой проблемы, то возникает проблема синхронизации кэшей и так далее. На практике вы увидите зависание одного или обоих контроллеров при инициализации, возможно с сообщением об ошибочной топологии SAS.
  • Возможен вариант не с RAID контроллерами, а с обычными HBA. Доступом к дискам управляет в данном случае специальное ПО или экзотической ОС (например, IBM AIX), стоимость которых уже не позволяет вести речь об экономии. Примеры реализаций: NexentaStor HA, или опять-таки готовые СХД.
    Мечты о том, что можно реализовать простой failover самостоятельно ("программно отключу HBA второго сервера и напишу скрипт, который поднимет его обратно при отсутствии отклика от первого сервера"), можно считать несбыточными - в подобный софт производители СХД вложили огромное количество ресурсов, простой кустарной реализации не получится.
  • Заблуждение о том, что "SAS-JBOD - это бюджетная система хранения данных" - основная логическая ошибка, которую многие почему-то не сразу замечают. JBOD - это просто корпус с дисками и SAS-экспандером, а от системы хранения данных мы должны получить готовый LUN, а не набор дисков.
  • Единственное, что можно сделать с JBOD'ом подручными средствами применить зонирование, отдав каждому хосту свой набор дисков. Переключив зонирование дисков с отказавшего хоста на исправный, можно быстро получить доступ к данным, но это не решает проблему с данными, находившимися в кэше. Зонирование требует подключения дисков к SAS-2 экспандеру, а для управления зонированием можно использовать SAS-коммутатор, например, LSI 6160, которому уже были посвящены несколько статей.
*Обновление от 14.10.2013. Времена меняются, и утверждение "SAS JBOD — не для кластеров" уже теряет актуальность. С появлением поддержки Parity Spaces для Failover Cluster'а в Microsoft Windows Server 2012 R2 использование Storage Spaces для кластеров Microsoft становится вполне обоснованным. Для vSphere есть VSA и с появлением vSphere 5.5 - еще и VSAN (наследие Virsto).

SAS-экспандеры в продуктах Supermicro

Корпуса с SAS-экспандерами. Развновидностей много: от 2U до 4U, с SAS-1 или SAS-2 экспандерами, с одним или с двумя экспандерами, под SFF и LFF диски, с обычным и двухсторонним размещением дисков.
Подробнее ознакомится с этим многообразием можно на сайте Supermicro.
Особенности:
  • 2U корпуса (и 4U с двухсторонним размещением дисков) имеют разновидности "LP" и "U" (например, SC216E26-R1200LPB и SC216E26-R1200UB). Первая предназначена для обычный плат размером до E-ATX, платы расширения - только низкопрофильные, устанавливаются напрямую, без райзера. Вторая - для системных плат форм-фактора UIO (с вырезом для размещения платы в нижний слот райзера) и позволяет устанавливать до 4-х плат полной высоты + 3-х низкопрофильных плат.
  • Большинство экспандерных бэкплейнов Supermicro имеют один вход и два выхода (с разъемами 4x SAS SFF-8087) для удобства каскадирования: последовательное подключение более 6-ти экспандеров LSI крайне не желательно, а два выхода позволяют построить топологию с ответвлениями. Вот пример топологии с каскадом из двух 2-экспандерных бэкплейнов на чипе LSI SAS2X36 (12 phy экспандера - на вход и выходы, оставшиеся 24 - для подключения дисков):
  • Корпуса с поддержкой более 24-х дисков содержат несколько бэкплейнов, каждый из которых - со своим экспандером. Пример: корпус 847E16-R1400LPB - это 4U корпус с двухсторонним размещением дисков. Спереди - бэкплейн SAS2-846EL1 на 24 диска (SAS2X36), сзади - SAS2-826EL1 на 12 дисков (LSI SAS2X24). Тут возникает свобода подключения: подключить первый бэкплейн к 4-портовому контроллеру и второй бэкплейн каскадом к первому, подключить оба бэкплейна к одному 8-портовому контроллеру или к разным контроллерам.
  • Платы многих 2-экспандерных бэкплейнов имеют ошибочную маркировку портов второго экспандера. Например, на 826EL2 порты второго экспандера SEC_J0 и SEC_J1 (вход и выход) промаркированы наоборот. Правильную информацию нужно искать в инструкции.
  • На основе корпусов Supermicro можно сделать SAS-JBOD. Для этого вместо системной платы устанавливается небольшая плата управления питанием, а входы и выходы бэкплейна выводятся наружу при помощи кабеля-переходника SFF8087->SFF8088.
  • Более того, некоторые варианты корпусов существуют исключительно в JBOD-исполнении, системную плату просто некуда установить (417E16-RJBOD1 на 88 дисков SFF).
И еще есть отдельные дисковые корзины на 8 SFF дисков CSE-M28E1 и CSE-M28E2. Занимают 3 отсека 5.25", имеют съемный вентилятор на задней стенке и 1 или 2 экспандера LSI SASX12. Интересной особенностью является подключение при помощи обычный SATA разъемов (по 4 на экспандера) и использованием нестандартных "перекрестных" кабелей 4xSAS->4 SATA. Сделано это потому, что два из четырех phy можно использовать не только на вход, но и на выход - для каскадирования. В комплекте идут два кабеля: с современными SFF-8087 разъемом и старым широким SFF-8484. Проблема номер один - кабели длиной 50см, такой длины хватает не всегда. Проблема номер два - несовместмость с SAS2 контроллерами, о чем уже упоминалось выше.
Альтернативой является корзина M28SAB с обычным бэкплейном без экспандера.
Вот и все. Задавайте дополнительные вопросы по почте и в комментариях, а за продукцией Supermicro, LSI и Adaptec обращайтесь в компанию True System.

50 комментариев:

  1. Экспандеры первого поколения SAS-1 в корпусах Supermicro (xxxE1-Rxxx, xxxE2-Rxxx) на базе чипов LSI SASX28 и SASX36 довольно привередливы: в HCL от Supermicro по вышеприведенной ссылке очень мало дисков и большинство из них уже сняты с производства.

    C этими экспандерами работает большинство SAS-1 и SAS-2 дисков, в том числе nearline-SAS (диски с механикой от 7200об/мин SATA дисков, но SAS-контроллером), случаев несовместимости не выявлено. А вот c SATA-3 дисками, например, Hitachi 7K3000/A7K3000 есть проблемы: не определяется часть дисков, случайное выпадение дисков из массива под нагрузкой.



    а какие sata диски 2Tb (или 3Tb) гарантированно работают с этими экспандерами?

    ОтветитьУдалить
  2. Можно ориентироваться на этот список:
    http://www.supermicro.com/products/nfo/files/storage/SAS-CompList.pdf
    Для примера
    1) Hitachi HUA722020ALA330
    2) WD WD2003FYYS
    В списке нет WD2003FYPS, но тоже подойдет (проверялось совместно с LSI 9260).
    А дальше - нужно смотреть в HCL контроллера.

    ОтветитьУдалить
  3. хм... хотелось бы использовать диски подешевле...

    наверное от идеи использовать корпус с экспандером стоит отказаться.
    жаль, на price.ru много предложений на 933e1 по очень интересной цене

    ОтветитьУдалить
  4. Дело не только в экспандере. Я уверен, что 95% SATA и SATA2 дисков не имеют проблем совместимости с SAS-1 экспандерами LSI, просто тестировать их все смысла нет.
    Не все диски одинаково полезны при использовании на аппаратных RAID контроллерах прежде всего из-за SCT ERC, вот хорошая статья:
    http://habrahabr.ru/blogs/hardware/92701/

    ОтветитьУдалить
  5. на cse-846E1 LSI SASX36, Adaptec RAID 6445 с прошивкой 18668 экспандер заработал.

    ОтветитьУдалить
  6. Спасибо за информацию. А диски какие стоят? Не растет ли счетчик Aborted commands в ASM на дисках?

    ОтветитьУдалить
  7. В продолжение cse-846E1 LSI SASX36 и ASR6445 , вопрос по совместимости остается открытым, диски saegate 2t 3g, райд диски видит логика собирается, но периодически диски все таки отваливаются, не массово, по 1 а то по 2.

    Вопрос: можно ли поставить промежуточное устройство для согласования этих двух устройств? или внешний экспандер или HBA и что будет правильней?

    ОтветитьУдалить
    Ответы
    1. А партномер дисков какой? И что там со счетчиками Aborted commands?
      Решить можно двумя способами:
      1) Поменять контроллер на 5-ю серию: 5405 или 5445Z. Обычных 5445 не осталось у нас, только 5445Z, с флэшовой защитой кэша.
      2) Более правильный способ - поменять бэкплейн на BPN-SAS2-846EL1, но придется ждать, он под заказ.

      Удалить
  8. Hdd: ST2000DL003-9VT1
    FW: CC3C
    PN: 9VT166-302
    Aborted commands 6

    после 10 суток работы

    ОтветитьУдалить
    Ответы
    1. Тогда нужно начать с того, что эти диски вовсе не обязаны нормально работать с Adaptec 5/6 серии или с другими аппаратными RAID контроллерами.
      Список совместимости существует не просто так:
      http://download.adaptec.com/pdfs/compatibility_report/arc-sas_cr_03-27-12_series6.pdf
      Проявляется ли проблема при прямом подключении дисков в обход бэкплейна? Подключите 4 диска напрямую к контроллеру, нагрузите том iometer'ом. Если диски будут выпадать (или будут расти счетчики aborted commands), то никакой заменой бэкплейна проблему не решить. И помочь может включение SCT ERC (см. http://habrahabr.ru/post/92701/ да и то теоретически) или использование SAS HBA в сочетании с программным RAID.

      Удалить
  9. Добрый день. а не подскажите есть возможность обновления експандеров на базе супермикро?
    ситуация следующая.
    есть корпус supermicro CSE-836E2-R800B
    у него как я понял как раз експандеры на базе LSI SASx28
    и есть контроллер LSI MegaRAID SAS9260-16i как раз на пресловутом чипе LSI 2108
    Всё вместе выдаёт уже выше написанную ошибку "Invalid SAS topology" при запуске контроллера

    Есть возможность запустить данный зоопарк или это невозможно, так как при покупке контроллера даже не думал что контроллер и экспандер одной фирмы могут конфликтовать друг с другом
    Спасибо.

    ОтветитьУдалить
    Ответы
    1. Добрый!
      Попробуйте подключить контроллер только ко входу первого (primary) экспандера, второй не трогайте.

      Удалить
    2. подключил контроллер к pri_j1
      ошибка осталась.
      прошивку контроллера уже обновил до 12.12.0-0102

      Удалить
    3. Подключите в J0, это вход на 836-х бэкплейнах.
      Я пробовал воспроизвести проблему, но с SAS2 бэкплейном: 9260-16i + BPN-SAS2-216EL2, все в порядке, что естественно, т.к. закольцованной топологии не получается.

      Удалить
    4. я уже воспроизводил такой вариант, контроллер инициализуется, но хардов в корзине в таком варианте он не видит.

      Удалить
    5. А диски какие? Есть ли возможность попробовать подключить обычный 4/8 портовый контроллер, например 9260-8i или 9261-8i?

      Удалить
    6. да, до него стоял mr sas 8708em2
      всё определяется, подключён был через pri_j1 и pri_j2

      Удалить
    7. Тогда остается только менять бэкплейн на BPN-SAS2-836EL1, он доступен под заказ. А если нужен 2-экспандерный - BPN-SAS2-836EL2, но тогда еще и контроллер придется поменять на 8-портовый.

      Удалить
    8. зачем 8 портовый?
      sas на корзину. 4 корзины на 4 порта, или я не правильно понял?

      Удалить
    9. На 836-м 2-экспандерном бэкплейне 6 разъемов SFF8087, по 3 на экспандер: 1 вход (J0) и 2 выхода (J1 и J2). Подключать контроллер нужно только ко входам. Некоторые контроллеры нормально работают и при подключении к выходам, в том числе нескольким, но это исключение. Поэтому я и просил подключить только к primary J0, без всяких других подключений.
      С LSI 9260-16i не должен работать dual path при подключении к двум экспандерам, т.к. это связка из 8-портового контроллера и экспандера LSISAS2x36.

      Удалить
  10. CSE-M28E1 + adaptec 3805 (17342) + sata диски(всякие,испробовал 12 различных моделей)
    контроллер не видит корзину\диски в ней
    диски подключенные напрямую работают нормально.

    совместимы ли они в принципе и как заставить всё это работать?

    ОтветитьУдалить
    Ответы
    1. Какой используете кабель? В комплекте идет CBL-0116L - это SFF80870->4x SATA, но он кроссоверный, Tx и Rx местами поменяли, обычный кабель тут не подойдет.
      Видит ли контроллер экспандер в корзине, если подключить ее пустую (будет что-то вроде Enclosure SASX12 в BIOS контроллера)?
      Определяются ли SAS диски.

      Удалить
    2. пробовал кабели molex 79576-3003 и CBL-00079-01-A-R
      т.е. работать будет только с кроссовым кабелем? родного нет,придется то что есть перепаивать :\
      экспандер не виден ни пустой ни полный
      2.5 SAS дисков сейчас нет

      заметил еще пара глюков корзины
      -горел индикатор отказа кулера при подключенном родном кулере при любом другом всё ок. родной кулер исправен, rpm передает правильно.
      -сейчас постоянно горит индикатор перегрева\отказа диска (даже без дисков,корзина холодная),индикатор кулера не горит ни с кулером ни без.
      может просто экспандер\бекплейн сдох,есть ли способ это проверить?

      Удалить
  11. Здравствуйте!
    Расскажите пожалуйста как реализовано подключение в корпусе SC417E26-R1400LPB.
    Судя по мануалу там стоят три SAS2-216EL2 каждый на 24 диска (да?)
    На каждом SAS2-216EL2 есть 3 порта, т.е. по логике на 1 порт - 8 дисков, да?
    Как это все соединяется между собой?!?!? Я уже голову сломал :(
    И где в этой конфигурации должен быть RAID контроллер?

    ОтветитьУдалить
    Ответы
    1. Добрый день!
      Да, там три 2-экспандерных бэкплейна, каждый на 24 диска. Три порта SAS x4 (разъем SFF8087) - это 1 вход (J1) и 2 выхода (J2, J3). Можно соединить все бэкплейны каскадом и использовать один 8-портовый контроллер (контроллер во вход первого, выход первого на вход второго, выход второго на вход третьего - то же самое для второго экспандера - см. http://4.bp.blogspot.com/-vPhISScWM34/TmzyLkKQuBI/AAAAAAAAFmU/zf1-4j1P7B8/s320/lsi2x36.png). Можно подключить каждый бэкплейн отдельно к своему контроллеру, но смысл в этом есть только разве что при использовании большого количества SSD, когда вы упираетесь в производительность контроллера.

      Удалить
    2. Большое спасибо за ответ! Очень помогли!
      Ещё такой вопрос, разве бывают "один 8-портовый контроллер"? Я видел только один 4-х портовый....

      Удалить
    3. И ещё на каждом бэкплейне 2 выхода как вы и сказали.
      Один мы занимаем последовательно подключая друг к другу, а со вторым что делать?

      Удалить
    4. При обсуждении SAS часто возникает путаница с терминологией. Например, Adaptec 6805 имеет 8 портов SAS (одиночных линков), которые физически выполнены в виде двух 4-х SAS разъемов SFF-8087. Для подключения экспандеров и SAS СХД к инициаторам как правило используются не одиночные линки SAS, а транки из нескольких, чаще всего 4-х. Т.е. подключаем SFF-8087 ко входу экспандера - получаем т.н. 4x wide-port SAS подключение.
      Деление на входы/выходы в экспандерах несколько условно, в некоторых сочетаниях контроллер/бэкплейн вы можете использовать один из выходов в качестве второго входа и подключиться 8-ю линками, но данная возможность никак не документирована, работает в случае бэкплейнов Supermicro не всегда, так что лучше не использовать.
      Второй выход тоже можно использовать для каскадирования, например вывести его наружу через переходник для подключения внешних JBOD'ов.
      Кстати, прямое каскадирование - не единственный способ подключения. В двухэкспандерной (dual-domain) топологии возможна отказоустойчивая схема, при которой при выходе полном выходе из строя одного из бэкплейнов доступ к остальным не теряется. Для этого вторые экспандеры каскадируются в обратном порядке.

      Удалить
    5. Спасибо за ответ!
      Про транки я знаю.
      Я наверное неправильно понял и подумал что вы говорили о RAID контроллере с одним портом на 8 SAS разъемов. Поэтому и написал что видел только на 4 SAS разъема с одним портом.

      Последние вопросы: нужен RAID контроллер как минимум с двумя портами (по 4 SAS каждый), я правильно понял? И концы от экспандеров подключаем в этот RAID контроллер?
      И подскажите пожалуйста каким кабелем все это соединять?

      Огромное Вам спасибо!

      Удалить
    6. Да, все верно. Кабели SFF-8087->SFF-8087, метровых хватит от контроллера до одного из бэкплейнов, для соединения бэкплейнов будет 0,5м достаточно.

      Удалить
    7. Все это на RAID контроллер. И вывести наружу с помощью оптической сетевухи (10Гб), по скорости большие потери будут?

      Удалить
    8. Конечно, будут, но в большинстве случаев лишь теоретические. Если речь идет об iSCSI через 10GbE то в сравнении с SAS будет ограничена полоса и будет чуть выше latency. Но, во-первых, нормально работающх SAS-таргетов на самосборе я не встречал, а во-вторых - узкое место в подавляющем большинстве случаев будет в производительности дисков и контроллера.

      Удалить
    9. Все таки тогда лучше остановиться на iSCSI?
      HBA для чего используют? Как я понимаю они берут часть нагрузки процессора на себя?

      Удалить
    10. Все зависит от решаемой задачи. Тема обширная, отправьте свои контакты на quartz64@gmail.com, обсудим Ваш проект.

      Удалить
  12. Очень выручили!
    Спасибо. Сайт добавил в избранное, куча полезного!

    ОтветитьУдалить
  13. Здраствуйте.
    Есть 8 дисков 147 Гб Savvio 10K.3 ST9146803SS в корзине супермикро CSE-M28E1 и контроллер адаптек 5805 c BBU . диски не видны,на корзине постоянно горит индикатор поломки диска,даже если все диски вынуть.Диски подключенные напрямую работают. В чем может быть проблема?

    ОтветитьУдалить
    Ответы
    1. Доброго времени суток.
      С Adaptec 5-й серии должен работать. Кабель какой используете? В комплекте с CSE-M28E1 идет нестандартный кабель - он кроссоверный.

      Удалить
    2. Кабель не из комплекта,но кроссоверный CBL0016L
      Смущает тот факт что индикатор горит постоянно,даже если к корзине подключено только питание.Это нормально?

      Удалить
    3. Может, CBL-0116L? Вот такой кабель должен быть. Подключите без дисков, виден ли сам экспандер в биосе контроллера? Должен отображаться как SASX12.

      Удалить
  14. Да ,правильно,CBL-0116L.
    В биосе контроллера экспандера нет,ни SASX12,ни какого другого.

    ОтветитьУдалить
    Ответы
    1. Попробуйте к коллегам в TrueSystem обратиться, помогут проверить в техотделе: http://www.truesystem.ru/ts/contact.asp
      Только меня там уже месяц как нет :)

      Удалить
  15. Ребята, спасибо за отличный материал, помогли разобраться с столь запутанными вопросами. Но остался один не до конца понятный момент.
    Собираемся построить систему из 846E26-R1200B + джбод юнит 847E26-RJBOD1, с SATA дисками (нужно много и не очень дорого). Адаптер, что то вроде LSI MegaRAID SAS 9270-8i. Хотелось бы иметь 'failover' для подключений [рейд контроллер]==[бекплейт] и [бекплейт]==[бекплейт]. Будет ли работать 'failover' для сата винтов или нужен мультиплексор?

    И что будет, если используется один каскадный кабель между беклейтами, и он вдруг 'вылетит'? Собираемся иметь несколько рейд массивов 6го уровня, над ними LVS. Будет совсем плохо или рейд контроллеры как то умеют обрабатывать такие ситуации и при возвращении линка к жизни - система снова станет работоспособной?
    Большое спасибо!

    ОтветитьУдалить
  16. Доброго времени суток!
    Да, все верно:
    1) Современные контроллеры, включая LSI MegaRAID SAS2, последние 3ware, Adaptec 2/3/5/6 серии самостоятельно умеют port failover, т.е. подключение к дискам по двум путям (через два экспандера): контроллер->экспандер1->SAS-порт1, контроллер->экспандер2->порт2
    2) Результат: шире полоса пропускания, защита от сбоя на одном из phy диска или контроллера, защита от сбоя экспандера (в обычной топологии сбой или отключение экспандера приведет к отключению всех подключенных к нему ниже каскадом, в dual-domain обычно применяется обратное каскадирование для второго пути, т.е. первый путь подключается от контроллера к первому экспандеру, от первого - ко второму и т.д., второй - наоборот, от контроллера к последнему, затем к предпоследнему и т.д.).
    Собственно, основной риск с single-domain подключением - как раз выход из строя (отключили кабель, отключили питание, что-то случилось с электроникой экспандера) целой JBOD-полки, после возвращения линков целостность данных даже при отсутствии кэша на запись никто не гарантирует.
    3) С SATA дисками, естественно, не работает, нужен интерпозер/мультиплексор. Есть платы, которые делает LSI, например, но они поступают только в OEM канал, а во-вторых, в обычную дисковую корзинку HDD с подключенным интерпозером не влезет физически. Так что интерпозер - это для производителей готовых СХД, либо для Supermicro SBB.
    Большой проблемы в этом нет, благо цены на nearline SATA и nearline SAS диски отличаются не смертельно. Только что посмотрел на Seagate Constellation 3.5": 1TB - разница $21, 2TB - разница $45, 3TB - $25

    ОтветитьУдалить
  17. Дмитрий, спасибо за разъяснения. Вроде удалось разобраться.

    ОтветитьУдалить
  18. Всем привет,у меня проблема :(
    есть корзина Supermicro CSE-M35T-1B но в ней сломана плата с разьёмами.
    Можно ли где нибудь купить\заказать отдельно только плату,чтобы не покупать новую корзину целиком?

    ОтветитьУдалить
    Ответы
    1. Добрый день!
      Извиняюсь, не заметил Ваш комментарий. Обратитесь в True System (www.truesystem.ru) - помогут.

      Удалить
  19. Здравствуйте
    подскажите есть ли возможность в корзину CSE-M28E2 поставить бекплейн без экспандера (от M28SAB например). экспандер увы с новым контроллером несовместим.

    ОтветитьУдалить
    Ответы
    1. Добрый день!
      Бекплейн, скорее всего, взаимозаменяем (сейчас посмотреть не могу, т.к. уже не работаю в TrueSystem), но ехать будет 6 недель и стоить не намного дешевле, чем M28SAB в сборе.

      Удалить
  20. Вот не понял почему 8, супротив чему? И Причем тут требование SAS? То ли была статья где это объяснялось, то ли всё таки утверждения выдраны из контекста.

    "(как уже было описано выше - использование подключения к двум экспандерам требует SAS дисков, для SATA нужно дополнительное устройство - мультиплексор)"

    ОтветитьУдалить
    Ответы
    1. Если Вы об ограничении на 8 нативных портов SAS в контроллерах, то на момент написания статьи (это 2011 год) это было так — всё контроллеры с количеством портов >8 в то время были с набортным экспандером.

      Также в то время не все контроллеры могли работать с wide-портом x8 при подключении к экспандерам, использовавшимся в корпусах Supermicro вместо x4. Не помню, предусматривался ли wide-порт x8 спецификацией SAS2, но по факту, например 9260-8i в связке 216BE16 работал только с x4 (возможно это было исправлено в поздних прошивках контроллера и/или экспандера).

      Удалить