Викиновости

Red Hat выпустит кластерный Linux дистрибутив. Сравнение кластерных ФС

28 сентября 2008 года

В начале октября компания Red Hat планирует выпустить новый специализированный кластерный Linux дистрибутив, ориентированный на создание высокопроизводительных систем. Дистрибутив представляет собой продолжение развития продукта Red Hat Enterprise Linux for HPC Compute Nodes, в который будет интегрирована поддержка реализации стека Platform Computing Open Кластеры Stack 5.0 (OCS), созданного в рамках проекта Kusu (Архивная копия от 7 февраля 2009 на Wayback Machine).

Подобный подход подразумевает выпуск самодостаточного, для развертывания кластеров, Linux дистрибутива, в отличие от ранее предоставляемых решений, упрощающего процесс планирования и не требующего покупки отдельного комплекта Red Hat Enterprise Linux ES/AS для машин инфраструктуры управления кластером.

В заключение, можно обратить внимание на PDF презентацию "HEPiX FSWG - Final Report" (459 Кб), в которой представлены результаты сравнения производительности распределенных ФС Lustre, dCache, DPM, Xrootd, AFS и GPFS.

Тест 1. Измерение скорости записи 50 тыс. файлов, каждый размером 300 Мб, равномерно распределенных по 10 серверам. Запись производилась одновременно из 60 процессов, размещенных на 60 различных машинах. Результаты:

  • Lustre - 117 Мб/сек;
  • dCache - 117 Мб/сек;
  • DPM - 117 Мб/сек;
  • Xrootd - 114 Мб/сек;
  • AFS - 109 Мб/сек;
  • GPFS - 96 Мб/сек.

Тест 2. Подготовленное в первом тесте хранилище было разбавлено 450 тыс. файлов минимального размера. Далее было произведено измерение скорости последовательного чтения 300 Мб файлов блоками в 1Мб одновременно в 10,20,40,100,200,480 потоков. Лучшие показатели были продемонстрированы GPFS и Lustre. На небольшом числе одновременных запросов немного отстали dCache, DPM и AFS (более заметное отставание вначале). Производительность Xrootd заметно упала при интенсивности более 40 одновременных запросов, все остальные ФС при высокой интенсивости запросов показали близкие и достаточно стабильные результаты.

Тест 3. В отличие от второго теста, была предпринята попытка эмуляции случайного доступа к данным в 100,200 и 480 потоков. Чтение производилось блоками размером 10,25,50 или 100 Кб, выбираемыми в случайном порядке. Результаты (средняя пропускная способность для 100, 200 и 480 потоков):

  • Lustre - 117, 117, 117 Мб/сек (явное преимущество перед другими ФС);
  • GPFS - 114, 75, 69 Мб/сек;
  • AFS - 79, 112, 87 Мб/сек;
  • dCache - 35, 49, 65 Мб/сек;
  • DPM - 35, 48, 64 Мб/сек;
  • Xrootd - 34, 47, 60 Мб/сек.

При тестировании был использован следующий тюнинг параметров TCP/IP стека: 


net.ipv4.tcp_timestamps = 0
net.ipv4.tcp_sack = 0
net.ipv4.tcp_mem = 10000000 10000000 10000000
net.ipv4.tcp_rmem
net ipv4 tcp rmem = 10000000 10000000 10000000
net.ipv4.tcp_wmem = 10000000 10000000 10000000
net.core.rmem_max = 1048576
net.core.wmem_max = 1048576
net.core.rmem_default = 1048576
net.core.wmem_default = 1048576
net.core.netdev_max_backlog = 300000

Источники

править
 
 
Creative Commons
Эта статья содержит материалы из статьи «Red Hat выпустит кластерный Linux дистрибутив. Сравнение кластерных ФС», опубликованной OpenNET и распространяющейся на условиях лицензии Creative Commons Attribution (CC BY) — указание автора, источник и лицензию.
 
Эта статья загружена автоматически ботом NewsBots в архив и ещё не проверялась редакторами Викиновостей.
Любой участник может оформить статью: добавить иллюстрации, викифицировать, заполнить шаблоны и добавить категории.
Любой редактор может снять этот шаблон после оформления и проверки.

Комментарии

Викиновости и Wikimedia Foundation не несут ответственности за любые материалы и точки зрения, находящиеся на странице и в разделе комментариев.



Источник — https://ru.wikinews.org/w/index.php?title=Red_Hat_выпустит_кластерный_Linux_дистрибутив._Сравнение_кластерных_ФС&oldid=16590310