Выпуск кластерной ФС Lustre 2.13

9 декабря 2019 года

Опубликован релиз кластерной файловой системы Lustre 2.13, используемой в большей части (~60%) крупнейших Linux-кластеров, содержащих десятки тысяч узлов. Масштабируемость на столь крупных системах достигается благодаря многокомпонентной архитектуре. Ключевыми компонентами Lustre являются серверы обработки и хранения метаданных (MDS), управляющие серверы (MGS), серверы хранения объектов (OSS), хранилище объектов (OST, поддерживается работа поверх ext4 и ZFS) и клиенты.

Основные новшества:

  • Реализован постоянный кэш на стороне клиента (Persistent Client Cache), позволяющий задействовать локальное хранилище, такое как NVMe или NVRAM, как часть глобального пространства имён ФС. Клиенты могут кэшировать данные, связанные с создаваемыми или существующими файлами, в локально примонтированной ФС с кэшем (например, в ext4). В процессе работы текущего клиента эти файлы обрабатываются локально со скоростью локальной ФС, но, в случае попытки обращения другого клиента, автоматически мигрируют в глобальную ФС.
  • В маршрутизаторах LNet реализовано автоматическое обнаружение маршрутов при использовании маршрутизации по нескольким путям через разные сетевые интерфейсы (Multi-Rail Routing) и повышена надёжность работы конфигураций с узлами, имеющими несколько сетевых интерфейсов.
  • Добавлен режим "overstriping", при котором в одном хранилище объектов (OST) может содержаться несколько копий stripe-блоков для одного файла, что позволяет нескольким клиентам одновременно производить операции совместной записи в файл без ожидания освобождения блокировки.
  • Появилась поддержка саморасширяющихся схем размещения файлов (Self-Extending Layouts), увеличивающих гибкость применения режима PFL (Progressive File Layouts) в разнородных ФС. Например, когда ФС включает небольшие пулы хранилищ на базе быстрых Flash-накопителей и большие дисковые пулы, предложенная возможность позволяет в первую очередь осуществлять запись в быстрые хранилища, а после того как место закончится автоматически переключиться на медленные дисковые пулы.

Источники

править


 
 
Creative Commons
Эта статья содержит материалы из статьи «Выпуск кластерной ФС Lustre 2.13», опубликованной OpenNET и распространяющейся на условиях лицензии Creative Commons Attribution (CC BY) — указание автора, источник и лицензию.
 
Эта статья загружена автоматически ботом NewsBots в архив и ещё не проверялась редакторами Викиновостей.
Любой участник может оформить статью: добавить иллюстрации, викифицировать, заполнить шаблоны и добавить категории.
Любой редактор может снять этот шаблон после оформления и проверки.

Комментарии

Викиновости и Wikimedia Foundation не несут ответственности за любые материалы и точки зрения, находящиеся на странице и в разделе комментариев.