Первый публичный выпуск распределённой файловой системы JuiceFS
13 января 2021 года
После четырёх лет разработки компания Juicedata, созданная при поддержке двух крупных китайских венчурных фондов, опубликовала первый публичный выпуск POSIX-совместимой распределённой файловой системы JuiceFS, которая может быть развёрнута поверх СУБД Redis или хранилищ объектов, поддерживающих API Amazon S3. JuiceFS развивается как промежуточное решение, позволяющее упростить адаптацию любых приложений для работы в облачной инфраструктуре, благодаря возможности работать с хранилищами объектов как с традиционными ФС. Код проекта написан на языке Go и распространяется под лицензией AGPLv3.
Архитектура JuiceFS подразумевает использование СУБД Redis для хранения метаданных, определяющих структуру ФС и параметры отражения блоков данных в облачные хранилища. Файловая система реализована в пространстве пользователя с использованием механизма FUSE. Каждый файл разбивается на логические цепочки размером 64 МБ, которые в свою очередь разделяются на более мелкие блоки, которые после шифрования (опционально) и сжатия записываются в хранилища объектов.
Основные особенности JuiceFS:
- Полная совместимость с POSIX, для приложений хранилище выглядит как традиционная файловая система.
- Высокая производительность, отзывчивость на уровне нескольких миллисекунд и гибкие возможности по расширению. По скорости выполнения операций с метаданными, а также последовательного чтения и записи, JuiceFS на порядок опережает Amazon EFS и FUSE-модуль S3FS.
- Поддержка архитектуры Cloud-Native с независимым масштабированием хранилища и вычислительных компонентов. На базе JuiceFS может создаваться единое общее хранилище для облачных сервисов.
- Поддержка создания совместных хранилищ для одновременных операций чтения и записи от большого числа клиентов. На базе JuiceFS также можно легко развёртывать хранилища для резервных копий или накопления больших объёмов аналитических данных.
- Глобальные файловые блокировки с поддержкой flock (BSD-блокировки) и fcntl (POSIX-блокировки).
- Встроенная возможность хранения данных в сжатом виде: по умолчанию используется алгоритм LZ4 и опционально доступен Zstd.
- Обеспечение отказоустойчивости через и избыточное хранение копий данных в разных хранилищах объектов.
- Для хранения объектов могут использоваться локальный диск, СУБД Redis, Ceph RGW, MinIO, облачные сервисы Amazon S3, Google Cloud Storage,
Azure Blob Storage, Alibaba Cloud Object Storage Service (OSS), Tencent Cloud Object Storage (COS) и QingStor Object Storage.
Помимо JuiceFS, компания Juicedata также развивает открытый инструментарий JuiceSync, позволяющий реплицировать данные между разными хранилищами на базе локальных ФС, sftp, HDFS и облачных сервисов хранения объектов AWS S3, Google Cloud Platform GCS, Microsoft Azure Block Storage, Aliyun OSS, Tencent Cloud COS, UCloud UFile, Qingyun QingStor, KingSoft Cloud KS3, Baidu Cloud BOS, JDCloud Object Storage, Qiniu, Backblaze B2 и Digital Ocean Space.
Источники править
Любой участник может оформить статью: добавить иллюстрации, викифицировать, заполнить шаблоны и добавить категории.
Любой редактор может снять этот шаблон после оформления и проверки.
Комментарии
Если вы хотите сообщить о проблеме в статье (например, фактическая ошибка и т. д.), пожалуйста, используйте обычную страницу обсуждения.
Комментарии на этой странице могут не соответствовать политике нейтральной точки зрения, однако, пожалуйста, придерживайтесь темы и попытайтесь избежать брани, оскорбительных или подстрекательных комментариев. Попробуйте написать такие комментарии, которые заставят задуматься, будут проницательными или спорными. Цивилизованная дискуссия и вежливый спор делают страницу комментариев дружелюбным местом. Пожалуйста, подумайте об этом.
Несколько советов по оформлению реплик:
- Новые темы начинайте, пожалуйста, снизу.
- Используйте символ звёздочки «*» в начале строки для начала новой темы. Далее пишите свой текст.
- Для ответа в начале строки укажите на одну звёздочку больше, чем в предыдущей реплике.
- Пожалуйста, подписывайте все свои сообщения, используя четыре тильды (~~~~). При предварительном просмотре и сохранении они будут автоматически заменены на ваше имя и дату.
Обращаем ваше внимание, что комментарии не предназначены для размещения ссылок на внешние ресурсы не по теме статьи, которые могут быть удалены или скрыты любым участником. Тем не менее, на странице комментариев вы можете сообщить о статьях в СМИ, которые ссылаются на эту заметку, а также о её обсуждении на сторонних ресурсах.