LINUX.ORG.RU

JuiceFS — новая открытая ФС для объектных хранилищ

 , distributed filesystem, ,


0

1

JuiceFS — это POSIX-совместимая файловая система с открытым исходным кодом, построенная поверх Redis и хранилища объектов (например, Amazon S3), разработанная и оптимизированная для облачной среды.

Основные особенности:

  • JuiceFS — полностью POSIX-совместимая файловая система. Существующие приложения могут работать с ней без каких-либо изменений.
  • Выдающаяся производительность. Задержки могут составлять всего несколько миллисекунд, а пропускная способность может быть увеличена до практически неограниченной. Результат теста производительности.
  • Совместное использование: JuiceFS — это общее файловое хранилище, которое может быть прочитано и записано многими клиентами.
  • Глобальные блокировки файлов: JuiceFS поддерживает как BSD-блокировки (flock), так и POSIX (fcntl).
  • Сжатие данных: По умолчанию JuiceFS использует LZ4 для сжатия всех ваших данных, вы также можете использовать Z Standard вместо него.

>>> Подробности

★★★★☆

Проверено: Shaman007 ()
Последнее исправление: atsym (всего исправлений: 1)

Ответ на: комментарий от anonymous

правда, как всегда, есть ложка дегтя, которая называется сервером метаданных. как всегда, возникают вопросы к его масштабируемости и отказоустойчивости, а в случае с редисом вопросы еще и к ужасному background save (или там уже сделали что-то человеческое вместо него?)

anonymous
()
Ответ на: комментарий от nerfur

так далеко не всякий софт умеет работать с S3. эта штука POSIX-совместима и работает поверх очень легко настраиваемых решений. а POSIX-совместимые распределенные ФС, с которыми можно нормально работать на практике и не страдать от тормозов и глюков, как в случае с почти каждой первой существующей их реализацией, это очень редкий зверь.

anonymous
()
Ответ на: комментарий от skyman

да! почему редис, мне непонятно. почему не SQL? или почему не любое решение на выбор через тонкую прослойку совместимости?

anonymous
()
Ответ на: комментарий от anonymous

а в случае с редисом вопросы еще и к ужасному background save (или там уже сделали что-то человеческое вместо него?)

Мне ssdb нравится, но это конечно не редис (зато совместимо).

anonymous
()

Оно работает исключительно в ram?

anonymous
()
Ответ на: комментарий от anonymous

если он на уровне протокола совместим с редисом, то это должна быть ок альтернатива.

anonymous
()

А всякие inotify с ней будут работать?

Tanger ★★★★★
()

Объектные хранилища объективно удобны в случае больших объёмов, когда ни файловый обмен данными, ни блочный не подходит. Надо пробовать. Ещё одно S3 в ряд к Minio.

anonymous
()
Ответ на: комментарий от nerfur

я не понял, а зачем оно мне в облаках, если у меня уже есть s3?

Как я понял, это поверх s3, но не обязательно s3, а может быть и что-то другое.

WatchCat ★★★★★
()
Ответ на: комментарий от anonymous

Оно не S3. Оно работает поверх S3, в том числе MinIO.

anonymous
()
Ответ на: комментарий от constin

Это уже не первое такое, ты всё проспал.

anonymous
()

А можно с помощью этого организовать этакую сетевую «sd-карточку» в Android?

Или может кто-нибудь задавался таким безумием и что-то другое знает, подскажите. А то страдаю от нехватки места.

anonymous
()
Ответ на: комментарий от anonymous

Используй NFS или SMB, Redis запускать на смартфоне так себе идея, хотя технически можно, конечно.

anonymous
()
Ответ на: комментарий от anonymous

SMB

С ним у андроида здоровенные проблемы.

devl547 ★★★★★
()
Ответ на: комментарий от darkenshvein

Потому что эта ФС работает поверх объектных хранилищ. Ты можешь подмонтировать S3 bucket и работать с ним как с обычным каталогом. Дома оно особо не нужно, но можно использовать для дешевых бекапов в облака. Надо только настроить правила в S3, чтобы оно автоматом переносило данные в Glacier.

cocucka ★★★★☆
() автор топика
Ответ на: комментарий от cocucka

Средства резервного копирования обычно поддерживают S3 напрямую, либо через rclone. Штука вроде сабжа для этих целей избыточна.

anonymous
()
Ответ на: комментарий от anonymous

Я не об автоматическом бекапе, а более похожем на «бекап» на гугл диск. Когда документы и прочее сохраняешь в облачное хранилище чтоб не потерять.

Штука вроде сабжа для этих целей избыточна.

Да, это я просто привел пример как его можно использовать дома.

cocucka ★★★★☆
() автор топика
Ответ на: комментарий от AVL2

Похоже на рекламу чуда.

Похоже нет: Can I use Redis cluster? The simple answer is no.

Или я чего-то не понял.

foror ★★★★★
()
Последнее исправление: foror (всего исправлений: 1)

И чё так все радуются?

JuiceFS — полностью POSIX-совместимая файловая система. Существующие приложения могут работать с ней без каких-либо изменений.

Как и куча других ФС

Выдающаяся производительность. Задержки могут составлять всего несколько миллисекунд

У многих ниже 1 миллисекунды, намноооого ниже. (большинства лол )

а пропускная способность может быть увеличена до практически неограниченной.

Начался маркетинговый бред, типа в теории мы быстрее всех. На деле есть уже самые быстрые ФС работающие на пике хардварных возможностей. А все эти неограниченные скорости оставьте домохозяйкам и другим кому можно мозги промывать. Уже начиная с этого заявления можно начать поносить проект по делу.

Совместное использование: JuiceFS — это общее файловое хранилище, которое может быть прочитано и записано многими клиентами.

Как и любая другая современная ФС.

Глобальные блокировки файлов: JuiceFS поддерживает как BSD-блокировки (flock), так и POSIX (fcntl).

Опять же как и любая другая.

Сжатие данных: По умолчанию JuiceFS использует LZ4 для сжатия всех ваших данных, вы также можете использовать Z Standard вместо него.

btrfs прости хоспади хоть и ненужно, но уже есть. Хотя если уже честно сказать это первый плюс в ext4 например дефолтном для всего линукса этой фичи нет (хотя если бы была отрубал бы лично я)

По итогу имеем узкоспециализированную нашлёпку над S3 которая ничем не выделяется (критично среди других), несомненно полезную в рамках применения в рамках применимости. Штука хорошая, но штука в себе на деле. +рекламный булшит. Я одно не пойму откуда столько радостных возгласов. Это не замена тому что есть, в теории хоть для всего. На практике для частных задач и не более.

Доволен тому что вышло и работает именно так прозрачно. Но, на деле уже есть 100500 вариантов когда от использования этого у вас будет гореть под стулом ярче солнышка. И на это есть причины архитектурные и фундаментальные.

anonymous
()
Ответ на: комментарий от anonymous

Нахрена ты сравниваешь специализированное решение с ФС общего назначения? Никто сабж не позиционирует как конкурента ФС, поверх которых оно фактически и будет работать.

anonymous
()
Ответ на: комментарий от anonymous

Просто не в курсе новомодных тенденций. Может быть кто-нибудь кратко расскажет зачем оно нужно.

X512 ★★★★★
()
Ответ на: комментарий от anonymous

По итогу имеем узкоспециализированную нашлёпку над S3

что здесь узкоспециализированного, если это все «Как и любая другая современная ФС»?

AVL2 ★★★★★
()
Ответ на: комментарий от X512

Тогда гугли «object storage» и сходи по ссылке из новости. Никаких ракетных технологий там нет, к реестру Windows отношения не имеет.

anonymous
()

Интересно, а как там flock реализован. В S3, вроде бы, нет блокировок…

anonymous
()
Ответ на: комментарий от anonymous

Да и не надо. Локи хранятся в редисе.

AVL2 ★★★★★
()
Ответ на: комментарий от anonymous

Как и куча других ФС во дурак.

речь о шареной и распределенной посикс-совместимой фс. а ее нормальную поди еще поищи (я за много попыток так и не нашел, по итогу каждый раз оказывалось лучше тупо переделать приложения на использование key-value файловых систем типа mogilefs или того же s3), и если этот джус окажется годным, то это прекрасно.

anonymous
()
Ответ на: комментарий от anonymous

да! почему редис, мне непонятно. почему не SQL?

Как-нить от нечего делать запусти тесты поиска по единственному ключу redis и SQL.

TI_Eugene ★★
()

Занятная штука. Архитектурно похожа на CephFS: объектное хранилище для данных и сервис метаданных над ним, чтобы posix изображать.

ugoday ★★★★★
()
Ответ на: Объясните, пожалуйста от anonymous

Redis же in-memory, какая файловая система?

Файловая система — это интерфейс.

https://man7.org/linux/man-pages/man5/procfs.5.html

https://wiki.debian.org/ramfs

http://man.cat-v.org/plan_9/4/ramfs

korvin_ ★★★★★
()
Последнее исправление: korvin_ (всего исправлений: 1)
Ответ на: комментарий от upcFrost

ceph – ужасно хрупкий, тяжелый в запуске и поддержке комбайн. это, правда, было 5-6 лет назад. может, с тех пор и улучшили чего.

интересно, как с этим обстоят дела у juicefs.

anonymous
()
Ответ на: комментарий от anonymous

S3-compat емнип. По крайней мере гейт для с3 точно есть, а кишки понятно что свои

upcFrost ★★★★★
()
Ответ на: комментарий от anonymous

Не улучшили, фс по крайней мере. Имеем секс с ceph раз в месяц стабильно.

upcFrost ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.