zfs :)

ZPAQ

Какие ФС /архиваторы с дедупликацией существуют?

Объясни лучше что ты хочешь с этим сделать.

перечитай топик

Поскольку задачу, рассмотренные пути решения и возникшие трудности ты не описал, а описал лишь свою хотелку, то решай свою задачу сам.

В первом комментарии тебе предложили ФС с дедупликацией. Если тебе это не подходит, то сперва научись разговаривать с людьми, а затем приходи снова.

И с архивацией :)

root@bve-01:~# zpool list
NAME   SIZE  ALLOC   FREE  CKPOINT  EXPANDSZ   FRAG    CAP  DEDUP    HEALTH  ALTROOT
tank  18.1T  15.7T  2.45T        -         -    40%    86%  4.85x    ONLINE  -

Вот мой уровень дедупликации на zfs - 4,85.

В вот как оно ещё и жмет то, что мне надо:

root@bve-01:~# zfs get compressratio /tank/subvol-50006-disk-1
NAME                      PROPERTY       VALUE  SOURCE
tank/subvol-50006-disk-1  compressratio  1.81x  -

Нужно просто вникать в данные которые ты собрался хранить и будет всё ОК!

гм, надо бы тебя в игнор-лист добавить, ты то ли упорот постоянно, то ли обиженка за что-то. всё время хамишь.

Подойдет любая ФС. Используйте VDO.

btrfs.
практически любой архиватор с опцией непрерывности архива.

это как?

btrfs.

Прикрученные синей изолентой скрипты для замены идентичных файлов на рефлинки - это не дедупликация.

так и снапшоты на жопу прилеплены и типа «есть поддержка»

Снапшотами сам пользуюсь и горя не знаю. А вот дедупликации нет и ещё долго не будет (если её вообще запилят).

В git закинь свои файлы.

архиваторы с дедупликацией существуют?

tar + undup (https://github.com/FS-make-simple/undup) + [compress]

в btrfs есть CoW так что явно не линки :)

когда пакуешь данные в непрерывный архив с большим размером словаря, то через онный словарик дублированные потоки байтов находятся и заменятся ссылками.
там конечно неполноценный поиск дубль-файлов. но, как следствие из метода архивации, вполне себе работает.

Так и говорю - рефлинки.

squashfs, dwarfs.

в ZFS дедупликация сжирает кучу оперативы же , или это пофиксили?

Известный опеннетовский мудрец, большой любитель (целой душой) любого проприетарного говна - сказал, что всё из-за того, что к линуксу ZFS прикручен сбоку, и бздям тоже, а в родном солярисе никогда не жрал память.

Враньё.
Драма как раз была в родном ZFS, а точнее на форуме нексенты кажись.
И емнип фряха её унаследовала.
Я краем уха где-то слышал что вроде бы пофиксили, да вот думаю надо уточнить, раз человек эту фичу использует, то возможно вкурсе.

Кстати, а что за мудрец? Нах или пох?
Хотя говорят что это одно лицо.

Ну да, один из них. Сейчас уже не припомню (лично уверен, что это один и тот же человек).

find exec hardlink

Тривиально скриптом делается. Потрать 5 минут на скрипт и всё. ln /my/file /hash/deadbeef/beadfeef

XFS с рефлинками + https://github.com/markfasheh/duperemove

враньё про всегда, но в соляре уже давно как переделали и теперь ddt занимает гораздо меньше места

скриптом делается

Нафига скриптом, rdfind же?

[жж]

короче, подключил пока ZOL, сжатие, дедупликацию, тыкаюсь. забиваю файлами, смотрю на быстродействие и жор ОЗУ

Эм… Я не очень понял откуда ноги у этого мифа, если честно. Я проверяю периодически сколько оно ест. Это же можно считать на калькуляторе, и видеть в реалтайме. Если изначально хранить данные, которые поддаются дедупликации, очевидно, что с памятью будет всё ОК. Если пытаться дедуплицировать картинки и архивы - очевидно, что выхлопа не будет, зато будет жор памяти. Не?)

это не миф, косяк был в том что таблица дедупликации целиком должна была влезать в оперативу, если ей не хватало места пул вставал раком.
по этому поводу у нексенты был большой лулз
впрочем это было давано и аноним выше сказал что пофиксили, так что забей =)

Оно жрёт, ЕМНИП, по 320 БАЙТ на блок. А уж от твоих данных зависит сколько будет сожрано всего.

драма была не в том сколько жрет, а в том что вся DDT должна была быть in-memory.

zfs :)

Там жесть неюзабельная (constant block deduplication), а не нормально работающая дедупликация (variable block deduplication).

Да. От твоих данных зависит сколько будет сожрано, т.е. очень хорошо подходит для нешифрованных бекапов СУБД, например. Плюс, DDT может жить и в l2arc! Что уже не так плохо. :)

vdo

https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/7/html...