LINUX.ORG.RU
ФорумAdmin

Ext4 и прозрачное сжатие директорий

 ,


0

3

Привет, ЛОР!

Скажи, а есть чо? Хочется прозрачного сжатия на уровне файловой системы для Ext4. Быстрый гугл не выдаёт ничего путного, но вдруг я не то ищу. В основном, гугл показывает всякие странные решения через FUSE с монтированием ZIP-архивов, что попахивает глюками и дикими тормозами.

Ситуация такая: есть старый хост с Ext4 вместо файловой системы, там база средней жирности (~300G) в PostgreSQL. Есть новый хост с ZFS и сжатием через lz4, там ровно та же база занимает ~70G реального места, то есть степень сжатия почти три раза. Хочется аналогичный результат на первом хосте без полного переформатирования диска.

Перемещено hobbit из general

★★★★★

Последнее исправление: hateyoufeel (всего исправлений: 1)

Ответ на: комментарий от kirill_rrr

Даже если нет, серверные диски всё равно в разы дороже а контора не обязательно богатая и/или крупная.

Вообще, это мой собственный проект, за мои деньги :)

ФС в принципе не может дать выигрыша для работы БД - это лишний слой абстракции с дублированием одного и того же функционала и у разных ФС разное поведение.

Що ты тут несёшь-то, хоспидя помилуй??!!! Ты, блин, ещё RAID предложи прямо в СУБД засунуть по самые гланды. И драйвер контроллера, на всякий случай.

hateyoufeel ★★★★★
() автор топика
Последнее исправление: hateyoufeel (всего исправлений: 2)
Ответ на: комментарий от kirill_rrr

А в каком именно модуле ядра реализован рейд не сказывается вот вообще ни на чём, а особенно на логике чередования блоков по дискам и следующему из этого ускорению..

Ещё как сказывается, потому что в mdraid просто нет страйп-кеша. Вообще.

cumvillain
()
Ответ на: комментарий от hateyoufeel

Ты, блин, ещё RAID предложи прямо в СУБД засунуть

А оно ещё не умеет? Есть же правило - хочешь сделать что то хорошо - сделай это сам. Т.е. если задача размещать данные по диску то БД имеет больше возможностей сделать это лучше ФС. Ну как не бывает браузеров без собственного менеджера памяти и определителя потоков на цпу.

kirill_rrr ★★★★★
()
Ответ на: комментарий от kirill_rrr

Не вопрос, можно организовать его другим инструментом.

Который будет давать другие характеристики. Например… zfs!

cumvillain
()
Ответ на: комментарий от cumvillain

О, поверь, я много знаю про то, как работать на хламе и собирать конфетку из говна и палок. Причём и то и другое - б/у.

kirill_rrr ★★★★★
()
Ответ на: комментарий от kirill_rrr

О, поверь, я много знаю про то, как работать на хламе и собирать конфетку из говна и палок. Причём и то и другое - б/у.

Здорово, но это твои помоечные приключения никоим боком не относится к сборке NVMe каким-нибудудь шамшунгом.

cumvillain
()
Последнее исправление: cumvillain (всего исправлений: 1)
Ответ на: комментарий от kirill_rrr

Или bcache. Тот который модуль а не ФС. То на то и выйдет, и ещё хз что сложнее настроить.

Нет, не выйдет. Потому что bcache это не про страйп-кеш, это про тиринг.

cumvillain
()
Ответ на: комментарий от kirill_rrr

Есть же правило - хочешь сделать что то хорошо - сделай это сам.

Поэтому половина лялекса сделана через такую жопу, что очертания ягодиц в ней лишь отдалённо угадываются.

Т.е. если задача размещать данные по диску то БД имеет больше возможностей сделать это лучше ФС.

Или не имеет.

Ну как не бывает браузеров без собственного менеджера памяти и определителя потоков на цпу.

Потому что браузеры – это не просмотрщик документов, это мать их целые ОС с виртуальной машиной, компилятором и прочим говном. Как минимум, за это всё их стоит ненавидеть. Тормознее и глюкавее софта чем современные браузеры надо ещё поискать.

hateyoufeel ★★★★★
() автор топика
Последнее исправление: hateyoufeel (всего исправлений: 1)
Ответ на: комментарий от cumvillain

шамшунгом нет, а каким нибудь... ADATA или Team Group вполне. У них кстати 1Тб диска в 2,9 раза дешевле чем у шамшунга. Наверное это потому, что там стоят одинаковые чипы.

kirill_rrr ★★★★★
()
Ответ на: комментарий от kirill_rrr

шамшунгом нет, а каким нибудь… ADATA или Team Group вполне. У них кстати 1Тб диска в 2,9 раза дешевле чем у шамшунга. Наверное это потому, что там стоят одинаковые чипы.

Секундочку:

продаётся как топ рынка

С каких пор Team Group это топ рынка?

cumvillain
()
Ответ на: комментарий от hateyoufeel

это мать их целые ОС с виртуальной машиной, компилятором и прочим говном

А SQL вот прям намного проще? К тому же там однозначно есть своя собственная система разбрасывания данных по массиву блоков.

kirill_rrr ★★★★★
()
Ответ на: комментарий от kirill_rrr

А SQL вот прям намного проще? К тому же там однозначно есть своя собственная система разбрасывания данных по массиву блоков.

Ты сейчас сравниваешь ОЧЕНЬ разные по порядку сложности вещи.

cumvillain
()
Ответ на: комментарий от cumvillain

С каких пор Team Group это топ рынка?

Я же написал - по соотношению объёма на рубль. ADATA как раз топ, Team Group на 4,8% хуже.

kirill_rrr ★★★★★
()
Ответ на: комментарий от kirill_rrr

Я же написал - по соотношению объёма на рубль. ADATA как раз топ, Team Group на 4,8% хуже.

Т.е. самые дешевые. То есть ты взял самые дешевые SSD с рынка и теперь страдаешь, что их делают из говна и палок. Молодца!

cumvillain
()
Последнее исправление: cumvillain (всего исправлений: 1)
Ответ на: комментарий от cumvillain

Кто-то не знает, что «статистика» у капиталистов это всего лишь рекламный фуфел?

Ну и о воплях о «говнокитайских ссд»: Чипы везде одинаковое говно. И говноамериканских ссд и в говнокитайских. А говноамериканские ещё и закладывают запланированный отлуп, тут ХП пропалился.

Но хуже говнокорейского, говнотайваньского, говнокитайского и говноамериканского говна только говниценская говноадата.

anonymous
()
Ответ на: комментарий от anonymous

Кто-то не знает, что «статистика» у капиталистов это всего лишь рекламный фуфел?

Ну дальше не можно не читать. Рептилоиды, моссад и Ротшильд пьют кровь маленького гордого пролетария.

cumvillain
()
Ответ на: комментарий от cumvillain

Ну ты уже определись, «из говна и палок» или «они там все одинаковые». А то фишка ведь в том, что топ рынка по соотношению объёма на рубль не имеют своих производственных мощностей. Так кто же делает им это говно и палки?

kirill_rrr ★★★★★
()
Ответ на: комментарий от kirill_rrr

Ну ты уже определись, «из говна и палок» или «они там все одинаковые».

Разговор (разумеется) идет про вендоров с качественной продукцией. Нет смысла обсуждать вендоров с некачественной продукцией.

cumvillain
()
Ответ на: комментарий от cumvillain

И не читайте. Верьте дальше в богоизбранных Честных Капиталистов, которые так вами восхитились, что решили ваши интересы поставить выше своих, наплевав на повышение продаж своей продукции.

anonymous
()
Ответ на: комментарий от anonymous

И не читайте. Верьте дальше в богоизбранных Честных Капиталистов, которые так вами восхитились, что решили ваши интересы поставить выше своих, наплевав на повышение продаж своей продукции.

Да-да, и масоны тоже.

cumvillain
()
Ответ на: комментарий от cumvillain

Вот 101% окажется, что adata получает чипы с того же завода, что и кто нибудь из вендоров с качественной продукцией. Просто одному вендору конвейр выплёывает их с одного вывода, а другому с другого.

kirill_rrr ★★★★★
()
Ответ на: комментарий от kirill_rrr

Вот 101% окажется, что adata получает чипы с того же завода, что и кто нибудь из вендоров с качественной продукцией. Просто одному вендору конвейр выплёывает их с одного вывода, а другому с другого.

Они безусловно получают флеш с одного и того же завода. Просто кто-то берет нормальный флеш ДЛЯ ВСЕХ СВОИХ NVME, а кто-то берет не очень И ДЕЛАЕТ ГОВНО ВО ВСЕХ ЛИНЕЙКАХ. Чувствуешь разницу?

cumvillain
()
Последнее исправление: cumvillain (всего исправлений: 1)
Ответ на: комментарий от cumvillain

Если бракованные коре ай-7/9 и ризен 7 можно продавать как ай-3/5 или ризен 3/5, то зачем выбрасывать бракованные флэш-чипы?

kirill_rrr ★★★★★
()
Ответ на: комментарий от kirill_rrr

Если бракованные коре ай-7/9 и ризен 7 можно продавать как ай-3/5 или ризен 3/5, то зачем выбрасывать бракованные флэш-чипы?

Те ядра, что у них функциональные, работают нормально, лол.

cumvillain
()
Ответ на: комментарий от cumvillain

Да, чувствую, потому что «очень» и «не очень» печатались одной и той же машиной на одних и тех же пластинах по одному и тому же лекалу.

kirill_rrr ★★★★★
()
Ответ на: комментарий от kirill_rrr

Всё делают китайцы. Больше никто не умеет, все погорели на «всё купим!» А интеллектуальная собственность, изъятая у изобретателей, сама по себе, без рабочих, средств производства и ресурсов, ничего не порождает.

Есть кое-что на Тайване, но не шибко они горят желанием подарить всё честным джонам, без этих производств Тайвань – просто остров в море с перспективой оказаться отмудоханым одними или подставленным под отмудохивания другими. П****ц без вариантов!

Но делают китайцы ссд строго по заказу и оплате, за свой счёт они чужой фирме делать хорошо не будут.

anonymous
()
Ответ на: комментарий от kirill_rrr

Да, чувствую

Люблю чуваков из глубинки, они всегда знают все тайны мировой закулисы.

cumvillain
()
Ответ на: комментарий от kirill_rrr

Они ещё чипы изнутри говном обмазывают и потом смеются над гоями!!!11

cumvillain
()
Последнее исправление: cumvillain (всего исправлений: 1)
Ответ на: комментарий от cumvillain

Увы, завсегдашний метод высокомерно задрать носик и раздуться от гордыни здесь не сработает. Масоны и рептилоиды чтоль себе бабло в карман кладут? Вы ещё скажите, инопланетяне с планеты Нибиру прилетают и флеш серверный привозят, добытый в чакрах всяких гур-шмур.

anonymous
()
Ответ на: комментарий от kirill_rrr

серверные диски всё равно в разы дороже а контора не обязательно богатая и/или крупная.

«Мы не настолько богатые, что бы покупать дешевые вещи.» Намек на то, что для небогатой и/или не крупной компании это тем более актуальнее.

anc ★★★★★
()
Ответ на: комментарий от anonymous

Увы, завсегдашний метод высокомерно задрать носик и раздуться от гордыни здесь не сработает. Масоны и рептилоиды чтоль себе бабло в карман кладут? Вы ещё скажите, инопланетяне с планеты Нибиру прилетают и флеш серверный привозят, добытый в чакрах всяких гур-шмур.

Уууу, страшные флеш-чипы по ночам оживают и плетут вместе заговоры против мирно спящего пролетариата.

cumvillain
()
Ответ на: комментарий от kirill_rrr

Изначально был про объём, типа чего сжимать - купи побольше.

Ну и? Купи качественный бОльшего обьема.

anc ★★★★★
()
Ответ на: комментарий от anc

Примеры в студию.

К примеру вот:

http://www.oracledba.org/10g/raw_dev/raw_dev_option.html

Raw Devices are disk partitions or logical volumes that have not been formatted with file system. When you use raw devices for database file storage, Oracle writes data directly to the partition or volume, bypassing the operating system file layer. For this reason, you can sometimes achieve performance gains by using raw devices.
Psilocybe ★★★★
()
Ответ на: комментарий от anc

а как вы файлики без фс читать/писать планируете? Своего демона ещё запилить?

Оно изначально так и было, когда БД были сами по себе ОС.

Сначала разработчикам БД стало лень писать поддержку сети, поэтому стали ставить БД на какую-то хостовую ОС с сетью. Но диски и разделы всё еще блоками отдавали в БД, «отсель/досель», без ФС. А потом разработчикам БД стало лень и с дисками возиться самостоятельно.

Toxo2 ★★★★
()
Последнее исправление: Toxo2 (всего исправлений: 1)
Ответ на: комментарий от anc

Ты когда-нибудь в перерывах между своими аутистическими припадками про СУБД и жёсткие диски пытался разговаривать в людьми? Базой данных в том числе называют СУБД, в зависимости от контекста.

Из прочих новостей: ксерокс – это не только техника компании Xerox, но и копировальные машины в принципе, а гуглить можно в том числе на ya.ru.

hateyoufeel ★★★★★
() автор топика
Ответ на: комментарий от anonymous

Прости, анон, я в туалете это писал. Можешь считать это буквальным щитпостом.

hateyoufeel ★★★★★
() автор топика
Ответ на: комментарий от Psilocybe

Наврядли там перформанс будет, потому как все равно на файлы и папочки данные разносятся, но уже в какой-то накопленной файловой системе. Это какой-нибудь sqlite можно было бы так ускорить, так как в одном файле тот

anonymous
()
Для того чтобы оставить комментарий войдите или зарегистрируйтесь.