LINUX.ORG.RU
ФорумTalks

В чем бы хранить сотни тысяч и миллионы мелких файлов?

 


0

2

Собираю их tar'ом.
Но это капец. В том плане, что открыть дабы добраться до внутренней структуры каталогов, ну чтоб вытащить конкретный подкаталог или файл, это адский ад. Ждать долго.

Что кроссплатформенного (под офтопиком обязательно чем-то должно открываться) можете посоветовать?


Ответ на: комментарий от CYB3R

Ну вот сейчас я жду пока прочтется структура тара на 80гб и несколько млн файлов. Прошло минут 5-7 уже. Пока нашлось 1.7М файлов.

dk-
() автор топика
Ответ на: комментарий от dk-

ну это почти «образ dvd диска» - говорят что восьмерка уже умеет монтировать изкаробки (http://blogs.msdn.com/b/mis_laboratory/archive/2012/08/30/mounting-iso-files-...), линукс тоже

только вот изменять там файлы весьма гиморно

Deleted
()
Последнее исправление: Deleted (всего исправлений: 1)
Ответ на: комментарий от dk-

Ну вот сейчас я жду пока прочтется структура тара на 80гб и несколько млн файлов.

Пройди уже по ссылке, которую я дал.

CYB3R ★★★★★
()

В базе данных блобами. И да, я серьёзно.

post-factum ★★★★★
()

Reiser4

Используй Reiser4 или даже Reiser4 со сжатием.

под офтопиком обязательно чем-то должно открываться

Ой.

Camel ★★★★★
()
Последнее исправление: Camel (всего исправлений: 1)
Ответ на: комментарий от dk-

Не даже

Жипеги жать смысла нет)

Ну тогда Reiser4 без сжатия, но всё равно не подходит по другим причинам.

Может zip? Можно его монтировать через FUSE?

Camel ★★★★★
()
Ответ на: комментарий от dk-

Я xz

Зип умеет контейнеры больше 2 (или 4) гб?

Ну тогда xz или 7z. К ним вроде бы есть FUSE'овые драйверы.

Camel ★★★★★
()

Задача даже в линуксе толком не решаемая, не то что в винде. Решение post-factum наиболее близко, но тоже тот еще костыль.

xtraeft ★★☆☆
()

rar и монтировать через rar2fs.

Lavos ★★★★★
()

Грусть короче.

Причем поясню:
В каждом конкретном подкаталоге не бывает овер дохрена файлов! Ну несколько тысяч максимум (1-2)

dk-
() автор топика
Ответ на: комментарий от dk-

А основного рабочего софта под линукс просто нет.

Сейчас тебе объяснят, что ты не в том работаешь =)

Zhbert ★★★★★
()

Кстати, а тебе надо именно архив? То есть, с сжатием?

Есть такая софтина, название вылетело из головы, она из каталога делает тебе исошку. Вот берешь свой каталог, исошишь его, и все. Потом монтируй и прямо так и смотри.

Zhbert ★★★★★
()
Ответ на: комментарий от dk-

В каждом конкретном подкаталоге не бывает овер дохрена файлов! Ну несколько тысяч максимум (1-2)

Ну так это ntfs тормозит.

xtraeft ★★☆☆
()
Ответ на: комментарий от Zhbert

Нет, сжатие не нужно. Жипеги же.

Просто нужен удобный контейнер, чтоб оно хранилось единым файлом, а не россыпью.

Исошить это мысль.

dk-
() автор топика

Собираю их tar'ом.
Но это капец. В том плане, что открыть дабы добраться до внутренней структуры каталогов, ну чтоб вытащить конкретный подкаталог или файл, это адский ад. Ждать долго.

надо ж было додуматься. Потоковый формат для вытаскивания конкретных файлов.

сотни тысяч и миллионы мелких файлов

нужна какая-то фс. Тар - не фс.

n_play
()
Ответ на: комментарий от CYB3R

а есть реальный профит?

тар - этож посути конкатенация файлов (и их аттрибутов) последовательно. Так или иначе прочитать всё содержимое наверно придётся и не раз.

n_play
()
Ответ на: комментарий от CYB3R

Придётся, но структуру так ты увидишь почти сразу, ждать пару часов не нужно.

почему это? разве в таре есть явное отделение между структурой файлов и их содержимым?

n_play
()
Ответ на: комментарий от xtraeft

Пока только тар. Изначально за него взялся, чтоб было удобно на сервере распаковывать, не ставя доп. софт.

Рар - не быстрее.

7зип, пожалуй, надо наконец-то попробовать. Пойду зипану им лямов пять файлов.

dk-
() автор топика
Ответ на: комментарий от xtraeft

Хм.

А следует признать, что операцию «покажи мне что лежит внутри 7зипа» оно таки шустрее тара делает!

Надо найти распаковывалку на сервере. И можно перелазить на 7зип.

dk-
() автор топика
Ответ на: комментарий от dk-

шустрее тара

Тебе выше уже писали, почему tar не подходит для этой задачи.

Надо найти распаковывалку на сервере.

p7zip

xtraeft ★★☆☆
()
Ответ на: комментарий от xtraeft

А что в плане повреждений?

Ну побился архив где-то посередке.
Я потеряю все дальше этого участка, или только на этом участке?

dk-
() автор топика
Ответ на: комментарий от dk-

Я не знаю, надо доки читать.
У меня не бьется :)

xtraeft ★★☆☆
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.