LINUX.ORG.RU

Работает ли архиватор ZIP с архивами больше 2Gb? Больше 4Gb?


0

1

Здравствуйте!


Пишу сейчас скрипт бэкапа. И несколько раз натыкался в обсуждениях на то, что архиватор ZIP не работает нормально с файлами более 2Gb.

У меня версия Zip 2.31 (March 8th 2005) Cent OS 5.8.

Вопрос. Будут ли проблемы с большими файлами архивов, создаваемых через ZIP? Если файл превысит 2Gb? Если файл превысит 4Gb? Или такая проблема была только в старых ZIP, и ее уже давно исправили?

Еще мне придется разбивать большие архивы через zipsplit. Как там он, умеет файлы по 10-20Gb корректно разбивать на 2Gb, или тоже есть ограничения?

Не хотелось бы пользоваться 7zip, ибо он в разы медленней чем zip.

★★★★★

Последнее исправление: Xintrea (всего исправлений: 1)

А попробовать? Ни одного фильма нет что ли на винте? А вообще юзай bz2

Suntechnic ★★★★★
()
Последнее исправление: Suntechnic (всего исправлений: 1)

Если файл превысит 4Gb?

Нужно гуглить на тему поддержки ZIP64 в стоковом zip

Не хотелось бы пользоваться 7zip, ибо он в разы медленней чем zip.

Если использовать компрессию уровня 2, то по скорости сопоставимо. Другой вопрос что 7zip разбивает тома через тот же split - так что о корректности там можно говорить с большой натяжкой.

TEX ★★★
()

я тоже использую архивы для бэкапа (tar), но у меня и бэкап размером 31мб.

на вашем месте я бы все данные засунул на отдельный монтируемый раздел, и бэкапил его целиком при помощи чего-нибудь.. навроде dd. чтобы делать бэкап раздела целиком.
попробуйте посмотреть в эту сторону, я этот вопрос не изучал :(

имхо, архивы для большого объема данных негодны.

Spoofing ★★★★★
()
Ответ на: комментарий от TEX

Мля, а есть ли хоть какой кроссплатформенный архиватор, который нормально работает с большими архивами?

Мне архивы надо делать на Linux, а разворачивать если что случится - на Win.

Xintrea ★★★★★
() автор топика
Ответ на: комментарий от Xintrea

Мля, а есть ли хоть какой кроссплатформенный архиватор, который нормально работает с большими архивами?

winrar увы

TEX ★★★
()
Ответ на: комментарий от Xintrea

Да вроде же виндовы 7z отлично tar.gz и tar.bz распаковывает. Разве нет?

Suntechnic ★★★★★
()
Ответ на: комментарий от Spoofing

Мне этот бекап на облачное хранилище надо заливать.

А у cloudfuse ограничение на 2Gb/файл.

А у самого облачного хранилища в API ограничение на 4Gb/файл.

То есть, без разбивки никак не обойтись.

Xintrea ★★★★★
() автор топика
Ответ на: комментарий от Xintrea

Ну ... в теории еще и tar, но созданием томов там замутка, во первых нужно мутить внешний скрипт, во вторых в 5-м RHEL версия tar без поддержки переменной TAR_VOLUME. Да и вообще он нихрена не удобный.

TEX ★★★
()
Ответ на: комментарий от devl547

Он не создает нормальные тома.

Да и после изучения синтаксиса опций, хочется пойти и сбросить пару Палпатинов в шахту реактора

TEX ★★★
()
Ответ на: комментарий от Xintrea

А в чем проблема у 7-zip при разбиении на тома?

Том в 7zip это кусок архива полученный банальным сплитом.

Создай в 7zip архив с парой томов, потом скопируй отдельно второй том куда либо, и попробуй его 7zip-же и открыть.

Вкусовщина конечно, но я не считаю «томирование» через split нормальным многотомным архивом

TEX ★★★
()
Ответ на: комментарий от TEX

Вкусовщина конечно, но я не считаю «томирование» через split нормальным многотомным архивомВкусовщина конечно, но я не считаю «томирование» через split нормальным многотомным архивом.

Да пофигу в общем то.

Главное чтоб split нормально отработал при разбивке файла в 10-20Gb на 1,99Gb. А в этом уверенности я так понял нет, и проверить можно только опытным путем?

Xintrea ★★★★★
() автор топика
Ответ на: комментарий от Xintrea

А в этом уверенности я так понял нет, и проверить можно только опытным путем?

Да почему, уж что то, а размер то выдерживается точно. Просто в стоковом zip один фиг поддержки ZIP64 нет, так что либо tar либо 7zip

TEX ★★★
()
Ответ на: комментарий от Xintrea

Почему нет? Формат 7z поддерживает такие размерности в отличие от zip. Если скорость не устраивает — поставить тот же deflate в метод сжатия, делов–то.

Другое дело, что каждый «том» в 7z — это просто отрезанный кусок от одного большого архива, в нём нет заголовка, нельзя просмотреть файлы, нельзя частично извлечь файлы. Если потеряется или будет повреждён один том, восстановить будет куда сложнее, чем многотомный rar.

Quote
()

rar уже пробовал? Чем-то не устроил?

http://rarlab.com/download.htm

Просто, если предстоит хранить объёмные файлы, да ещё и передавать их через интернет с разбивкой на тома, чтобы не перекачивать побитые при отправке файлы и иметь возможность их восстановить на месте приёма, я бы использовал именно rar с опцией «добавления информации для восстановления».

$ /opt/rar/rar | grep -E '(Roshal|recov)'
RAR 5.00 beta 4   Copyright (c) 1993-2013 Alexander Roshal   30 May 2013
  rr[N]         Add data recovery record
  rv[N]         Create recovery volumes
Причём, есть версия как с динамической
$ ldd /opt/rar/rar
	linux-vdso.so.1 =>  (0x00007fff9cf21000)
	libstdc++.so.6 => /lib64/libstdc++.so.6 (0x00007f07d061d000)
	libm.so.6 => /lib64/libm.so.6 (0x00007f07d031c000)
	libgcc_s.so.1 => /lib64/libgcc_s.so.1 (0x00007f07d0105000)
	libpthread.so.0 => /lib64/libpthread.so.0 (0x00007f07cfee9000)
	libc.so.6 => /lib64/libc.so.6 (0x00007f07cfb31000)
	/lib64/ld-linux-x86-64.so.2 (0x00007f07d0958000)
так и со статической линковой
$ ldd /opt/rar/rar_static 
	не является динамическим исполняемым файлом

justAmoment ★★★★★
()

Попробуй winrar, он всё поддерживает, и тебе ничего устанавливать не придётся.

anonymous
()
[root@twiki mnt]# ls -lah
-rw-rw-rw-   1 apache apache  13G Mar 14 09:02 twiki-backup-2013-03-14-09-34.zip
[root@twiki ~]# zip -v
Copyright (c) 1990-2008 Info-ZIP - Type 'zip "-L"' for software license.
This is Zip 3.0 (July 5th 2008), by Info-ZIP.
Currently maintained by E. Gordon.  Please send bug reports to
the authors using the web page at www.info-zip.org; see README for details.

Latest sources and executables are at ftp://ftp.info-zip.org/pub/infozip,
as of above date; see http://www.info-zip.org/ for other sites.

Compiled with gcc 4.4.4 20100525 (Red Hat 4.4.4-5) for Unix (Linux ELF) on Nov 11 2010.

Zip special compilation options:
        ASM_CRC
        ASMV
        USE_EF_UT_TIME       (store Universal Time)
        SYMLINK_SUPPORT      (symbolic links supported)
        LARGE_FILE_SUPPORT   (can read and write large files on file system)
        ZIP64_SUPPORT        (use Zip64 to store large files in archives)
        UNICODE_SUPPORT      (store and read UTF-8 Unicode paths)
        STORE_UNIX_UIDs_GIDs (store UID/GID sizes/values using new extra field)
        UIDGID_NOT_16BIT     (old Unix 16-bit UID/GID extra field not used)
        [encryption, version 2.91 of 05 Jan 2007] (modified for Zip 3)

вроде никаких проблем с ним нет

nerve ★★
()
Ответ на: комментарий от justAmoment

rar уже пробовал? Чем-то не устроил?

формально он платный как бы

TEX ★★★
()
Ответ на: комментарий от TEX

Даже тот, на чей пост ты отвечаешь, некрофил. А тс — пухленький виндовоз. Да, $ uname -v ==> #1 SMP Debian 3.2.41-2

anonymous
()
Ответ на: комментарий от devl547

7-zip сжимает в многотомный архив по 2ГБ том максимум.

iZEN ★★★★★
()
Ответ на: комментарий от TEX

ну так пусть качает с сайта зипа и устанавливает 3. в чем проблема?

nerve ★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.