Судя по man tar? Даже не смешно.

tar --version
tar (GNU tar)...

Когда линуксовые архиваторы будут поддерживать многопоточность? Восемь ядер на борту, при архивации используется только одно...:( Как результат, венда в плане архивации обгоняет линуксятинку - на 2-3 секунды, при сжатии одного и того же файла (749 Мб). Может кто знает, как это исправить? Или надо смириться с однопоточностью при архивации в линуксе?

Когда линуксовые архиваторы будут поддерживать многопоточность?

Когда ты установишь pigz и lbzip2.

Когда линуксовые архиваторы будут поддерживать многопоточность?

xz, bzip2, gzip — поддерживают. Для tar многопоточность не нужна, он не сжимает.

В чём прикол - http://itmages.com/image/view/1260659/5343133d - сжимал под xz... нагружено под 100% только одно ядро, остальные курят бамбук. Боюсь, что bzip2 с gzip покажут то же самое - или попробовать?

Нужно использовать многопоточные реализации: pixz, pbzip2, pigz.

lbzip2 для openSUSE 12.3 с наскоку найти не удалось, но pigz нашёл, установил и - о ЛММ!! - прогресс: целых два ядра на 100% нагрузилось, остальные 6 посмеиваются в сторонке....какие ещё есть варианты? За подсказку спасибо - я правда рад, что хотя бы 2 ядра теперь пашут!

А там раз на раз не приходится. У меня когда два ядра нагружаются, когда три, когда - четыре.

Установка pixz и pbzip2 не помогла. Pigz задействовал 2 ядра. Ура pigz`у!

facepalm.png

Установка pixz и pbzip2 не помогла.

Запускать их пробовал?

Ну так pixz и pbzip2 это для архивов xz и bz2 соответственно, на них и пробуй :)

Кстати, да, теперь у меня только одно ядро пашет...в общем, беда в линуксах с многопоточностью. Может со временем поправят это дело. Обидно, такая няшка под кулером стоит и не работает не фига. В венде все 8 ядер пашут при любой архивации по 30-50% нагрузки на каждое...

все 8 ядер пашут при любой архивации по 30-50% нагрузки на каждое

Значит, это не все 8.

Попробовал и xz, и bz2. Не фига. Как было одно, так и пашет...печаль, ну да ладно.

А сколько же?

Все 8 это когда все 8 на 100%. А когда меньше - это значит, что планировщик кидает потоки с ядра на ядро.

Нагрузка на 100% означает только нагрузку, но не ядро. Если ядро работает на 5%, значит процесс нагружает его только на 5%. В венде, процесс архивации нагружает все 8 ядер на уровне 30% примерно. В линуксе одно ядро отдувается за все на 100%. То есть, процесс идет в одном потоке, по сути. Ни о какой многопоточности тут речи и не идёт. Как результат, венда при сжатии, к сожалению, делает линуха на 2-3 секунды...это не критично, но баттхерт вызывает!))

Попробовал и xz, и bz2. Не фига. Как было одно, так и пашет...печаль, ну да ладно.

Хреново пробовал... :)

tar c имякаталога | pbzip2 --best > имякаталога.tar.bz2 

Хочешь сказать, алгоритм распаковки виндового архиватора настолько корявый, что не может утилизировать ядро на 100%?

ЯВАУЕ!!! Просто в шоке!! Оказывается pigz работает ОТЛИЧНО (!!!) в консоли. Графической штатной сжималкой это дело не пашет. В итоге, сжал 1,3 Гб за 3 секунды!)))) Хаха...сегодня другу-вендузятнику покажу - умоется)))) Спасибо за наводку! Ещё раз убеждаюсь, что линух это консолеориентированная ось.

Да я уж понял, что гуевый архиваторщик не работает с этой фишкой. Через консоль - просто фантастика! Все отлично пашет! Ядра даже на 10% не нагружаются!

Установка pixz и pbzip2 не помогла.

Запускать их пробовал?

В нормальных системах всё само работает, а в вашем линупсе вечно чего-то красноглазить нужно.

Если ядро работает на 5%, значит процесс нагружает его только на 5%. В венде, процесс архивации нагружает все 8 ядер на уровне 30% примерно.

То есть винда загружает примерно 2 ядра из 8. Либо это такая «супер-параллельность», либо у тебя не хватает скорости диска, чтобы отдавать данные.

Сам подумай, если 1 поток сжимает данные со скоростью 20МБ/сек, а твой диск отдаёт данные со скоростью 40МБ/сек, то при любой параллельности больше чем 2 ядра заняты не будут, потому что их нечем занять. И от операционки это не зависит.

Для теста можно проверить:

cat /dev/zero | pbzip2 --best > /dev/null

В нормальных системах всё само работает, а в вашем линупсе вечно чего-то красноглазить нужно.

В этих «нормальных системах» архиватор даже в комплект не удосужились положить, приходится красноглазить и с и-нета качать. :) А нашем линупсе всё есть в репозиториях, никакого красноглазия.

судя по man tar

Не туда смотришь

tar --version что выводит?

Специально для тех, кто ниасилил прочитать тред дальше моего сообщения (а таких человек десять уже набралось): вот.

компрессоры и архиваторы

Нужно пояснить почему второй не может выполнять функции первого хотя бы через вызов этого самого первого через пайп.

Кто тебе сказал, что не может?

GNU `tar' is able to create and read compressed archives. It supports a wide variety of compression programs, namely: `gzip', `bzip2', `lzip', `lzma', `lzop', `xz' and traditional `compress'.

Ну так нечего такую глупость морозить.

К тому же, те кто будет сразу отвечать на твою глупость всё равно это твое сообщения увидят только после того как ответят. Т. е. отправил ты это сообщение, не отправил — ничего не поменяется.

Работа с файлами размером более 8 Гб.

А он что раньше не умел?

Кому и для чего это нужно? Где устройства у которых I/O блоками больше чем 8 Гб? Или вы боитесь фрагментации на ФС ? Лол..

Как можно жить с matlab?! (комментарий)

В идеале, хотелось бы что-то типа Scheme (элементы функционального программирования — замыкания, карринг, лямбды и функции как типы), но с инфиксным синтаксисом (чтобы студентов не пугать), типизованный, но не строго (массовое применение чего-то типа auto в C++11 — вывода типов, но чтобы auto не надо было писать), поддержка элементов ООП (объекты, наследование, перегрузка и полиморфизм), но без множественного наследования, автоматическое управление памятью, тензорные операции как элементы языка (не только вектора и матрицы, но и прочие индексированные объекты). Ну и нормальная библиотека алгоритмов, с биндингами к существующим пакетам, чтобы велосипед не изобретать. Уф, выдохнул :)

посмотри Julia. ну или daovm.net

К тому же, те кто будет сразу отвечать на твою глупость всё равно это твое сообщения увидят только после того как ответят.

Чушь :) Адекватный человек сначала прочитает тред, затем будет отвечать.

З.Ы. Мне кажется, насчёт глупостей ты меня переплюнул на порядок.

star уже не нужен?

Кому и для чего это нужно?

8GB хватит каждому? нуну