LINUX.ORG.RU

xz выжрал всю память и был расстрелян за это

 ,


0

2

В вдогонку треда о эффективном использовании памяти =)

Запустил архивацию и сжатие:

$tar cSfv -  new/ | xz -z9c -T4  > newmusic.txz
....
Убито

Но пришел добрый дядя OOM и расстрелял мерзавца.

[ 2400.875873] Out of memory: Kill process 2204 (xz) score 570 or sacrifice child
[ 2400.875875] Killed process 2204 (xz) total-vm:5422432kB, anon-rss:4481780kB, file-rss:1420kB

Нормальное ли поведение xz или я криворукий?

★★★★★

man man && man xz

The  memory  usage of xz varies from a few hundred kilobytes to several gigabytes depending on the compression set‐
       tings.  The settings used when compressing a file determine the memory requirements of the decompressor.  Typically
       the  decompressor needs 5 % to 20 % of the amount of memory that the compressor needed when creating the file.  For
       example, decompressing a file created with xz -9 currently requires 65 MiB of memory.  Still,  it  is  possible  to
       have .xz files that require several gigabytes of memory to decompress.

       Especially  users of older systems may find the possibility of very large memory usage annoying.  To prevent uncom‐
       fortable surprises, xz has a built-in memory usage limiter, which is disabled by  default.   While  some  operating
       systems  provide  ways  to  limit  the memory usage of processes, relying on it wasn't deemed to be flexible enough
       (e.g. using ulimit(1) to limit virtual memory tends to cripple mmap(2)).

       The memory usage limiter can be enabled with the command line option --memlimit=limit.

P.S. Если непонятно, то гугл-транслейт там

redgremlin ★★★★★
()
Ответ на: комментарий от redgremlin

Да, спасибо, я прочитал man. Насколько я понимаю, здесь говорится о расжатии:

 The settings used when compressing a file determine the memory requirements of the decompressor

Неужели это нормальное поведение xz при сжатии - прибитие его OOMом?

int13h ★★★★★
() автор топика

Да, это нормальное поведение. В мане всё написано. Используй не столь агрессивные настройки сжатия. И вообще:

newmusic

Музыку гораздо эффективнее жмёт flac, да и в использовании удобнее.

Psych218 ★★★★★
()
Ответ на: комментарий от Psych218

Там и так flac, я просто проверяю как xz в многопотоке работает и хочу сравнить с другими компрессорами

int13h ★★★★★
() автор топика
Последнее исправление: int13h (всего исправлений: 1)
Ответ на: комментарий от int13h

Лучше проверять на тех данных, которые он способен нормально сжать. А то это какие-то бесполезные тесты. На тексте там, на бинарниках, да хотя бы на wav.

Psych218 ★★★★★
()
Ответ на: комментарий от Psych218

в том то и прикол, хочу проверить на любых данных, в данном случае проверяю на «плохих» данных

int13h ★★★★★
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.