быстро передать образ по сети

выброси lrzip, возьми pxz.

pbzip2?

и да, netcat же есть.

pbzip2?

мм, мне кажется bzip это очень медленно, даже если ускорить в разы.

netcat же есть.

лень ставить, пока в это не упирается :(

возьми pxz.

Ему, похоже, памяти не хватает, оно доходит до 15 гиг и ...

# cat /dev/sda | pxz -4 > /dev/null                                                                                          
Segmentation fault (core dumped)

Настройки компрессии не влияют, оно всегда жрёт много памяти. Кстати, я не вижу чтобы pxz размазывало на несколько процов.

pxz умеет жать поток в параллель?

http://www.linux.org.ru/forum/talks/8591494

Повторил эту команду на своей генте (кстати, тоже 8120+8 гигов оперативы).
Отожрал все 8 ядер и работает как надо.

А памяти сколько жрёт? Какого размера у тебя /dev/sda?

Какого размера у тебя /dev/sda?

250 гигов чтоль.

А памяти сколько жрёт?

Мало, от 50 до 120, но у меня uksm.

лишний cat (lrzip не хочет читать из блочных устройств напрямую)

Читай напрямую pv

не задействованы все ядра

pigz/pbzip2

и нужен pv т.к. lrzip работает как-то .. рывками

Ну так может он сначала жмет, потом отдает? Оно тебя беспокоит?

Оно тебя беспокоит?

При таких ключах и совместно с pv нет: lrzip -q -l -N 0 -p7 -w 1

Правда, я не уверен что -w на что-то влияет. И мне не удалось его заставить жрать все ядра.

Нет, я имею в виду - оно реально какую-то пользу приносит? Есть разница в скорости копирования?

оно реально какую-то пользу приносит?

пытался померять, сходу непонятно. Поэтому я тупо оставил копирование пока обедал. Сейчас уже всё скопировалось, проверять не хочется. Возможно, lrzip сам внутри делает буферизацию.

server# dd if=/dev/sda | nc -q1 -v ip 6500
client# nc -l -p 6500 > server.img

А я так. Сжатие на гигабите не нужно :3

lrzip сам внутри делает буферизацию.

Коливас его не для таких вещей делал)

Сжатие на гигабите не нужно

на бэкапе нету 64гиг, есть 32. После сжатия оно до 19 ужалось.

на бэкапе нету 64гиг, есть 32. После сжатия оно до 19 ужалось.

А, ты в бекапных целях? Фу ^_^

Ну и не всегда в гигабит упирается, у меня на том конце медленный винт который может и забуксовать.

А, ты в бекапных целях?

обновляю прошивку на ssd, в мануале сказано что после этого капут всем данным.

Ну и не всегда в гигабит упирается, у меня на том конце медленный винт который может и забуксовать.

Для этого есть озу и кеши.

обновляю прошивку на ssd, в мануале сказано что после этого капут всем данным.

А, ясно. А не легче тупо внешний винч по usb3 воткнуть?

Тогда скажи, почему нужен именно образ раздела, а не .tar.bz2 файловой системы? Непонятно.

обновляю прошивку на ssd, в мануале сказано что после этого капут всем данным.

Это что за SSD такой?

Это что за SSD такой?

crucial m4, регулярно отваливается в этой тачке.

Тогда скажи, почему нужен именно образ раздела, а не .tar.bz2 файловой системы?

там их штук пять и три ОС, мне не охота с ними всеми возиться индивидуально.

А не легче тупо внешний винч по usb3 воткнуть?

У меня его нет.

Для этого есть озу и кеши.

Не справляются. Да и 12309 никто не отменял, у меня даже курсор с экрана исчезает в таки моменты. Арчеядро, блин.

А какую прошивку лить собрался?

Последнюю. Если не поможет то я не знаю что делать. Будет внешним венником для бэкапов. Проблема следующая - оно отваливается либо через три-четыре дня, либо после гигов 20-30 плотного io.

Это которая 040H? Я заливал. Ничего никуда не пропало, да и в мануале я ничего не видел про "капут всем данным".

Арчеядро, блин.

Арчеядро - это ванильное ядро:)

Да и 12309 никто не отменял

Приоритет понизь. Или pf-kernel накати.

Не справляются.

Увеличь.

crucial m4, регулярно отваливается в этой тачке.

cast pekmop1024

Это которая 040H? Я заливал. Ничего никуда не пропало

Ну и слава богу. Но с бэкапом мне спокойнее.

Арчеядро - это ванильное ядро:)

вопрос в конфиге

Увеличь.

Я лучше данные сожму чем буду менять мамку, оперативу, проц и жёсткий диск.

Надо быстро перелить образ диска по гигабитной локалке. Как? Я пока делают вот так:

А оправдано ли в данном случае сжатие? Какая скорость последовательного чтения с диска?

Приоритет понизь.

Не помогает.

pf-kernel накати.

Попробую.

А оправдано ли в данном случае сжатие?

на удалённой стороне нет 64гиг свободного места. Есть 32.

Что-то как я ни гонял файло через ssh, скорость всегда падала катастрофически. Поэтому если надо быстро-быстро, то шлю всегда без ssh.

Я лучше данные сожму чем буду менять мамку, оперативу, проц и жёсткий диск.

Буферы увеличь, а не железо меняй :)

Что-то как я ни гонял файло через ssh

поэтому там указано -c arcfour

Буферы увеличь

Окей :)

Надо бы перемерять. Вроде не особо спасало меня от проседания скорости.

Надо бы перемерять.

Есть куча док в гугле. Правда, нормальную сложно найти. Вот здесь можно на глаз оценить: http://www.scribd.com/doc/3030590/Speed-up-scp-file-transfer

Лучше заново померять. В совсем-совсем простом тесте у меня arcfour в три раза быстрее того что по дефолту. Мерял так: time { dd if=/dev/zero bs=1M count=500 | ssh -c arcfour localhost «cat >/dev/null»; }.

спасибо, попробую. Пришло время встретить застарелую фобию лицом к лицу!

crucial m4, регулярно отваливается в этой тачке.

4.2 же. В мануале написано - бэкапьтесь, бэкапы - это святое.
Сразу видно, что ты никогда эту самую прошивку не обновлял, только троллишь жиденько.

только троллишь жиденько.

Сосямба:

WARNING: The Firmware update is destructive to the data on the SSD and on the flash drive being created as bootable media. Your data will be lost. 

http://edge.crucial.com/firmware/m4/040H/Crucial_m4_Firmware_Update_040H.pdf

WARNING: As with all firmware updates, it is strongly
recommended that you backup or make copies of all important
files before performing this update. This firmware update process
is done entirely at your own risk. If performed correctly, there
will be no loss of system or user data on the drive. However, if
the firmware process is interrupted for any reason, your solid
state drive may not function properly. If this update is done on
a notebook computer, it is strongly recommended that power
be supplied by the AC power adapter.

Я ответил на вопрос откуда я взял что апдейт уничтожает инфу. Какие ко мне претензии если у них противоречивые данные на сайте? Я не сам выдумал, я привёл цитату.