Нужно срочно спасать удалённый сервер! :)

>Только давайте флейм не разводить. ext3 у меня уже дважды умирала. А reiserfs - ещё ни разу. Так что для себя по поводу production давно уже всё решено :)
Ну знаешь, судить надо не только по своему личному опыту. Только на своих ошибках учатся сам знаешь кто.
О том, чтобы ext3 дохла на несбойном железе я ни разу не слышал. На сбойном если и дохнет, то данные с неё хотя бы вытащить проще, чем с рейзера.

>> Gentoo.

> Почему я не удивлен? =))

Потому что Gentoo - это один из немногих дистрибутивов, способных проработать четыре года без проблем и перерывов =).

>Ну знаешь, судить надо не только по своему личному опыту.

Правильно. Я по отзывам на том же ЛОРе и сужу :)

>О том, чтобы ext3 дохла на несбойном железе я ни разу не слышал

У меня именно на несбойном однажды и сдохла. При чём без всяких рестартов (аптайм больше 100 суток). После переезда на reisrefs та машинка жила потом при мне ещё три года без нареканий, да и после меня, наверное, немало прожила. Может и сейчас живёт :)

...

Короче, это holywar на одних эмоциях и исключительно личном опыте спорщиков. Скучно :)

> Потому что Gentoo - это один из немногих дистрибутивов, способных проработать четыре года без проблем и перерывов =).

А как же провославный debian?

> А как же провославный debian?

Ну я же не сказал, что Gentoo - единственный.

>shutdown -rF

После рестарта - всё то же самое. Те же несколько нулевых нечитаемых файлов в /tmp

>Думаю для этого надо сначала убить все процессы, у которых могут быть открыты файлы на запись.

Э... Как в lsof выделить процессы, которые держат на "/" (но не в /home или /var) файлы, открытые на запись? :)

Стоп. А можно ли вообще корень налету перемонтировать? Там же /dev и /proc?

...

Говорила мне мама, делай /tmp на отдельном разделе :)

...

О! Кстати! Пойду-ка я его в tmpfs перекину...

Наверное, надо руками запускать, чинить, пока все окончательное не сломается. Может чего интерестное напишет.

Все интереснее и интереснее, а у нас, тут, блин, хотят пожарную эвакуацию объявить (учебную). По стол, спрятаться, что-ли :)

> Стоп. А можно ли вообще корень налету перемонтировать? Там же /dev и /proc?

ЕМНИП udev автоматически монтирует в /dev tmpfs при старте. /sys и /proc тоже сами по себе.

>ЕМНИП udev автоматически монтирует в /dev tmpfs при старте. /sys и /proc тоже сами по себе.

Ну, будем надеяться, что корень держал только /tmp

(перемонтировал в tmpfs, как на других машинах давно сделал и отправил в 4-ю перезагрузку... Это рекорд, прямо какой-то - 4 рестарта за день. ИМХО, такого на этой машине от рождения не было :))

>>Блин, как бы reiserfsck провести для корневого раздела удалённого сервера? Боюсь, что pass=1 в fstab нифига не помогает :)

ну, как вариант примонтировать сеетвую фс, скопировать туда образ корневой и проверить на локальной машине смонтированный образ. Будешь хотя бы в курсе того, что там с фс.

После выноса /tmp remount для "/" всё равно не проходит. Занято и всё тут :)

я бы в rc.S, или как там в этом вашем генту сингл-юзер инит-скрипт зовется, написал бы что-то типа
mount -o remount,ro / && reiserfsck --rebuild-tree /dev/sdaX

и еще && reboot естесно.

> После выноса /tmp remount для "/" всё равно не проходит. Занято и всё тут :)

Убей все юзерспейсные процессы, кроме init и sshd =).

Я сейчас покопался по старым ls -lr дампам, случайно завалявшимся в бэкапе, этим файлам года три где-то, наверное :)

...

Так что, значит, непонятно, но ничего страшного. Хотя проверить FS надо бы... Но как-нить, когда, наконец, до площадки доберусь :)

...

Пойду пока ядро обновлю. Раз уж сегодня день рестартов...

Блин, в раздумьях. Group CPU scheduler выключать или нет? :)

Очень интересные графики на время зависа :) (справа последние ~6 часов):

Число тредов:
http://admin.airbase.ru/munin/airbase/airbase/threads-day.png

Число процессов:
http://admin.airbase.ru/munin/airbase/airbase/processes-day.png

Загрузка CPU:
http://admin.airbase.ru/munin/airbase/airbase/cpu-day.png

LA:
http://admin.airbase.ru/munin/airbase/airbase/load-day.png

Использование памяти:
http://admin.airbase.ru/munin/airbase/airbase/memory-day.png

нельзя подключить ip kvm и загрузить сингл юзер моде ?

>нельзя подключить ip kvm и загрузить сингл юзер моде ?

Х.з. Но это тоже долгая переписка с техсаппортом, проще самому уж приехать :) Да и не люблю я как-то IP KVM'ы :)

> Х.з. Но это тоже долгая переписка с техсаппортом, проще самому уж приехать :) Да и не люблю я как-то IP KVM'ы :)

ну не знаю, с VNC KVM это просто супир незаменимая вещь.

> Чёрт, как бы починить активный корневой раздел?

tune2fs -C 999 / && reboot

> После выноса /tmp remount для "/" всё равно не проходит. Занято и всё тут :)

lsof что говорит?

> > Х.з. Но это тоже долгая переписка с техсаппортом, проще самому уж приехать :) Да и не люблю я как-то IP KVM'ы :)
> ну не знаю, с VNC KVM это просто супир незаменимая вещь.

Особенно, когда нужно добраться до сервака, который вообще без системы, или загрузчик умер.
Жаль, но у моего хостера (layered tech) аренда такого KVM обходится в 30 баксов в сутки. Но вещь в некоторых случаях незаменимая.

>lsof что говорит?

# lsof | wc -l
12713

# lsof | grep -v '/tmp' | grep -v '/var' | grep -v '/home/' | wc -l
10263

:)

Вставлю свои пять копеек. Недавно сервак (+ втолрой не мой, но с таким же корпусом ) тоже глюкал по черному с винтами была проблема. Оказалось (с вероятностью 99%) что из-за того что вентиляторы износились они начинали вибрировать и из-за этого винтики глюкали страшно.

PS корпуса 1u вентиляторы мелкие, но мощные.

> # lsof | wc -l

А lsof / | wc -l

# lsof / | wc -l
8299

...

Порылся - и вьехал. Да, у меня там дофига сервисов сидит. У меня в корне лежит /home2 :) А там и сайты живут, и mysql... Как-нить ночью поиграю, попробую вырубить.

mc создаёт что-то в /tmp

/tmp у меня уже в tmpfs :)

(там и без него ... вот сейчас 4039 php-сессийных файлов одних)

Можно нубский вопрос, чем такие графики строить?

# eix munin
[I] net-analyzer/munin
     Available versions:  (~)1.3.2 (~)1.3.2-r1 (~)1.3.2-r2 (~)1.3.2-r3 (~)1.3.3 (~)1.3.3-r1 (~)1.3.3-r2 (~)1.3.4 1.3.4-r1 {doc irc minimal munin-apache munin-dhcp munin-irc munin-squid munin-surfboard mysql postgres ssl}
     Installed versions:  1.3.4-r1(01:57:02 31.10.2008)(mysql postgres ssl -doc -irc -minimal)
     Homepage:            http://munin.sourceforge.net
     Description:         Munin Server Monitoring Tool

Очень удобная штука для самостоятельного расширения.

Благодарю