Перезагрузка из-за переполнения ОЗУ

0

1

Ситуация: вычислительный кластер, на узлах запускается приложение в 20 потоков потребляющее много памяти. В один момент ОЗУ заканчивается и узлы тут же уходят в перезагрузку. Что бы пользовательское приложение уводило систему в перезагрузку мне кажется мало вероятным, более вероятным кажется, что систему выводит из строя либо какая-то служба (например, ganglia), либо драйвер Infiniband. Если что ОС Redhat 6, ОЗУ 64Гб, своп 2 Гб. Что можно сделать?

Ссылка

←	Автозапуск Apache в chroot

Тупняк с сетью

→

← 1 2 →

Ответ на: комментарий от vel 29.04.14 13:10:51 MSK

Вообще надо понять почему резко кончается память.

Память заканчивается, потому что прикладному процессу её мало (решается задача молекулярной динамики на кластере).

overcommit_memory=2

пошёл смотреть

AlexVR ★★★★★
(29.04.14 15:16:38 MSK) автор топика

Ссылка

Ответ на: комментарий от vel 29.04.14 13:10:51 MSK

overcommit_memory=2

Походу пока кандидат на решение, прикладной процесс слетел с :

Out of memory
Operating system error: Cannot allocate memory

Что в принципе правильно в моей ситуации.

Теперь бы понять как правильно настроить остальные параметры.

В идеале мне надо запретить пользовательским процессам тратить больше 62Гб из 64Гб имеющихся

AlexVR ★★★★★
(29.04.14 15:27:16 MSK) автор топика

Ответ на: комментарий от beastie 29.04.14 13:04:38 MSK

алгоритм передумать.

Алгоритм чего?

true_admin ★★★★★
(29.04.14 16:00:43 MSK)

Ответ на: комментарий от AlexVR 29.04.14 15:27:16 MSK

Ты с этим поосторожней. Для начала сделай

vm.overcommit_ratio = 100

Не меньше.

Этот параметр регулирует размер выделяемой виртуальной памяти, которую приложения всегда берут с запасом. Например firefox может физически использовать 200Мб, но запросить виртуальной памяти на 1Гб. Поэтому по умолчанию (overcommit_memory=0) ядро может дать памяти больше чем физически доступно. Это, конечно, имеет свои минусы.

anonymous
(29.04.14 16:50:31 MSK)

Ссылка

Ответ на: комментарий от AlexVR 29.04.14 15:27:16 MSK

Данные по выделенной виртуальной памяти и лимиту выдачи

grep Commit /proc/meminfo

anonymous
(29.04.14 17:01:41 MSK)

Ссылка

Ответ на: комментарий от true_admin 29.04.14 16:00:43 MSK

Алгоритм чего?

Того, что считает ТС. Что бы не жрало так много. (И возможно что бы не текло.) Но это больше так, заметка на полях.

beastie ★★★★★
(29.04.14 18:15:28 MSK)

Ответ на: комментарий от beastie 29.04.14 18:15:28 MSK

Того, что считает ТС. Что бы не жрало так много. (И возможно что бы не текло.) Но это больше так, заметка на полях.

Считает пакет espresso-quantum. И в данном случае дали слишком большую модель на вход. Такие ситуации могут случаться и мне нужен механизм защиты отрубающий приложения, а не систему.

AlexVR ★★★★★
(29.04.14 18:18:42 MSK) автор топика

Ответ на: комментарий от AlexVR 29.04.14 18:18:42 MSK

Если обезопасить систему и ограничить приложение — то этот механизм — ulimits. Странно, что его ещё не упамянули.

beastie ★★★★★
(29.04.14 18:23:13 MSK)
Последнее исправление: beastie 29.04.14 18:24:34 MSK (всего исправлений: 1)

Ответ на: комментарий от beastie 29.04.14 18:23:13 MSK

Вопрос только что лимитировать - число процессов или VA

Кстати, кроме ulimits есть еще и cgroups со своими лимитами памяти.

vel ★★★★★
(29.04.14 18:26:49 MSK)

Ответ на: комментарий от vel 29.04.14 18:26:49 MSK

И средствами тюнинга oom killer-а. А ещё оно умеет заблаговременно отправлять процессу предупреждение что оно исчерпало «мягкий лимит» памяти и если не прекратит жрать в три горла то будет ему oom. Возможно espresso-quantum даже умеет ловить такие предупреждения и предпринимать какие-то разумные действия.

MrClon ★★★★★
(29.04.14 19:45:21 MSK)