Зависание при нагрузке на HDD

На текущий момент вот эти конфиги показали себя почти нормально.

vm.overcommit_memory = 2
vm.overcommit_ratio = 90
vm.dirty_bytes = 2097152
vm.dirty_background_bytes = 2097152
vm.swappiness = 90
vm.vfs_cache_pressure = 90
vm.min_free_kbytes = 1048576

Но приложения начинают ругаться на недоступность памяти при 70-71% ОЗУ. А Firefox просто слетает на йух без предупреждения при этих 70%. Вопрос: как поднять это до 95-98% и увеличить сброс в SWAP чуть больше.

На скрине https://i.imgur.com/q2KqK3u.png потребления ОЗУ видно, что вылеты освобождают ОЗУ не сильно. SWAP занят всего на 1% за 16 дней uptime.

Разработчики Убунты прикалываются, троллят пользователей?

В новогодние праздники кое-как обновился до 20.04, пришлось гугла с бубном вызывать, чтобы апнуться из архивов.

До этого долго сидел на 18.10. Но в ней, как оказалось, разработчики Убунты сломали FileZilla, а я думал почему фтп с TLS не работало, думал проблемы у хостеров.. Решил обновиться полностью.

И опять фризы, опять смертельные зависания уже без нагрузки на HDD (несколько секунд нагрузка и потом тишина, только висяк). Два зависания за неделю. Выше озвученные конфиги уже не работают. На языке только нецензурные слова крутятся.

Завис конкретный произошёл второй раз, потому что попытался открыть PNG 190мб 65k на 35k пикселей (по ссылке не она, а скрин) https://i.imgur.com/gWYFUAU.jpg

Какой ещё пингвин есть юзерфрендли?

Низкооборотистые харды будут тормозить

Тормозит ГУЙ, когда с терабайтниками работают вообще не связанные с гуем процессы.

SSD не предлагать

страдай, чё

а файлы гуя не на том же диске лежат, ммм?

Какой ещё пингвин есть юзерфрендли?

Ничего лучше нет – только страдать тебе. На HDD уже все забивают.

Зависание при нагрузке на HDD (комментарий)

Firefox просто слетает на йух без предупреждения

разумеется, из-за vm.overcommit_memory = 2

У меня он не слетает, а просто вкладку не откроет новую если памяти нет, ну или вкладка с бесконечной лентой упасть может. Остальные вкладки работают

Вопрос: как поднять это до 95-98%

Вместо запрета оверкоммита используйте юзерспейсный киллер - earlyoom или nohang.

Для earlyoom конфиг -m 5 -s 100 будет означать, что корректирующее действие произойцдет, если доступной памяти меньше 5% всне зависимости от объема свободного свопа.

А для свопа используйте zram. Ко всему прочему рекомендую prelockd.

См также Просто оставлю это здесь: Игра в supertux2 с множественными `tail /dev/zero` в фоне без зависаний

Что ещё надо Линю

core i3 3110m + 8Gb ram + 256 ssd sata3 + zram + ubuntu 20.04.

Ничего не тормозит. Работает быстро. Работает: firefox 84, qemu/kvm, phpstorm. На десяточке тормозит, ибо памяти ей не хватает.

А можно подробнее про связь ГУИ с постоянными фризами фокса? Ну предположим фриз произошёл при записи, сва(о)пе. А дальше уходит в полный завис потому что захотел SSD? Отдавать на растерзание SSD, который не любит частые перезаписывания?

И сейчас вот ОЗУ полупустая https://i.imgur.com/xvRsOIs.png, но всё лагает, это тоже проблема в HDD?

А раньше всем хватало -640кб- 512Мб ОЗУ и скорости HDD 5400.

Flameshot ещё тормозит теперь. Такое ощущение, что настало время переустанавливать пингвина, как маздая раз в полгода.

hakavlad ставил я ZRAM (вроде писал выше) - ничего не меняется, только всё хуже становится. Что касается earlyoom или nohang - то до обновления оно и так начало работать, по конфигам озвученным ранее, Фокс убивало, а другие приложения ругались. Вроде вздохнул с облегчением. А сейчас после обновления ад начался.

Так и разбирайся чего у тебя тормозит, тут обсуждают фризы из за io

Спасибо, анониммус. Не представляю чтобы я делал без твоего совета

https://www.youtube.com/watch?v=xoBnQg4_J60

Отдавать на растерзание SSD, который не любит частые перезаписывания?

и сколько байт в месяц пишет благородный дон на свой неSSD?

// спуфинг излечился, но дело его живёт, лол

ничего необычного не делал - а на ссд уже записано 6.8ТБ. так что #спуфинг_был_прав

у меня на текущий ssd записано уже 50+ тб, полёт нормальный ;)

сколько remaining life процентов в smart осталось?

говорит, что 90%

Какой ещё пингвин есть юзерфрендли?

WSL

NVMe SSD (PCI-E x4 в M.2)

Недавно покупал SSD и исследовал рынок. Пришёл к выводу, что в этом формате нет смысла. Нужно покупать Samsung 870 EVO SATA. По скорости в важных нагрузках он практически не уступает NVMe моделям. По долговечности и цене это оптимальный вариант. NVMe модели выигрывают на линейных операциях и на случайных с QD32. Но это вырожденные случаи, на практике не интересные. Единственный диск, который способен выдать ощутимо большую производительность это Optane. Но он слишком дорогой.

даже в игровых консолях уже nvme. таблетки принимай. копейки они всё выкраивают

Консолехолопы издавна отличались отменной глупостью и транжирством. Пекабояре показывают пример разумной бережливостью и мудро инвестируют сэкономленные деньги.

инвестировать во что? ну выкроил ты копейки, а все остальные компоненты у тебя допустим уже куплены на том же уровне diminishig returns

NVMe стоит предпочесть хотя бы за отсутствие проводов. Только не надо про SATA M.2, скоро их будет просто некуда совать.

SATA стоит предпочесть хотя бы за простоту охлаждения. Я не знаю, какой идиот додумался ставить греющуюся микросхему вплотную к плате.

А провода это не проблема. Ты же не в айфон ставишь этот SSD.

Да хоть видеокарту купить получше.

уже куплена, тоже такого уровня, что регистранты на лоре рассказывают, что мощнее не очень-то нужна

ещё предложения есть?

в sata неизвестно, какой тепловой контакт имеет микросхема с корпусом ssd. наиболее вероятно херовый, через толстенную термопрокладку как обычно любят делать. радиаторы для nvme идут уже в комплекте с платами или покупаются, можно воткнуть их в pci-e слот через переходник если очень хочется

У людей нормально работает и не тормозит, у тебя нет. Значит ты что то делаешь не так. И вместо того чтоб определить причину плачешься на форуме.

при неограниченном бюджете можно покупать неограниченно дорогое железо, реальность же полна разочарований

sata ssd не обогревается видеокартой, под радиатором которой обычно оказывается слот m2

sata ssd может обдуваться корпусным кулером

в общем, m2 nvme - хорошо, но есть нюансы

у меня m2 над видеокартой. тут как обычно ссзб

бюджет всё ешё ограниченый, просто не на уровне бомжа

Ну не вижу смысла в SSD. Абсолютно. Ещё раз, давайте для закрепления темы, того что происходит на текущий момент уже много лет (BDSM рулит):

• Как раньше уже нет бесконечной записи на диск. Раньше была и можно было оставить комп на полчаса - лампочка будет гореть, диск трещать, а система висеть и ничего не сделать. Как тут поможет SSD? Покупать чтобы сдох за 2-3 года? Кстати, с полным отключение SWAP, и даже удалением раздела - ничего не менялось. Как и 18 гб сейчас, который заполняется на 2-3% только.

• Но выше озвученная проблема (и другие) была решена почти полностью конфигами. До обновления в НГ праздники всё было нормально, но радость длилась недолго. Теперь происходит следующее: система в течение 10-15 сек лагает дико, подвисания по 2-3 сек, диск начинает жужжать и зависание полное, нагрузка на диск пропадает (не жужжит, лампочка не горит). И это при 70%, хотя swappiness 90%. Что даст SSD? Более быстрое зависание, без лагов?

• Следующей что имеем. ОЗУ 16 Гб. Считаю это ДОХЕРА! ОЧЕНь ДОХЕРА! Я в игры особо не играю, разве что рогалики. И раньше swappiness 90% работал и более менее жил. Даже Alert делал при 85% и руками убивал приложения ненужные (тогда ещё Крыса была, вместо кед и была та же проблема, а xUbuntu 14-16 годов). А сейчас виснет всё напрочь при 70%. Возникает логический вопрос: -нахера козе баян- зачем 16гб, если используется только 70% и Убунту вместо планомерного скидывания ненужных блоков в swap в фоне просто виснет? Что даст SSD?

• Фризы Фокса это, думаю, смежная проблема, так как настройка конфига помогала. Я в нём уже всё внутри отключил, чтобы не юзал дисковые кеши. Но видно, что фризит каждые N секунд пока я пишу. Пять слов и подвисание и диск дёргается. Я писал ранее подробности. Заполнено озу всего на 68%. Фокс занимает 34% (не будем оффтопить, что ФФ дерьмо прожорливое, для него 16 Гб ОЗУ и покупал, без него мне 4 Гб за глаза, даже при работе в VB с CorelDraw…многие для ыгор столько не покупают). Также сейчас Флеймшот глючит после обновления, но пока не разбирался. Это оффтопик, не будем про него, может переустановить просто надо.

Поэтому я уверен на 100%, что SSD не поможет. Ап до 64гб ОЗУ, из которых будет задействовано только 45 (70%) решит проблему только на пару лет. А потом опять 640кб не хватит.

anonymous так расскажи как найти причину. Это проблема массовая. Даже на лурке есть страничка. ОС - это не игра сделанная на коленке из говнокада, тем более с системными проблемами. Если у д’Артаньяна работает как надо, это не значит что остальные дураки.

Ап до 64гб ОЗУ, из которых будет задействовано только 45 (70%) решит проблему только на пару лет

Не знаю, как я пользуюсь Firefox 60 с 1.5 GB RAM. Вы просто зажрались, видимо. Может быть 64 бит проблемы? На x86 все нормально.

Firefox может тормозить, если печатать в гуглопереводчике. Так как каждая буква, это запись в истории > обращение к диску. Между прочим, в хромиуме такой дичи нет и работает он с гуглосервисами лучше.

Ну не вижу смысла в SSD. Абсолютно

Беда с башкой у регистранта. Впрочем, ничего нового.

с 1.5 GB RAM

Когда-то и 512 мне хватало. Я заметил, что чем больше ему даёшь, тем больше он сжирает и не успокаивается. Справедливости ради надо уточнить что висят не загруженные штук 50 вкладок, загруженных десяток. Плагины Адблок и Ноусрипт. Это всё сказывается, но 4 гига (на текущий момент) - это всё равно перебор для него. И чем дольше он не перезагружается, даже если не превышать 10 вкладок одновременно, тем больше он будет отъедать.

Но речь тут не за это говно огненное, а за поведение Линукса, свопа и зависания. ОЗУ можно забить и другими методами под завязку.

Может быть 64 бит проблемы

Всё может быть.

Винда лучше себя ведет. Хромиум съедал все 4 Гб и ничего не тормозило.

Стандарт NVMe ничего не говорит о наличии или об отсутствии проводов. U.2 – тоже NVMе, но при этом с проводами. К тому же лучше пусть будут провода с вынесенными накопителями, чем лепить всё на свете на несчастную плату, на которой часто и без того живого места нет. Вот в неттопах или ноутбуках от накопителей формата M.2 (а как я понимаю под NVMе ты именно это имел в виду) действительно есть какой-то смысл, особенно если это сделано как в в некоторых неттопах Леново, в которых M.2 разъёмы расположены с обратной стороны платы, что очень удобно. Во всех остальных сценариях я не вижу в M.2 никакого смысла. Абсолютно бестолковый формат. Разве что использовать их в составе, например, вот такой штуки: https://www.qnap.com/i/_attach_file/product/photo/800_500/398_1565944859_QDA-U2MP_bottom_open-03.png?v=3

Как минимум SSD даёт желанную тишину, плюс более отзывчивую в целом систему. А для отказоустойчивости можно использовать raid (да, дорого, но оно того стоит).

SSD даёт желанную тишину

Тишине мешает кулер, а не HDD

В простое HDD шумит сильнее кулера процессора. Если корпус открыт.

Активировал zswap, чуть улучшилась жизнь. Теперь хотя бы SWAP реально работает и там уже 1.5 гига хлама. И OOMKiller наконец-то отрабатывает опять, как было до обновления.

Но одна дичь осталась - это происходит при 60% ОЗУ!

Кто знает как поднять наполнение ОЗУ до 95-100%?

ОЗУ так и не получилось заставить работать более чем на 50%. Положительного тут, что за несколько дней не было ни одного серьезного фриза. Но смысл тогда от ОЗУ, если она используется на половину. Своп засоряется на 5% и не более.

Только во время запуска игры получилось её забить на 85%.

Решил ради интереса отключить раздел Свопа, чтобы больше в ОЗУ оставалось. При запуске ОС и старте браузера забивается порядка 20% с небольшим. И после ничего запустить нельзя. 25% и всё что выше убивается.

Это сюр какой-то. :facepalm:

Значит говно твой кулер и/или настройка кривой оборотов к температуре.

Активировал zswap, чуть улучшилась жизнь.

Странно, что при этом zram никак не помогает. Может что-то неправильно делаешь? Попробуй ещё раз, отключив весь тюнинг.

Ну делал всё по инструкции. Zram вёл себя точно также, как и если его нет. Может чуть дольше шло наполнение. Но в итоге при заполнение ОЗУ всё вставало колом. С zswap вообще подобного сейчас не наблюдаю. Первое время убивало приложения (FF или игру при примерно 80% ОЗУ). Zswap работает прекрасно (см.ниже), поэтому тестировать опять zram пока не вижу смысла, а то опять всё сломаю.

Сейчас больше 50% не могу заполнить ОЗУ. Несколько дней всегда менее 50% (40-45 в среднем). Только при запуске игры удавалось переваливать за отметку 80%. Не понимаю почему.

Отключал swap, не только для попытки загрузить память, но и думал снизить дёрганье диска. Слишком часто он дёргался. В итоге я ещё покрутил конфиги (см. конец сообщения), увеличил тайминги и байты и работа HDD теперь меня также устраивает.

В целом сейчас пока что работает хорошо. На текущий момент можно сказать что поборол изначальную проблему. Зависаний нет, фризов серьёзных тоже нет. Бонусом HDD тише травы. Может быть разве что небольшие задержки (буквально в 1 сек и не всегда) при переключение больших приложений, в общем совсем незначительные. Проц начал конечно чуть больше грузиться иной раз (кулер ускоряется), но какой-то закономерности не увидел (утром часто была загрузка в районе 10%, а сейчас стабильно 3-4% и на пониженных Ггц, чего не было давно). Но пока рано делать выводы, всего 15 часов прошло.

Но вот 50% мне не очень нравится. Своп, кстати, за эти 15 работы компа тоже пустой (150 МБ).

Есть предположение, что заполнение ОЗУ - это настраивается в самом zswap. Также есть предположение что он как-то ограничивает максимальный размер памяти на одно приложение. Ещё могу упомянуть, что включил я lz4 компрессию.

На текущий момент вот такие конфиги

vm.overcommit_memory = 2
vm.overcommit_ratio = 99
vm.dirty_bytes = 5097152
vm.dirty_background_bytes = 5097152
vm.dirty_ratio = 20
vm.dirty_expire_centisecs = 30000
vm.dirty_writeback_centisecs = 15000
vm.swappiness = 1
vm.vfs_cache_pressure = 90
vm.min_free_kbytes = 1048576

В общем все dirty сегодня поднял в 2+ раз. Может ещё увеличу. Но на текущий момент это лучше что было за последние 6 лет существование этого компа. Тьфу-тьфу-тьфу.

PS Оффтоп. Пока до сих пор не понимаю что с Flameshot. После обновления Убунты по 30 сек копирует в буфер скриншот. Думаю всё таки это связано с изначальной проблемой копирования буфера со второго раза, о которой писал ранее в этой теме.

Спустя 4 дня аптайма наконец-то ОЗУ заполнилось на 76-77%. Своп до 1.8 ГБ. Как обычно это был FF. И его перезапуск сильно понизил эти значения.

Радует что зависания так и не случилось. Только опять начались лаги в FF (после перезагрузки FF, разумеется, всё нормализовалось; надо попробовать ещё в about:memory сбросить).

На этих 76-77% CPU начал немного грузится до 10-14% (ранее бы точно колом встал).

Видно было что в своп данные больше не падали. ОЗУ прыгало на этих процентах. То есть, могу с большой уверенностью предположить, что zswap начала гонять страницы внутри памяти между сжатой областью и расжатой и не знает куда ему деваться. И ОЗУ не увеличивается, и в своп не скидывает. В общем как обычно работа через Ж и не понятно что дальше с этим делать.

При копировании через Дельфин зависаний не замечал

странно, у меня наоборот, дельфин при копировании жрет ресурсы,как не в себя,бывает даже курсор подлагивает. Большие объемы через mc копирую, там такого нет