Debian. Лаги при копировании файлов

забей, у людей либо этого бага нет (как у меня), либо есть/им так кажется и они занимаются не приносящим плоды плацебо без попытак установить причины

хотя можешь посмотреть perf top во время тормозов

Не даляй множество файлов через гуй, кеды при этом сильно проц жрут.

кеды при этом сильно проц жрут

Это хоть как-то можно исправить?

Ну планировщик проще поменять и посмотреть, чем ждать что здесь напишут.

Так как ntfs через user-space, то при больших копированиях просто сжирается процессор, а не диск, а так как KDE при этом крутит анимацию, то ему и не хватает. Должно немного помогать понижение приоритетов (renice, ionice) процессу ntfs-3g.

Я бы поднял объём свопа и добился, чтобы работало с ″vm.overcommit_memory = 2″, но, ИМХО, в вашем случае это особо не повлияет.

Хм. Поставил копироваться каталог с несколькими тысячами мелких файлов с ext4 на Ntfs - лагов нет. Нагрузка на проц 25%. Памяти ест немного. Ничё не понимаю. Утром копировал с внешнего винта на ext4 - были лаги в анимации. А создавал позавчера загрузочную флешку с оффтопиком - вообще подвисала система пару секунд.

Это, по всей видимости, проявление общей проблемы при копировании с быстрого устройства на медленное. KDE и прочая нагрузка на процессор здесь совершенно ни при чём. А «при том» то, что один процесс забивает нахрен всю квоту грязных страниц в дисковом кэше, и следующий же процесс, вознамерившийся что-то записать (или, того хуже, сделать fsync) вынужден ждать записи в медленное устройство.

Как лечить — достоверно неизвестно. Попробуй поиграться с отношением значений vm.dirty_bytes и vm.dirty_background_bytes (т. е. хотя бы установить не одно и то же значение).

Мне помогло это.

Вт июл 14_03:33 $cat /etc/init.d/sysoptimus 
#!/sbin/runscript
# Copyright 1999-2015 Gentoo Foundation
# Distributed under the terms of the GNU General Public License v2
# $Header:$

extra_started_commands="reload"

pidfile=/var/run/sysoptimus.pid

depend() {
        use localmount
}

start() {
        ebegin "Starting sysoptimus"
        X_USER=`awk -F: '/\/home\//&&!/nologin/{i=i?i","$1:$1}END{print i}' /etc/passwd`
        i=`pgrep -u $X_USER; pidof X`
        ionice -n 7 -c 3 -p `pgrep -u root -v X` > /dev/null
        ionice -n 0 -c 1 -p $i > dev/null
        renice -n -19 -p $i > dev/null
        renice -n 20 -p `pidof kswapd0` > dev/null
        eend $?
}

stop() {
        ebegin "Stopping sysoptimus"
        start-stop-daemon --stop --quiet --pidfile ${pidfile}
        eend $?
}
reload() {
        ebegin "Reloading sysoptimus"
        start-stop-daemon --stop --signal HUP --oknodo --quiet --pidfile ${pidfile}
        eend $?
}
Вт июл 14_03:34 $

Утром копировал с внешнего винта на ext4 - были лаги в анимации.

Проверь уровень фрагментации и степень заполненности диска/раздела.

Использовать консоль.

По крайней мере я иного решения незнаю.

smartctl диска в студию, gnome-disk-utility тестирование в студию скрин.

http://pastebin.com/WGgdsBdM

У меня systemd

сделай на fpaste.org, у меня заблочено даже через тор в эртелекоме....

Попробовал сменить планировщик на Deadline - начался перекос нагрузки (на одно ядро) и странно вела себя анимация (слишком заторможенно, как в slow-mo)

http://fpaste.org/244131/36871516/

ну там же русским языком сказано, диску капец. отсюда и тормоза.

Так а разве это влияет если копировать с другого диска (не системного) на, скажем, флешку? Дома где-то есть хард на 200 гигов, завтра попробую перенести туда систему, ради эксперимента.

Короче понял проблему. Только при удалении огромного количества мелких файлов (несколько десятков тысяч) или при их копировании - начинаются лаги. В остальных случаях всё нормально. Вот как-то надо оптимизировать, не знаю, операции с мелкими файлами. Файловую систему менять не хочу.

ты диск меняй, смарт ужасный.

Ладно. Тему пока не закрываю, завтра отпишусь

И че? Шиштемде же может конвертировать в юниты или даже подхватывать скрипты.

Как это «даже через тор»? Может, сам тор заблочен?

Кстати, antizapret.info говорит, что пастебина в реестре нет.

опять херки чего-то накрутили в firewalld.

barrier=0 есть в опциях монтирования?

Нет

Просто ещё ни разу не доводилось писать юниты. Ладно, и на том спасибо

В принципе, может, провайдер расширено трактует закон и блокирует сайты, упомянутые в списке экстремистских материалов (что вроде как не обязан делать: http://rublacklist.net/9071/), но тогда у него должен быть заблокирован и youtube и cuntакт. Pastebin там упомянут, но вполне конкретные страницы, мало того, содержимое их давно удалено.

В соответствии с требованиями законодательства доступ к запрашиваемому Интернет-ресурсу закрыт.

Интернет-ресурс запрещен к распространению судом и/или внесен в один из списков:

Федеральный список экстремистских материалов http://www.minjust.ru/nko/fedspisok/

Единый реестр доменных имен, указателей страниц сайтов в сети «Интернет» и сетевых адресов, позволяющих идентифицировать сайты в сети «Интернет», содержащие информацию, распространение которой в Российской Федерации запрещено http://eais.rkn.gov.ru/

Реестр доменных имен, указателей страниц сайтов в сети «Интернет» и сетевых адресов, позволяющих идентифицировать сайты в сети «Интернет», содержащие информацию, распространяемую с нарушением исключительных прав http://nap.rkn.gov.ru/

Вопрос, как у тебя провайдер блокирует его через tor, остаётся открытым.

А без тора:

1) Отправь провайдеру приведённое мной выше решение верховного суда о необязательности прямого применения провайдером списка экстремистских материалов, а также укажи, что контент, указанный в списке экстремистских материалов, с сайта удалён, и администрация сайта не имеет к его публикации никакого отношения.

2) Откажется разблокировать — меняй провайдера. УМВР с трёх провайдеров.

у меня 100 мбит/c, халявные 2 белых ip, один ipv6, другой ipv4, телефон( дома есть люди которые придя за него сели, и перед сном выключили),и телевидение 120 каналов, правда кто его смотрит кроме мелкой непонятно. И всё это за 1250 рублей, учитывая что оставшиеся провайдеры это : ростелеком, мтс, билайн, мегафон. То увы всё печально, раньше интерзет был норм провайдер. Но эр-телеком, бандитская контора, вынудил его продать.

один ipv6

Тебя обманули, должны выделять целую подсеть (по-моему, /64).

Ну а насчёт блокировки через tor подробности будут? У вас вообще тор режут?

неделю назад вообще было не войти в тор, сегодня можно войти, но сайты многие в том числе пастебин тупо не грузятся.

Именно сайты из реестра запрещённых? Если да, то даётся мне, что ты используешь провайдерский dns при выходе через tor.

Да, пробовал средства, которыми китайцы обходят блокировку tor?

да пока незачем, если если скоро и правда заблочат сайты с мангой которую я читаю, вот тогда придётся.

Да, это один из вариантов 12309. Да, в большинстве случаев такой его вариант лечится через:

vm.dirty_bytes = 2097152

vm.dirty_background_bytes = 2097152

И кстати это задает лимит буфера записи в байтах, после достижения которого данные срочно из оперативки пишутся на диск. ЯТо-есть у тебя задано 2МБ, что обычно достаточно, но возможно есть смысл увеличить до 4 или 8 МБ, но не более того.

З.Ы. Deadline тоже желателен, но он меньше влияет.

Смарт странный. Вроде не смертельный, но странный. Попробуй поменять шнур и разъем на матери.

Я сменю диск для начала. Ибо он уже при включении компа начал выдавать ошибку (видимо быстро сыпется). Заменю диск, а там если проблема останется - буду копать дальше

Вопрос на засыпку не по теме. Есть винт (SATA, GPT разметка, HFS+ разделы). Работает давно и без сбоев, но от него идет равномерная пульсирующая вибрация. Смущают еще значения Raw_Read_Error_Rate и Seek_Error_Rate.

http://fpaste.org/244468/

Сколько ему еще осталось жить?:)

единственный параметр, который настораживает, это:

199 UDMA_CRC_Error_Count    0x003e   200   200   000    Old_age   Always       -       4

всё остальное в норме

для сигейтов и самсунгов всё в пределах нормы, для wd вон аноним правильно заметил. Диск пока в норме, хотя сделать тест через гном диск ещё не помешает.

Тест через гном диск сделал, ничего интересного. Только понять не могу, почему винт так импульсно вибрирует. Слышно в полной тишине и ощущается, если приложить руку к открученному винту или системнику с ним.

еще может по вот этому что скажешь? :) Уже валяется 2 идентичных винта с идентичными симптомами. Начинают глючить и сыпать бэдами через определенное время работы.

Ну что, заменил я диск. Промудохался правда полдня, но по своей вине. Лаги стали значительно меньше, но ещё есть. Теперь попробую тюнинг sysctl

Лаги стали значительно меньше, но ещё есть

Теперь мамку смени.

Выставил такие параметры:

vm.swappiness = 10
vm.dirty_bytes = 4194304
vm.dirty_background_bytes = 4194304
vm.vfs_cache_pressure = 50

шлейфы замени, как сата так и на питание.

Шлейфы в порядке, проверил. Сейчас с такими параметрами система встала колом при удалении нескольких тысяч мелких файлов. Буду дальше тыкать

Вообще - как лучше всего удалять каталоги с несколькими десятками тысяч мелких файлов? rm -rf /каталогнейм?

Вообще не вкуриваю ситуацию! rm -rf мгновенно всё снёс! Если удалять из кед комбинацией Shift+Delete, то будет полдня сносить. Никто не в курсе, можно как-то изменить поведение KDE при удалении файлов?