LINUX.ORG.RU

Поиск летучих голландцев

 , , ,


0

2

Добрый вечер.
Давайте поговорим о вечном.
Если скачать архив гуглдиска в tgz (50 Гб) и начать его открывать в Ark, система начинает подтормаживать.
в 2020 году.
накидайте ещё полезных советов для бобры с 12309.
Спасибо.
Конфиг:
root ext4 errors=remount-ro 0 1
SSD Adata SU800 (256 Gb, free 65Gb, smart good) / 32 Gb RAM / Ryzen 3500.
Linux 5.6.15
Процессор и диск другим тяжеляком не загружены.


По планировщикам как то так:
cat /sys/block/sda/queue/scheduler
[mq-deadline] none

CONFIG_HAVE_UNSTABLE_SCHED_CLOCK=y
# Scheduler features
# end of Scheduler features
CONFIG_CGROUP_SCHED=y
CONFIG_FAIR_GROUP_SCHED=y
# CONFIG_RT_GROUP_SCHED is not set
CONFIG_SCHED_AUTOGROUP=y
CONFIG_SCHED_OMIT_FRAME_POINTER=y
CONFIG_SCHED_SMT=y
CONFIG_SCHED_MC=y
CONFIG_SCHED_HRTICK=y
# CONFIG_CPU_FREQ_DEFAULT_GOV_SCHEDUTIL is not set
CONFIG_CPU_FREQ_GOV_SCHEDUTIL=y
# IO Schedulers
CONFIG_MQ_IOSCHED_DEADLINE=y
CONFIG_MQ_IOSCHED_KYBER=m
CONFIG_IOSCHED_BFQ=m
CONFIG_BFQ_GROUP_IOSCHED=y
# end of IO Schedulers
# IPVS scheduler
# IPVS SH scheduler
# IPVS MH scheduler
CONFIG_NET_SCHED=y
# Queueing/Scheduling
CONFIG_DRM_SCHED=m
CONFIG_USB_EHCI_TT_NEWSCHED=y
CONFIG_SCHED_STACK_END_CHECK=y
# Scheduler Debugging
CONFIG_SCHED_DEBUG=y
CONFIG_SCHED_INFO=y
CONFIG_SCHEDSTATS=y
# end of Scheduler Debugging

Ответ на: комментарий от Nastishka

Нет, это вопрос того, как и где дистрибутив и пользователь решили разместить временные файлы. Если я помещу профиль файерфокса на тормозную microSD (как у меня и сделано), то он соответственно начнёт тормозить.

kirill_rrr ★★★★★
()
Ответ на: комментарий от anonymous

В любом случае, насколько понимаю cpio тоже нужно целиком распаковывать, чтобы достать один файл из конца.

anonymous
()

Если скачать архив гуглдиска в tgz (50 Гб) и начать его открывать в Ark, система начинает подтормаживать

Это норма. Смирись. Или переходи на иную ОС.

LongLiveUbuntu ★★★★★
()

Не бороться надо, а всеми силами пытаться вызывать и найти однозначную конфигурацию при которой баг проявляется.

anonymous
()

Решил прогнать тест в уменьшином масштабе (rpi3, 1гб озу, бэкап /home, пережатый в .tgz 6,7Гб, открытие, извлечение папки с музыкой). У меня устаревший ark4, но принципы работы с архивами там вряд ли поменялись.

Моё предположение полностью неверно, ark не распаковывает содержимое во временную папку. Он его прочитывает и индексирует содержимое в своей памяти. А потом, при распаковке, расжимает и пролистывает заново. Отдельных потоков для tar или gz не создаётся.

Никакого влияния на производительность остального содержимого системы не обнаружено (архив и папка назначения на отдельном диске чтобы максимально исключить влияние i/o железа). Но вот что меня заинтересовало, а сколько гигов в секунду .tgz способен разжимать ризен 3500, если Rpi3 на 800Мгц с тротлингом вытягивает от 11 до 20Мб/сек? А не возможно ли действительно исчерпать производительность ssd? Может быть там чтение мелкими блоками?

kirill_rrr ★★★★★
()
Ответ на: комментарий от kirill_rrr

Может быть там чтение мелкими блоками?

может и контроллер говно, но это всяко не hdd.

darkenshvein ★★★★★
() автор топика
Ответ на: комментарий от darkenshvein

Какой тест? Начать открывать Арком этот архив и посмотреть скорость чтенитя в мониторчике.

Хотя если нужны тесты, то пооткрывать и пораспаковывать его другими архиваторами и просто считать в /dev/null чтобы проверить теорию тормозов из за лимита скорости ссд.

kirill_rrr ★★★★★
()
Последнее исправление: kirill_rrr (всего исправлений: 1)

Добрый вечер. Давайте поговорим о вечном.

Здравствуйте!

Из всех добродетелей и достоинств души величайшее достоинство-доброта. Френсис Бэкон.

Доброта-лучшее, что есть в человеке. Неизвестный автор.

Сколько в человеке доброты, столько в нём и жизни. Ральф Уолдо Эмерсон.

Когда-нибудь тебе внушат, что о твою доброту вытирают ноги. Не верь. Оставайся добрым. Ведь добро-это просто и оно спасает мир. Неизвестный автор.

Чтобы ни творилось в мире, всё равно останутся вечные ценности: милосердие, добро, любовь - всё то, что помогает выжить всему человечеству и каждому человеку в отдельности. Неизвестный автор.

anonymous
()

Короче, уменьшай кеш записи. Уменьшай vm.vfs_cache_pressure. Запрещай оверкоммит. Поменяй планировщик или настрой mq-deadline.

hateWin ★☆
()
Ответ на: комментарий от kirill_rrr

Например из за попытки впихуть 50гб данных в 32гб оперативки.

не заметил в мониторе.
какой то дебильный луп-процесс конечно есть, иначе бы оно так не лагало, но все 32 Гб он мне не занял. и даже 16 не занял.

darkenshvein ★★★★★
() автор топика
Ответ на: комментарий от darkenshvein

Я же писал - ошибся, ark так не делает. Моё новое предположение что ему удалось исчерпать скорость чтения ssd.

kirill_rrr ★★★★★
()

Ты пробовал открыть тот же архив в другом архиваторе? Или через православный консольный tar?

hateWin ★☆
()
15 марта 2021 г.
Ответ на: комментарий от kirill_rrr

выше 100 вроде как бессмысленно

For in-memory swap, like zram or zswap, as well as hybrid setups that have swap on faster devices than the filesystem, values beyond 100 can be considered. For example, if the random IO against the swap device is on average 2x faster than IO from the filesystem, swappiness should be 133 (x + 2x = 200, 2x = 133.33).

https://github.com/torvalds/linux/blob/master/Documentation/admin-guide/sysctl/vm.rst

anonymous
()
Ответ на: комментарий от hateWin

Первое - да. Остальное вредные/бесполезные васяно-твики.

anonymous
()
Ответ на: комментарий от kirill_rrr

удалось исчерпать скорость чтения ssd.

тогда почему планировщик дрыхнет и не разделяет справедливо ссд между всеми программами?

darkenshvein ★★★★★
() автор топика
Последнее исправление: darkenshvein (всего исправлений: 1)
Ответ на: комментарий от darkenshvein

Возможно он пытается, но похоже планировщик штука всё ещё тупая и решения похоже принимает от числа операций, а не объёма или времени ожидания. А как балансирует чтение и запись я вообще хз, но у меня регулярно бывает что пока ххх пишет/читает свой гигабайт, то весь мир подождёт. Т.е. не совсем подождёт, но доступ замедляется раз в 10.

kirill_rrr ★★★★★
()
Ответ на: комментарий от darkenshvein

Кастуйте Шульмана, он у меня в этих делах очень подкован …

Владимир 123

anonymous
()
23 апреля 2021 г.

накидайте ещё полезных советов для бобры с 12309.

Ты еще не применяешь le9db2 патч?

anonymous
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.