Когда починят «ускоренное» копирование файлов в Linux?

Это баг разве? Я думал, так и задумано.

Да не знаю, но у меня уже прикипело видеть: 4.3 из 4.4 ГБ - осталось 14 секунд. И так 4 минуты уже...

Ну все правильно, у тебя часть файла оседает в кеше фс. Пока забивается кеш фс, копируемся быстро. Если файл меньше размера кеша - будем подвисать на размонтировании. Не нравится - отключи кеш фс, или сделай его очень маленьким.

Ну, мне тоже не особо нравится такое поведение. Я полагаю, он сначала кэширует данные в память, а потом начинает реальную запись. Можно попробовать понизить значение vm.dirty_ratio/vm.dirty_background_ratio, по идее, они должны как-то на это влиять.

Я знаю одно место, куда файлы можно копировать без задержки, /dev/null называется.

Проблема может быть в железе. Погляди smart. Я тут прикупил 10 ТБ винт и у него тоже такая проблема была — как выяснилось это он так плохие сектора передислоцировал. В общем проверки badblocks он уже не пережил. Придёт теперь сдавать диск по гарантии.

На 4х HDD дисках, двух флешках и одном SSD такая проблема.

Значит ровно столько влезает в оперативку, а потом грустно и долго идёт запись. Чудес не бывает или /dev/null.

В любом случае глянь smart.

Да не, со смартом 146% все ок. А оперативки, ну вот не знаю, есть ноутбук, на нем стоит Windows 10. Там два гигабайта оперативной памяти, все работает окей, кроме хрома, что понятно. С копированием в 18м году проблем также нет.

Стоит Ubuntu 16.04, Intel I5-4670, 16 гигабайт памяти, и епрст, система не может нормально скопировать файлы, тут вряд ли проблема в ОЗУ. Через cp -av все копируется гладенько, как и должно.

Я теперь тяжелые каталоги через cp и перемещаю. В десктопной убунте. Смешно...

1. Ты же правда в один поток копируешь? флешки фактически не умеют даже в два потока.

2. Почитай что такое «отложенная запись» цифры от cp при записи на flash направляй в /dev/null.

никаких багов нет, есть простое незнание «как оно работает».

При чем здесь CP? Оно идеально работает. Я говорю про то, что десктопная Ubuntu не может «равномерно» показывать прогресс копирования файла и постоянно врет.

много раз слышал и не понимал в чем подвох - потому что не наблюдал никаких замедлений, пока не установил козырнячий ssd - вот при копировании с него и начались дикие тормоза - даже на соседний винт hdd, а на флешки вообще капец... сам ssd работает шустро - старт системы, установка пакетов, запуск браузера все это происходит очень быстро - намного быстрее нежели система установленая на hdd...

Ты плохо понимаешь суть момента, сейчас так софт никто не пишет. Сейчас время не исправлять баги, а разрушать старую инфраструктуру.

Кстати да, я с ссд копировал.

Всё правильно. На винде такое же поведение. man кеш.

На Windows все четко.

это фича такая

windows nt в 1997 году на 3х дюймовые дискеты файлы копировала точно также. Это фича, но ты можешь уменьшить размер кеша на запись и копирование на флешку перестанет возмущать твоё чувство прекрасного :)

Я говорю про то, что десктопная Ubuntu не может «равномерно» показывать прогресс копирования файла и постоянно врет.

Это гном что ли? дикий хохот. гном сделан для того чтобы следовать хигу, быть похожим на мак и быть ваще, а не для того чтоб работать. на такие вещи, как врущий индикатор копирования, если конечно он хипстероугодно выглядящий, никто не обращает внимания.

cp на самом тоже врёт при отложенной записи. все врут.

Монтируй флешку с опцией sync

windows nt в 1997 году на 3х дюймовые дискеты файлы копировала точно также.

Вот тут ты врешь

У меня - нет.

Сам видел. 2х процессорный пентиум про 200МГц как сейчас помню. У меня самого тогда пень 166 ММХ был с 95й виндой.

Если подкрутить

vm.dirty_background_bytes
vm.dirty_bytes
vm.dirty_writeback_centisecs
vm.dirty_expire_centisecs
vm.dirtytime_expire_seconds

Эти крутилки нужны для каждого блочного устройства. И желательно, в секундах, а не в байтах.

Плюсую. А конкретно для решения заявленной ТС-ом проблемы достаточно подкрутить vm.dirty_background (bytes или ratio) на что-то более-менее соизмеримое с пропускной способностью USB.

iostat -d 1 что показывает до начала тормозов и после?

Никогда не видел как в винде шкальник копирования доходил до 100% и там зависал на сутки?

Сам видел.

Не рассказывай мне байки из склепа,не было такого никогда

У тебя неправильный шиндоуз; помню, на спермёрке охреневал от прогрессбара в эксплорере: сразу добегает почти до конца, а потом ползёт по чуть-чуть. И насколько я понял, это тупо свистелка такая для тупых хомячков — напоминает J2ME-трояны с прогрессбаром, в которых надо тыкать Fire для «ускорения» прогрессбара (на деле он вообще без этого не движется) — чтобы доверчивая жертва по инерции подтвердила пермишшон на отправку SMS. В десятке, насколько помню, в этом ничего не поменялось; зато добавили в диалогах копирования красивый и подробный график, тут лялипсу ещё долго ползти, эге. Установщик с восьмёрки в том же репертуаре: почти час пишет что-то в духе «подождите ещё немного», «осталось совсем чуть-чуть», «ну вот буквально через пару мгновений», «я ещё недолго, мамай клэнус!».

Это не баг а фича. А если ты пихаешь на флешку гигабайты мелких файлов, то большой скорости и не жди - лучше перед передачей пожать их архиватором без сжатия кусками по полгига.

Я как-то поднимал эту тему с GNU / Linux Debian. Мне вроде намекали, что я идиот и железо у меня кривое....

Когда починят «ускоренное» копирование файлов в Linux?

Попробуй поставить по крону с интервалом в 1 сек - /bin/sync.

Не рассказывай мне байки из склепа,не было такого никогда

Если ты такого в своем склепе не видел, то возможно это связанно с тем, что у упомянутого 200мгц-го п про были невероятные по тем временам 128М ОЗУ и винда легко могла закешировать на запись жалкие 1.44М дискеты.

В те времена ходили анекдоты типа «пап, покажи многозадачность виндовз 95. Сейчас сынок, дискетку доформатирую». А тут такое чудо - копируешь 1М файл на дискету мнгновенно, а он перез пару секунд после окончания записи включает светодиод и начинает жужжать. И не тормозит при этом.

Но у меня Linux на десктопе и черт побери, он в 2018 еще не готов для массового пользования, когда такие детские баги вылезают.

Поздравляю. Ты нашёл одну из самых меньших проблем линуксах на десктопах, на котороую всем плевать по большому счёту. В том числе под вендой.

https://xkcd.com/612/

Надо и то, и другое.

Можно ограничить кэш записи, прогресс в этом случае будет работать правильно, но тормоза появятся.

Как же мне нравятся люди, которые не понимают ни бельмеса в устройстве системы, и хотят «починки» того что видят в интерфейсе.

он в 2018 еще не готов для массового пользования, когда такие детские баги вылезают

Ох-ох-ох, вы только посмотрите на него. Оно ещё и выводы о готовности делает и детскости багов. Умора.

В те времена ходили анекдоты типа «пап, покажи многозадачность виндовз 95. Сейчас сынок, дискетку доформатирую». А тут такое чудо - копируешь 1М файл на дискету мнгновенно, а он перез пару секунд после окончания записи включает светодиод и начинает жужжать. И не тормозит при этом.

При чем тут многозадачность? Винда и лялих так же встаёт раком при ошибках или тормозах io. А nt никогда за секунду на флоп не копировала, по умолчанию на внешние носители она в sync копирует. Знаток хренов.

Рассказывай. Вот буквально несколько месяцев назад на USB-дисковод писал с XP — мгновенно показывает, что файл скопировался, потом добрую минуту скрипит.

Многозадачность при том, что мы специально на этом компе показывали зашедшим в гости это чудо техники в виде гигантского кеша и нетормозящего дисковода.

Но не хочешь не верь, я не заставляю. Я верю, что ты лично проверил все версии NT начиная с 3.1

Попробуйте отключить своп.

Проблема известна давно, это одна из реинкарнаций 12309. Его уже много лет фиксят, но никак не пофиксят до конца. Последний раз я видел, что пофиксили в ядре 4.10, но оказалось, что не очень помогло.

Детские баги - это когда из-за 4kb размера сектора на винте слетают корневые сертификаты, система ругается на неверную подптсь даже при запуске cmd.exe, а чтобы исправить ситуацию, надо накатить обновление через неработающий Windows Update. Вот это - детские баги и говнокод. А то, что описал ты - нормальное поведение системы.

Попробуйте отключить своп.

Можно ещё отрубить голову, этот тоже решит проблему.

зато добавили в диалогах копирования красивый и подробный график, тут лялипсу ещё долго ползти, эге

В KDE есть.

https://www.youtube.com/watch?v=_d6lGFzBkfM

Это не баг - это железо у тебя такое. Само по себе оно медленное, поэтому издревле используются техники ускорения работы вроде кэширования. Попробую файлы копировать в DOS без smartdrive - офигеешь от низкой скорости.

Оно у всех такое.

Это не линукса проблема. Как раз к чести линукса и стоит упомянуть, что такое редко замечают.

Проблемы со свопом никак к 12309 не относятся. 12309 - это iowait, который окончательно и бесповоротно исправили. Проблема со свопом такова, что оперативной памяти стало настолько много, что свопиться на винчестер получается слишком медленно, из-за чего начинает тормозить юзерспейс. Помогает отключение свопа. Да и зачем нужен своп при наличии 4Gb RAM и выше, неясно.

Оно у всех такое.

Раньше нельзя было сказать? :D
В августе 16-ого я поднимал тему про механизм отложенной записи. Один написал, что у него так же, а другой сказал, что на это влияют опции монтирования. Я что-то там изменил и вроде заработало нормально, но не надолго.