LINUX.ORG.RU

ubuntu при записи в fat «портит» файлы

 , ,


0

1

при скидывании на флешки flac файлов, а так же avi наблюдается странная картина - в flac файлах музыка фрагментами заедает, короткие отрывки(около секунды) меняются местами, а видео воспроизводится до определенного момента и все.. Куда копать?


Ответ на: комментарий от anonymous

нет дело не во флешке, в других дистарх я такого не замечал.

Savage
() автор топика

А если эти файлы обратно перекинуть? И вообще, надо, наверное контрольные суммы проверить.

valentin_v13 ★★★
()

А когда вы вынимаете флешку, сразу после момента прекращения копирования (пропадания окошка с прогрессбаром) или после завершения индикации синхронизации данных на флеш накопителе (перестаёт мигать лампочка на флешке) ?

Если вы не дожидаетесь прекращения мигания лампочки, то данные будут повреждены.

Да, в Linux есть такая особенность. Данные не сразу пишутся на накопитель, а попадают в кэш файловой системы, параллельно из кэша они сбрасываются на накопитель. Вследствие того, что флеш накопитель достаточно медленный в работе, тем более, если вы записываете несколько файлов, а не один большой файл (архив), после пропадания окна индикации копирования данные ещё не полностью записаны на накопитель, выдёргивать его просто нельзя.

Но этого можно избежать, выбрав безопасное извлечение, а не просто выдёргивать флешку, тогда после завершения сброса данных на флешку вам будет выдано сообщение, что флешку можно извлечь, а в файловом менеджере пропадёт иконка устройства (флешки).

В любом случае ждите пока не прекратит мигать индикатор обмена данными на накопителе.

kostik87 ★★★★★
()
Ответ на: комментарий от kostik87

вообще я раньше я всегда пользовался после пропадания окошка с прогрессбаром umount /mnt/somedevice в ubuntu через контекстное меню-> извлечь . скорее всего здесь где-то и ошибка.) и еще тема такая когда в amule ставишь дофига закачек вообще все начинает конкретно тормозить.(12309?) есть ли смысл обновить ядро до 3.3?

Savage
() автор топика
Ответ на: комментарий от Savage

когда в amule ставишь дофига закачек вообще все начинает конкретно тормозить

Насколько у вас большой диск, какая схема разбивки диска и куда вы пишете данные ?

kostik87 ★★★★★
()
Ответ на: комментарий от Savage

Мда, многовато.

Вся суть в том, что раздел у вас под /home, куда вы пишете очень большой, не по размеру, а по физическому расположению на диске.

p2p и amule в частности при работе создают много операций чтения записи, в вашем случае магнитным головкам приходится «пархать» над всей поверхностью диска, т.к. данные фрагментируются, в особенности при работе amule, один кусок файла может быть записан ближе к начале раздела, на цилиндры с меньшим индексом, находящимся ближе к центру диска, а другой кусок может быть записан уже ближе к второй границе раздела, на цилиндры, расположенные ближе к краям магнитных пластин.

Это особенность работы накопителей с не прямым доступом к данным.

Здесь выхода два, даже наверно три или 4:
1. Использовать другой планировщик ввода/вывода, который будет составлять более оптимальные запросы на чтение / запись к диск, что бы они обрабатывались за один проход магнитных головок над пластинами, иными словами более последовательные;
Покажите:

sudo cat /sys/block/sda/queue/scheduler
или
sudo -i
cat /sys/block/sda/queue/scheduler
2. Создать отдельный не большой раздел, несколько гигабайт размером, к примеру 10 Гб, на который вы будете писать данные через amule, лучше ближе к началу диска;
3. Писать на файловую систему tmpfs, после завершения скачивания данных и перед выключением пк данные с неё придётся переносить;
Здесь выделяется диск в памяти размером в 4 Гб.
mkdir /media/tmpfs
chmod 0777 /media/tmpfs
mount -t tmpfs tmpfs /media/tmpfs -o default,size=4096M
4. Использовать SSD.

kostik87 ★★★★★
()
Последнее исправление: kostik87 (всего исправлений: 1)
Ответ на: комментарий от kostik87

Спасибо, до дома доберусь попробую.

Savage
() автор топика
Ответ на: комментарий от kostik87

Да, в Linux есть такая особенность.

Такая особенность не только в Линукс, но и во всех современных операционных системах. Особенность Линукс - это возможность добавления опций sync (не рекомендуется) и flush (рекомендуется, но если это то, что вам нужно): http://ru.wikipedia.org/wiki/Mount#.D0.9C.D0.BE.D0.BD.D1.82.D0.B8.D1.80.D0.BE...

Kroz ★★★★★
()
Ответ на: комментарий от Kroz

Про опции sync и flush и команду sync, в частности, я знаю и да, я не ТС.

Но раз уж вы упомянули про эти опции, то объясните ТС, как настроить udisks, что бы он их использовал при монтировании сменных накопителей.

kostik87 ★★★★★
()
Последнее исправление: kostik87 (всего исправлений: 1)

Во-первых, нужно выяснить где именно проблема. Ставим вот такой эксперимент:
1. Есть flac файл на диске. Нормально проигрывется?
2. Сбрасываем его на флешку. После операции копирования обязательно выполняем комманду sync (сбросить все что в буфере на флешку), дожидаемся ее выполнения. С флешки нормально проигрывается?
3. Копируем с флешки на диск и опять проигрываем. Нормально?

При проявлении проблемы на каждом шагу:
1. Проблема с плеером/драйверами в системе и т. п., вобщем не с флешкой
3. (да, третий). Да, флешка портит данные. Тогда будем копать дальше.
2. Не хватает пропускной способности USB. Порт USB 2.0? Если на других дистрибутивах (на этом же компе) нормально, копаем в сторону драйверов USB, а может у данной конкретной флешки есть особенности.

Пробуй, отписывайся.

Kroz ★★★★★
()
Ответ на: комментарий от kostik87

Про опции sync и flush и команду sync, в частности, я знаю и да, я не ТС.

Тогда почему вы говорите что это особенность Линукс? Это не особенность Линукс, так во всех системах.

Но раз уж вы упомянули про эти опции, то объясните ТС, как настроить udisks, что бы он их использовал при монтировании сменных накопителей.

А TC'у это не это нужно. Сабжевая проблема другая.

Kroz ★★★★★
()
Ответ на: комментарий от Kroz

Kroz

Тогда почему вы говорите что это особенность Линукс? Это не особенность Линукс, так во всех системах.

Скажем так, в альтернативной ОС как-то это менее заметно, возможно в следствие того, что кэш файловой системы меньше или индикация копирования немного отличается от реального переноса данных. Возможно пользователи этой ОС, с которыми я имел дело обычно делают безопасное извлечение.

Kroz

А TC'у это не это нужно. Сабжевая проблема другая.

Использование опции flush при монтировании файловой системы udisks`ом это одно из решений проблемы, если будет задействована эта опция то у ТС прогрессбар в окне индикации переноса данных на файловую систему съёмного накопителя будет двигаться медленнее, в соответствие со скоростью сброса данных на накопитель. И ТС не нужно будет ждать завершения сброса данных после исчезновения окна.

Другое решение проблемы - это отключение кэша файловой системы, что тоже вызовет запись непосредственно на накопитель.

В любом случае жду описания того, как использовать вами предложенный метод.

kostik87 ★★★★★
()
Последнее исправление: kostik87 (всего исправлений: 1)
Ответ на: комментарий от kostik87

насчет прогрессбара, почти во всех дистрибутивах у меня сначала идет резкий скачек почти до конца, потом оставшийся 1% копирует положенное время.

Savage
() автор топика
Ответ на: комментарий от Savage

Посмотрите какие опции монтирования файловой системы съёмного накопителя на этих дистрибутивах.

grep sdx /proc/mounts
Где sdx - имя устройства флеш накопителя.

У меня, к примеру, присутствует 'flush' в опциях:

rw,nosuid,nodev,relatime,uid=1000,gid=1000,fmask=0022,dmask=0077,codepage=cp437,iocharset=utf8,shortname=mixed,showexec,utf8,flush,errors=remount-ro

kostik87 ★★★★★
()
Последнее исправление: kostik87 (всего исправлений: 1)
Ответ на: комментарий от kostik87

вчером после 19 отпишусь о результатах и опциях

Savage
() автор топика
Ответ на: комментарий от kostik87

Скажем так, в альтернативной ОС как-то это менее заметно

Возможно, но как правило все пользователси знают о «безопасном извлечении». Да и сам TC сказал что знает об этом. Хотя ок, соглашусь, можно перепроверить.

Использование опции flush при монтировании файловой системы udisks`ом это одно из решений проблемы

Если проблема именно в не-чистом umount'е, в чем лично я сомневаюсь (но не отбрасываю этот вариант). Кроме того в опции flush есть свои минусы.

В любом случае жду описания того, как использовать вами предложенный метод.

Мой метод сначала выявить где проблема, а потом ее решать. Мне как раз кажется, что не в umount дело, так как тогда бы файл просто оборвался на каком-то месте. Здесь же эффект другой. Мне кажется что либо у ТС просто тормозит система/плеер, либо действительно битая флешка, либо, что скорее всего, узким местом является USB интерфейс. Обратите внимание что проблема заявлена на flac и видео, не на mp3 - там, где больше всего битрейт, больше всего требования к пропускной способности.

Мое предложение я описал в посте выше. Надеюсь, ТС его не пропустил.

Еще раз: сначала диагноз, потом лечение!

Kroz ★★★★★
()
Ответ на: комментарий от Kroz

Kroz

... Обратите внимание что проблема заявлена на flac и видео, не на mp3 - там, где больше всего битрейт, больше всего требования к пропускной способности. ...

Резон, конечно, в этом есть, но вот с учётом последнего

Savage

а видео воспроизводится до определенного момента и все

Здесь уже можно задуматься о битом файле, из-за прерванного сброса данных, и не достаточной производительности процессора устройства, на котором ТС воспроизводит фильм.

kostik87 ★★★★★
()
Ответ на: комментарий от Kroz

сами файлы играются нормально до копирования, а вот после копирования на любую флэш (думал в флэшке проблема, но вот наблюдется она не только на этой а практически на всех что попадали мне в руки) происходит такая тема, после этого сам файл уже становится с такими косяками(проверял на 3х пк с разными системами, ну и через сам плеер на который я кидаю)

Savage
() автор топика
Ответ на: комментарий от Savage

Размер файла сохраняется? Попробуйте сравнить содержимое файлов программой cmp или в hex-редакторе.

Сразу после копирования файла на флешку он уже повреждён? Загрузите исходный файл и его копию с флешки на http://rghost.ru/ и дайте ссылки сюда.

AITap ★★★★★
()
Ответ на: комментарий от Savage

1. Если файл обратно скопировать, он играется нормально или с косяками?
2. С другими флешками такое есть?
3. Что если переформатировать флешку и повторить эксперимент? См. замечание ниже.

и через сам плеер на который я кидаю

3. Это плеер? Если да - не форматируй, а проверь файловую систему на ошибки.
4. Ты играешь плеером на который пишешь или плеером типа mplayer, vlc, amarok...?

В любом случае проверь файловую систему на ошибки. У меня такое было.

Kroz ★★★★★
()
Ответ на: комментарий от Savage

не думаю, что проблема в производительности устройств, т.к на работе тестировал на н адостаточно свежих компах с intel i5, дома с сабжем черный phenom и nv gts 450 с проприетарными дровами.

Savage
() автор топика
Ответ на: комментарий от Savage

В файловом менеджере nautilus в боковой панели правой кнопкой на имени примонтированной флешки и в контестном меню выбрать «Безопасно удалить привод» и дождаться, пока имя флешки не исчезнит из боковой панели (или если есть индикатор на флешке, то пока он не погаснет).

anonymous
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.