Низкая скорость копирования

hdparm -I /dev/sde

/dev/sde:

ATA device, with non-removable media
Model Number: ST3500320AS
Serial Number: 9QM1DRNG
Firmware Revision: SD15
Standards:
Supported: 8 7 6 5
Likely used: 8
Configuration:
Logical max current
cylinders 16383 16383
heads 16 16
sectors/track 63 63
--
CHS current addressable sectors: 16514064
LBA user addressable sectors: 268435455
LBA48 user addressable sectors: 976773168
device size with M = 1024*1024: 476940 MBytes
device size with M = 1000*1000: 500107 MBytes (500 GB)
Capabilities:
LBA, IORDY(can be disabled)
Queue depth: 32
Standby timer values: spec'd by Standard, no device specific minimum
R/W multiple sector transfer: Max = 16 Current = 16
Recommended acoustic management value: 254, current value: 0
DMA: mdma0 mdma1 mdma2 udma0 udma1 udma2 udma3 udma4 *udma5 udma6
Cycle time: min=120ns recommended=120ns
PIO: pio0 pio1 pio2 pio3 pio4
Cycle time: no flow control=120ns IORDY flow control=120ns
Commands/features:
Enabled Supported:
* READ BUFFER cmd
* WRITE BUFFER cmd
* Host Protected Area feature set
* Look-ahead
* Write cache
* Power Management feature set
Security Mode feature set
* SMART feature set
* FLUSH CACHE EXT command
* Mandatory FLUSH CACHE command
* Device Configuration Overlay feature set
* 48-bit Address feature set
SET MAX security extension
* DOWNLOAD MICROCODE cmd
* General Purpose Logging feature set
* SMART self-test
* SMART error logging
Security:
Master password revision code = 65534
supported
not enabled
not locked
not frozen
not expired: security count
supported: enhanced erase
100min for SECURITY ERASE UNIT. 100min for ENHANCED SECURITY ERASE UNIT.
Checksum: correct

Фрагментация? Копируются из кеша?

> Фрагментация?
это какая должна быть фрагментация, чтоб скорость упала в 4 раза?
такое возможно?

> Копируются из кеша?
нет.

легко и непринуждённо, не торрентом накачанное копируется ли?

Какой рейд? уровень, аппаратный/программный? разнесено ли на 2 рейда (1 - 6x500 3x1000)? Одинаковые ли винты? Тестировал ли скорость приемопередачи без ФС?

>DMA: mdma0 mdma1 mdma2 udma0 udma1 udma2 udma3 udma4 *udma5 udma6

посмотри dmesg - почему скидывает с udma6 на udma5

Если 50-70 это 'быстро' для такой конфигурации то рекомендую автору срочно выйти из анабиоза.

> Какой рейд?
программный (2x1000), но с ним всё хорошо, он не берёт участия в тестах. Все остальные винты не в рейде и не в lvm.

> Одинаковые ли винты?
винты которые участвуют в тестах:
/dev/sdd: SAMSUNG HD501LJ: 500
/dev/sde: ST3500320AS: 500
/dev/sdf: SAMSUNG HD501LJ: 500
/dev/sdg: SAMSUNG HD501LJ: 500
/dev/sdh: Hitachi HDS721010KLA330: 1000
/dev/hda: ST3500630A: 500

> Тестировал ли скорость приемопередачи без ФС?
hdparm -tT :

/dev/sdd:
Timing cached reads: 4552 MB in 2.00 seconds = 2277.35 MB/sec
Timing buffered disk reads: 244 MB in 3.02 seconds = 80.84 MB/sec

/dev/sde:
Timing cached reads: 3952 MB in 2.00 seconds = 1978.42 MB/sec
Timing buffered disk reads: 260 MB in 3.02 seconds = 86.06 MB/sec

/dev/sdf:
Timing cached reads: 4504 MB in 2.00 seconds = 2254.17 MB/sec
Timing buffered disk reads: 228 MB in 3.01 seconds = 75.79 MB/sec

/dev/sdg:
Timing cached reads: 4236 MB in 2.00 seconds = 2119.75 MB/sec
Timing buffered disk reads: 228 MB in 3.03 seconds = 75.19 MB/sec

/dev/sdh:
Timing cached reads: 4224 MB in 2.00 seconds = 2114.34 MB/sec
Timing buffered disk reads: 234 MB in 3.02 seconds = 77.40 MB/sec

/dev/hda:
Timing cached reads: 4116 MB in 2.00 seconds = 2059.52 MB/sec
Timing buffered disk reads: 226 MB in 3.02 seconds = 74.74 MB/sec

Что за контроллер ? Возможно он не поддерживает udma6. Диск стопудово держит.

> Если 50-70 это 'быстро' для такой конфигурации то рекомендую автору срочно выйти из анабиоза.

По сравнению с 15 МБ/сек это быстро!

> Что за контроллер ? Возможно он не поддерживает udma6. Диск стопудово держит.
Думаю контроллер тут не виноват, поскольку я тестировал на других машинах!

Некоторые винты на контроллере: PCI Silicon Image Sil3114

sata_sil 0000:01:09.0: version 2.0
sata_sil 0000:01:09.0: Applying R_ERR on DMA activate FIS errata fix
ata5: SATA max UDMA/100 cmd 0xF8844080 ctl 0xF884408A bmdma 0xF8844000 irq 5
ata6: SATA max UDMA/100 cmd 0xF88440C0 ctl 0xF88440CA bmdma 0xF8844008 irq 5
ata7: SATA max UDMA/100 cmd 0xF8844280 ctl 0xF884428A bmdma 0xF8844200 irq 5
ata8: SATA max UDMA/100 cmd 0xF88442C0 ctl 0xF88442CA bmdma 0xF8844208 irq 5
scsi4 : sata_sil
ata5: SATA link up 1.5 Gbps (SStatus 113 SControl 310)
ata5.00: ATA-8, max UDMA/133, 976773168 sectors: LBA48 NCQ (depth 0/32)
ata5.00: ata5: dev 0 multi count 16
ata5.00: configured for UDMA/100
scsi5 : sata_sil

Но контроллер не виноват, поскольку на других машинах я тестировал без него!

> легко и непринуждённо, не торрентом накачанное копируется ли?

легко и непринуждённо это как)?
фильмы закачиваются торрентом на домашней машине, а потом целые заливаются через самбу.

Закачанное торрентом обычно получается довольно фрагментированым, помогает только скопировать куда-нибудь а потом переписать обратно.

>sata_sil 0000:01:09.0: Applying R_ERR on DMA activate FIS errata fix
>Но контроллер не виноват, поскольку на других машинах я тестировал без него!

Да - он принудительно скидывает, для sata_sil это нормально :)

> Потом пробовал форматировать винт в reiserfs, ситуация повторилась!

то есть создавал новую fs, _поочерёдно_ записывал туда файлы (по ходу ничего с раздела не удалял), и на этих файлах получается такая скорость?

Или всё же файлы заливал одновременно, провоцируя их чередование? (не знаю, как на это реагирует reiserfs и ext3).

У меня аналогичная проблема была на ext3, но это я мысленно списал на фрагментацию, как раз думал попробовать reiserfs. При этом читающие процессы большей частью находятся в состоянии "uninterruptible sleep".

>скорость копирования большинства больших файлов(фильмы 700 - 3000 МБ) очень маленькая(15-17 МБ/сек!!!), а некоторые файлы копирует быстро(50-70 МБ/сек).

>Пробовал

>на разных машинах

>в разных ОС (Debian Etch, CentOS)

>пробовал форматировать винт в reiserfs

Итого - разное оборудование, разные файлы, разное железо. Общий только линукс. Значит он виноват. Ну так получается...

>винты которые участвуют в тестах:
/dev/sdd: SAMSUNG HD501LJ: 500
/dev/sde: ST3500320AS: 500
/dev/sdf: SAMSUNG HD501LJ: 500
/dev/sdg: SAMSUNG HD501LJ: 500
/dev/sdh: Hitachi HDS721010KLA330: 1000
/dev/hda: ST3500630A: 500

Я тут вспомнил не очень давнюю свою историю с самсунгами - в общем мой почти новый хдд самсунг очень медленно писал внутри самого себя - тоесть если файл копировать на тот же диск на котором он лежит, скорость падала до 5 мб/сек. В общем я его выкинул подальше и купил нормальный wd.
http://www.linux.org.ru/view-message.jsp?msgid=2774431
так что проверь свои самсунги на всякий случай.

Диски во всех случаях были те же самые. Или нет?

>Диски во всех случаях были те же самые. Или нет?

А я почем знаю. Судя по сообщению топикпастеру одни и те же. Иначе какой смысл?

> помогает только скопировать куда-нибудь а потом переписать обратно.

Сделал так и скорость поднялась до 40-50 МБ/сек, то-есть таки сильная фрагментация??? И почему только до 40-50 МБ/сек а не до 60-70 МБ/сек? И почему на другой машине форматирование и новое заливание файла не помогло, это кривые /dev/hands? И форматировал я винт и в ext3 и в reiserfs, результат был одинаков!!!

Бред какой-то!

Посоветуйте дефрагментатор. Или лучший дефрагментатор это заново залить файлы?

>И почему на другой машине форматирование и новое заливание файла не помогло, это кривые /dev/hands?

Кривой /dev/brain.

Что значит на другой машине? Винты те же?

> Посоветуйте дефрагментатор.

В Линуксе дефрагментатор не нужен (с).


> Или лучший дефрагментатор это заново залить файлы?

Так и есть.

>Посоветуйте дефрагментатор.

rm + wget

> Кривой /dev/brain.

Возможно, много работы а тут ещё и это, нужно отдохнуть.

> Что значит на другой машине? Винты те же?

было так: сняли с серванта самсунг 501LJ, подключили его к другому компу(рабочая лошадка), взяли новый Hitachi 1000 ГБ и тоже подключили его к рабочей лошадке. Скопировал все фильмы с 500 на 1000 со скоростью 15 МБ/сек!!! (копировал пол дня), а потом форматировал 500 и тестил, скорость не менялась!!!

А сейчас тестил Seagate 500 /dev/hda, пока не перезалил файлы ничего не менялось!

Ну значит не только Линукс константа в опытах, но и диски (железо) тоже.
Так что с фразой "Общий только линукс. Значит он виноват." иди-ка на винфак.

>Посоветуйте дефрагментатор.

Переходи на XFS, там и дефрагментатор есть и вообще онa лучше ext3.

Чем?

Всем!

> Ну значит не только Линукс константа в опытах, но и диски (железо) тоже.

Да, я вспомнил что на серваке и на ещё одном компе файлы с 500 копировались с разной скоростью, а на том компе где я копировал с 500 на 1000 и форматировал 500, ВСЕ файлы с 500 копировались 15 МБ/сек(хотя с 1000 файлы копировались нормально 60-70 МБ/сек)
. А и ещё при создании ФС и копировании 500 иногда выдавала щелчки!!! Видать какой-то аппартный глюк. Я только теперь вспомнил, потому что этим я занимался неделю назад, и все не было времени написать.

> Так что с фразой "Общий только линукс. Значит он виноват." иди-ка на винфак.

Он проанализировал сказанное мною, ему не надо на винфак)

P.S. Так что скорее это мой провтык, извините!

> Всем!

Не всем :)

Не пали контору.

З.Ы. попустило с похмелья?

Файлы на сервак заливаются целыми, откуда такая бешенная фрагментация? Можно как-то избежать такой фрагментации?

> Переходи на XFS, там и дефрагментатор есть и вообще онa лучше ext3.

Я с ней не работал, там при сбоях участки заполняются нулями?
ext3 я выбрал из-за надёжности и поддержки(смонтировать ext3 раздел можно даже под оффтопиком)!
Есть ли смысл из-за одного дефрагментатора перелазить на XFS?

>Файлы на сервак заливаются целыми, откуда такая бешенная фрагментация?

Сколько свободного места на диске? Если мало - всё равно по диску размажет с очень высокой вероятностью.

>там при сбоях участки заполняются нулями?

Какие участки? Только открытые на запись файлы.
Тебе нужны недозалитые на сервер файлы? Ты их все-равно перезальешь, независимо от ФС.
Да и UPS не помешает для такого кол-ва дисков/файлов ибо ext3 не панацея.

> Сколько свободного места на диске? Если мало - всё равно по диску размажет с очень высокой вероятностью.

Сейчас на тестируемом 800 МБ. Но это замечалось и на тех винтах, где свободно несколько десятков гиг! Почему файлы так сильно фрагментируются, ведь даже если файлы часто удаляются/записываются, то это делается огромными блоками(700 - 3000 МБ)?
Или с моими познаниями работы ФС, мне лучше не трогать эту тему? :)

>там при сбоях участки заполняются нулями?

>Какие участки? Только открытые на запись файлы.

Если это фильм, то да, ничего страшного. А если это важные данные?
Или вероятность такой ситуации очень маленькая? Такое возможно только при наглом вырубании сервака?

В данном случае это фильмо-помойка?
Ставь XFS -- останешься довольным.

> В данном случае это фильмо-помойка?

Да.

> Ставь XFS -- останешься довольным.

Хорошо, будем думать.

Всем огромное спасибо!

> З.Ы. попустило с похмелья?

Да нормально. 3 литра минералки, пряники и прогулки. Выжил =)

>Я с ней не работал, там при сбоях участки заполняются нулями?

Не участки, а файлы :)

>Есть ли смысл из-за одного дефрагментатора перелазить на XFS?

Имеет. Вон, у меня на XFS идиосинкразия и карма, а всё равно очередной новый раздел на ней сделал.

>А если это важные данные?

А важные данные надо бэкапить. К тому же - они редко бывают гигабайтных разделов и их можно на reiserfs/reiser4 держать ;)

>Или вероятность такой ситуации очень маленькая?

Например, opera.win бьётся каждый второй раз. Видно, карма расширения :)

>Такое возможно только при наглом вырубании сервака?

Или при наглом его зависе (скажем, я пару раз мелочёвку терял, когда у меня bluetooth-стек систему насмерть вешал: http://www.linux.org.ru/view-message.jsp?msgid=2816668 )

>В общем я его выкинул подальше и купил нормальный wd.

У меня сейчас вместе сидят SAMSUNG SP2504C, SAMSUNG HD501LJ и WDC WD6400AAKS - я бы не сказал, что заметна хоть какая-то принципиальная разница :) Разве что WD похолоднее, а Самсунги - потише.

>Или лучший дефрагментатор это заново залить файлы?

Именно так. Под Linux пока нет FS с полноценным дефрагментатором. Даже в xfs дефраг дефрагментирует только файлы, но не пустое пространство. Одиночный файл прочитается быстро, а вот на параллельном чтении - труба.

Убедительно, спасибо!

> Или лучший дефрагментатор это заново залить файлы?

Похожий опыт-эксперимент насчет фрагментации. Был диск одним разделом 500Гб ext3 файло-фильмо-музыко-фото-помойка заполненный на 80%. Заполнялся плавно в течении 1.5 года в том числе и торрентами, да и параллельное копирование тож бывало. Со временем я стал обращать внимание что скорость чтения/записи реально упала (цифры уже не помню). После слития всех данных и залития обратно, скорости чтения/записи нормализовались. Сделал вывод-фрагментация.