низкая скорость копирования

отличное форматирование, no shit. сейчас поправлю

1. нет выравнивания по секторам 4к

2. дикая фрагментация.

hdparm -tT --direct

lspci -k

parted -l

hdparm

hdparm -tT --direct /dev/sdb

/dev/sdb:

Timing O_DIRECT cached reads: 86 MB in 2.01 seconds = 42.77 MB/sec

Timing O_DIRECT disk reads: 128 MB in 3.03 seconds = 42.26 MB/sec

рdparm -tT --direct /dev/sdd

/dev/sdd:

Timing O_DIRECT cached reads: 240 MB in 2.01 seconds = 119.62 MB/sec

Timing O_DIRECT disk reads: 510 MB in 3.01 seconds = 169.67 MB/sec

lspci -k

00:00.0 Host bridge: Intel Corporation 82Q963/Q965 Memory Controller Hub (rev 02)

Subsystem: Hewlett-Packard Company Device 2800

<------>Kernel driver in use: agpgart-intel

00:02.0 VGA compatible controller: Intel Corporation 82Q963/Q965 Integrated Graphics Controller (rev 02) <------>Subsystem: Hewlett-Packard Company Device 2800

<------>Kernel driver in use: i915

00:03.0 Communication controller: Intel Corporation 82Q963/Q965 HECI Controller (rev 02)

<------>Subsystem: Hewlett-Packard Company Device 2800

00:19.0 Ethernet controller: Intel Corporation 82566DM Gigabit Network Connection (rev 02)

<------>Subsystem: Hewlett-Packard Company Device 2800

<------>Kernel driver in use: e1000e

00:1a.0 USB controller: Intel Corporation 82801H (ICH8 Family) USB UHCI Controller #4 (rev 02)

<------>Subsystem: Hewlett-Packard Company Device 2800

<------>Kernel driver in use: uhci_hcd

00:1a.1 USB controller: Intel Corporation 82801H (ICH8 Family) USB UHCI Controller #5 (rev 02)

<------>Subsystem: Hewlett-Packard Company Device 2800

<------>Kernel driver in use: uhci_hcd

00:1a.7 USB controller: Intel Corporation 82801H (ICH8 Family) USB2 EHCI Controller #2 (rev 02)

<------>Subsystem: Hewlett-Packard Company Device 2800

<------>Kernel driver in use: ehci-pci

00:1b.0 Audio device: Intel Corporation 82801H (ICH8 Family) HD Audio Controller (rev 02)

<------>Subsystem: Hewlett-Packard Company Device 2800

<------>Kernel driver in use: snd_hda_intel

00:1c.0 PCI bridge: Intel Corporation 82801H (ICH8 Family) PCI Express Port 1 (rev 02)

<------>Kernel driver in use: pcieport

00:1d.0 USB controller: Intel Corporation 82801H (ICH8 Family) USB UHCI Controller #1 (rev 02)

<------>Subsystem: Hewlett-Packard Company Device 2800

<------>Kernel driver in use: uhci_hcd

00:1d.1 USB controller: Intel Corporation 82801H (ICH8 Family) USB UHCI Controller #2 (rev 02)

<------>Subsystem: Hewlett-Packard Company Device 2800

<------>Kernel driver in use: uhci_hcd

00:1d.7 USB controller: Intel Corporation 82801H (ICH8 Family) USB2 EHCI Controller #1 (rev 02)

<------>Subsystem: Hewlett-Packard Company Device 2800

<------>Kernel driver in use: ehci-pci

00:1e.0 PCI bridge: Intel Corporation 82801 PCI Bridge (rev f2)

00:1f.0 ISA bridge: Intel Corporation 82801HO (ICH8DO) LPC Interface Controller (rev 02)

<------>Subsystem: Hewlett-Packard Company Device 2800

<------>Kernel driver in use: lpc_ich

00:1f.2 IDE interface: Intel Corporation 82801H (ICH8 Family) 4 port SATA Controller [IDE mode] (rev 02) <------>Subsystem: Hewlett-Packard Company Device 2800

<------>Kernel driver in use: ata_piix

parted -l

Модель: ATA ST3250410AS (scsi)

Диск /dev/sdb: 250GB

Размер сектора (логич./физич.): 512B/512B

Таблица разделов: msdos

Номер Начало Конец Размер Тип Файловая система Флаги

1 1049kB 250GB 250GB primary ext3

---- Модель: ATA ST1000DM003-9YN1 (scsi)

Диск /dev/sdd: 1000GB

Размер сектора (логич./физич.): 512B/4096B

Таблица разделов: msdos

Номер Начало Конец Размер Тип Файловая система Флаги

1 32,3kB 1000GB 1000GB primary ext4

да что не так с форматированием? почему строки из клипборда не переносятся?

Поставь тег [pre], ты только в интернет вылез?

Вот это реальная скорость, которая у тебя получилась, она низкая.

/dev/sdb:
Timing O_DIRECT cached reads: 86 MB in 2.01 seconds = 42.77 MB/sec
Timing O_DIRECT disk reads: 128 MB in 3.03 seconds = 42.26 MB/sec

Вот у тебя SATA в IDE режиме.

00:1f.2 IDE interface: Intel Corporation 82801H (ICH8 Family) 4 port SATA Controller [IDE mode] (rev 02)
Kernel driver in use: ata_piix

Меняется на AHCI в биосе, потом скорее всего будет драйвер AHCI, а не ata_piix.

Вот у тебя раздел выровнен (начинается с 1Mb, я предпочитаю d секторах смотреть это 2048s):

Модель: ATA ST3250410AS (scsi)
Диск /dev/sdb: 250GB
Размер сектора (логич./физич.): 512B/512B
Таблица разделов: msdos
Номер Начало Конец Размер Тип Файловая система Флаги
1 1049kB 250GB 250GB primary ext3

А вот тут не выровнен:

Модель: ATA ST1000DM003-9YN1 (scsi)
Диск /dev/sdd: 1000GB
Размер сектора (логич./физич.): 512B/4096B
Таблица разделов: msdos
Номер Начало Конец Размер Тип Файловая система Флаги
1 32,3kB 1000GB 1000GB primary ext4

Соответственно, на этом диске есть сильное падение скорости. Но ты про другой спрашиваешь.

Возможно дело в этом, возможно второй диск выглядит лучше потому, что у него кеш больше и вообще...

Вот что должно быть (примерно) для 7200rpm:

hdparm -tT --direct /dev/sdb
/dev/sdb:
 Timing O_DIRECT cached reads:   994 MB in  2.00 seconds = 496.60 MB/sec
 Timing O_DIRECT disk reads: 472 MB in  3.01 seconds = 156.92 MB/sec

Еще неплохо бы посмотреть на

smartctl -a /dev/sdb

возможно у диска проблемы.

А если хочешь бенчмарк для файловой системы, то не надо писать время копирования файла — оно мало что говорит. Используй «bonnie++ -d /tmp».

Ради уточнения, некоторые sata контроллеры выглядят как ide by design.

Да, но тут чипсет 82801H, а на нем я встречал только SATA, которые в нормальном режиме выглядят как AHCI.

И будет вывод типа такого:

ganymede ~ # bonnie++ -d /mnt/raid6/tmp/webmaster/ -u webmaster
Using uid:1000, gid:1000.
Writing a byte at a time...done
Writing intelligently...done
Rewriting...done
Reading a byte at a time...done
Reading intelligently...done
start 'em...done...done...done...done...done...
Create files in sequential order...done.
Stat files in sequential order...done.
Delete files in sequential order...done.
Create files in random order...done.
Stat files in random order...done.
Delete files in random order...done.
Version  1.96       ------Sequential Output------ --Sequential Input- --Random-
Concurrency   1     -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
ganymede        63G   912  98 557936  57 271276  29  3419  81 784892  47 851.0  13
Latency             12325us    1967ms     230ms     165ms     269ms     194ms
Version  1.96       ------Sequential Create------ --------Random Create--------
ganymede            -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16  9614  10 +++++ +++ +++++ +++ +++++ +++ +++++ +++ +++++ +++
Latency               895us     787us    1118us     114us      32us     244us
1.96,1.96,ganymede,1,1449430380,63G,,912,98,557936,57,271276,29,3419,81,784892,47,851.0,13,16,,,,,9614,10,+++++,+++,+++++,+++,+++++,+++,+++++,+++,+++++,+++,12325us,1967ms,230ms,165ms,269ms,194ms,895us,787us,1118us,114us,32us,244us

с диском, кажется, все в порядке

smartctl 6.2 2013-07-26 r3841 [x86_64-linux-3.13.0-65-generic] (local build)
Copyright (C) 2002-13, Bruce Allen, Christian Franke, http://www.smartmontools.org

=== START OF INFORMATION SECTION ===
Model Family: Seagate Barracuda 7200.10
Device Model: ST3250410AS
Serial Number: 9RY0BND5
Firmware Version: 3.AAC
User Capacity: 250 059 350 016 bytes [250 GB]
Sector Size: 512 bytes logical/physical
Device is: In smartctl database [for details use: -P show]
ATA Version is: ATA/ATAPI-7 (minor revision not indicated)
Local Time is: Sun Dec 6 23:37:35 2015 MSK
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED
See vendor-specific Attribute list for marginal Attributes.

General SMART Values:
Offline data collection status: (0x82) Offline data collection activity
was completed without error.
Auto Offline Data Collection: Enabled.
Self-test execution status: ( 0) The previous self-test routine completed
without error or no self-test has ever
been run.
Total time to complete Offline
data collection: ( 430) seconds.
Offline data collection
capabilities: (0x5b) SMART execute Offline immediate.
Auto Offline data collection on/off support.
Suspend Offline collection upon new
command.
Offline surface scan supported.
Self-test supported.
No Conveyance Self-test supported.
Selective Self-test supported.
SMART capabilities: (0x0003) Saves SMART data before entering
power-saving mode.
Supports SMART auto save timer.
Error logging capability: (0x01) Error logging supported.
General Purpose Logging supported.
Short self-test routine
recommended polling time: ( 1) minutes.
Extended self-test routine
recommended polling time: ( 64) minutes.
SCT capabilities: (0x0001) SCT Status supported.

SMART Attributes Data Structure revision number: 10
Vendor Specific SMART Attributes with Thresholds:

ID# ATTRIBUTE_NAME FLAG VALUE WORST THRESH TYPE UPDATED WHEN_FAILED RAW_VALUE 1 Raw_Read_Error_Rate 0x000f 116 099 006 Pre-fail Always - 108235726 3 Spin_Up_Time 0x0003 097 097 000 Pre-fail Always - 0 4 Start_Stop_Count 0x0032 100 100 020 Old_age Always - 317 5 Reallocated_Sector_Ct 0x0033 100 100 036 Pre-fail Always - 0 7 Seek_Error_Rate 0x000f 082 060 030 Pre-fail Always - 198052535 9 Power_On_Hours 0x0032 079 079 000 Old_age Always - 18696 10 Spin_Retry_Count 0x0013 100 100 097 Pre-fail Always - 0 12 Power_Cycle_Count 0x0032 100 100 020 Old_age Always - 296 187 Reported_Uncorrect 0x0032 100 100 000 Old_age Always - 0 189 High_Fly_Writes 0x003a 100 100 000 Old_age Always - 0 190 Airflow_Temperature_Cel 0x0022 049 045 045 Old_age Always In_the_past 51 (Min/Max 49/51) 194 Temperature_Celsius 0x0022 051 055 000 Old_age Always - 51 (0 16 0 0 0) 195 Hardware_ECC_Recovered 0x001a 069 060 000 Old_age Always - 1394252 197 Current_Pending_Sector 0x0012 100 100 000 Old_age Always - 0 198 Offline_Uncorrectable 0x0010 100 100 000 Old_age Offline - 0 199 UDMA_CRC_Error_Count 0x003e 200 200 000 Old_age Always - 0 200 Multi_Zone_Error_Rate 0x0000 100 253 000 Old_age Offline - 0 202 Data_Address_Mark_Errs 0x0032 100 253 000 Old_age Always - 0

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1

SMART Selective self-test log data structure revision number 1
SPAN MIN_LBA MAX_LBA CURRENT_TEST_STATUS
1 0 0 Not_testing
2 0 0 Not_testing
3 0 0 Not_testing
4 0 0 Not_testing
5 0 0 Not_testing
Selective self-test flags (0x0):
After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.

sata кабель заменил...

результаты теста повергают во вселенскую печаль -
TID PRIO USER DISK READ DISK WRITE SWAPIN IO COMMAND
14763 be/4 root 14.13 M/s 0.00 B/s 0.00 % 99.15 % bonnie++ -d /mnt/srv_torrent/tst/ -u root -s7632 -q

bonnie++ -d /mnt/srv_torrent/tst/ -u root Using uid:0, gid:0. Writing a byte at a time...done Writing intelligently...^[^[done Rewriting...done Reading a byte at a time...done Reading intelligently...done start 'em...done...done...done...done...done... Create files in sequential order...done. Stat files in sequential order...done. Delete files in sequential order...done. Create files in random order...done. Stat files in random order...done. Delete files in random order...done. Version 1.97 ------Sequential Output------ --Sequential Input- --Random- Concurrency 1 -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks-- Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP storage 7632M 94 23 20141 44 6634 1 2069 92 12262 1 92.9 2 Latency 24946ms 1366ms 1182ms 44877us 118ms 630ms Version 1.97 ------Sequential Create------ --------Random Create-------- storage -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete-- files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP 16 2361 5 +++++ +++ 17165 30 13849 28 +++++ +++ +++++ +++ Latency 17374us 607us 650us 118us 35us 66us 1.97,1.97,storage,1,1449438395,7632M,,94,23,20141,44,6634,1,2069,92,12262,1,92.9,2,16,,,,,2361,5,+++++,+++,17165,30,13849,28,+++++,+++,+++++,+++,24946ms,1366ms,1182ms,44877us,118ms,630ms,17374us,607us,650us,118us,35us,66us

Отформатированный вывод бенчмарка- https://www.dropbox.com/s/lkmo6s4jb3s8tnk/Скриншот 2015-12-07 01.14.15.png
как-то подозрительно на 97-98 % процессор загружен при Sequential Output и Sequential Input

На AHCI режим работы контроллера в биосе поменял?

Выравнивание сделал (первый раздел должен стартовать с 2048s)?

Я не в курсе что для твоих дисков значат эти параметры, но может это плохо:

  1 Raw_Read_Error_Rate     0x000f   116   099   006    Pre-fail  Always       -       108235726
  7 Seek_Error_Rate         0x000f   082   060   030    Pre-fail  Always       -       198052535
195 Hardware_ECC_Recovered  0x001a   069   060   000    Old_age   Always       -       1394252

Лучше поищи информацию о том, какие значения не айс для твоего производителя.

Ну и с моими данными bonnie++ свой вывод не сравнивай, или дели на 6-8. Мой вывод bonnie++ для аппаратного рейда на 8 дисков и планировщика deadline.

PS: нагрузка на проц это нормально.

Для сигейта эти атрибуты с дикими значениями это норма :)

Выравнивание ты не исправил, в AHCI не переключил. А надо. Диск с торрентами может быть фрагментирован. Для LTS 14.04.03 уже вышло ядро 4.2.0-21, неплохо бы обновиться до него.

Temperature_Celsius 0x0022 051 055 000 Old_age Always - 51

ясно понятно

биос старый, режимы работы контроллера только ide или raid. нового биоса нет, производитель - HP

обновлю ядро, посмотрим, что выйдет

Выравнивание разделов лучше сделай.

Ну и как посоветовали выше, посмотри на фрагментацию:

fsck -nvf /dev/md7
     1787926 inodes used (3.56%, out of 50241536)
        6642 non-contiguous files (0.4%)
         360 non-contiguous directories (0.0%)
             # of inodes with ind/dind/tind blocks: 0/0/0
             Extent depth histogram: 1785791/2041/1
   162956591 blocks used (81.10%, out of 200944848)
           0 bad blocks
          24 large files

     1778228 regular files
        9589 directories
           0 character device files
           0 block device files
           0 fifos
           1 link
         156 symbolic links (141 fast symbolic links)
          10 sockets
------------
     1787984 files

Фрагментация это вот это:

        6642 non-contiguous files (0.4%)
         360 non-contiguous directories (0.0%)

Ну а если после всего этого нужно еще ускорить, то можешь еще
1. сделать раздел в начале диска для работы с данными (запись/чтение в начале диска и в конце различается очень сильно, может быть до 40%)
2. попробовать другие планировщики и длину очереди
cat /sys/block/sda/queue/scheduler
cat /sys/block/sda/queue/nr_requests
3. поработать с файловой системой — поправить опции монтирования, выкинуть журнал на другой диск, сменить фс...
4. поиграться с кешированием...

RAID это и есть AHCI. Включаешь, массив не собираешь, диски остаются каждый сам по себе.

Отпишись о результатах, интересно же. У твоей конфигурации столько проблем нашли, что интересно как вырастет скорость после всех исправлений.

ок, обязательно отпишусь. насчет raid=ahci это неожиданно, надеюсь это сработает

приветствие

итак, настоящим официально признаю, что я лошопед результаты замены режима работы sata контроллера с IDE на RAID:

режим IDE dev/sdb: Timing cached reads: 2470 MB in 2.00 seconds = 1235.13 MB/sec Timing buffered disk reads: 508 MB in 3.00 seconds = 169.29 MB/sec dev/sdd: Timing cached reads: 2470 MB in 2.00 seconds = 1234.64 MB/sec Timing buffered disk reads: 18 MB in 3.02 seconds = 5.96 MB/sec ----- режим RAID (AHCI) dev/sdb: Timing cached reads: 2358 MB in 2.00 seconds = 1179.06 MB/sec Timing buffered disk reads: 410 MB in 3.01 seconds = 136.23 MB/sec dev/sdd: Timing cached reads: 2336 MB in 2.00 seconds = 1167.53 MB/sec Timing buffered disk reads: 310 MB in 3.01 seconds = 103.13 MB/sec -----

было

Timing buffered disk reads: 18 MB in 3.02 seconds = 5.96 MB/sec

стало

Timing buffered disk reads: 310 MB in 3.01 seconds = 103.13 MB/sec

Проблема решена, вопрос исчерпан, всем соучаствовавшим - большое спасибо за помощь

p/s/ дело, как я понял, в особенностях ПО конкретного ХДД