Доброе время суток, возникла проблема которую не смог решить сам поэтому прошу вашей помощи.
Необходимо добиться максимальной скорости передачи данных между 2 серверами.
При удачных тестах все введется в эксплуатацию на боевых серверах с приличным объемом РАМ
----
Что имеем:
2 одинаковых сервера (тестовая лаборатория):
P4 x64
сетевая карта 1 - 1 Гбит
сетевая карта 2 - 4-х портовая 1Гбит
4GB Ram
eth0 - интерфейс 1 карты
bond0 - бондинг с задействоваными интерфейсами eth1 eth2 eth3 eth4
Cisco Catalyst 3560G
----
Что сделано
1. Созданы виртуальные РАМдиски на каждом сервере ( mount -t tmpfs -o size=3000M tmpfs /mnt/RAMDrive/ )
2. Вроде как настроен Nic Bonding (Nic Teaming) На обоих серверах, IP 10.10.250.3 и 10.10.250.2
auto bond0
iface bond0 inet static
address 10.10.250.3
netmask 255.255.255.0
network 10.10.250.0
bond_mode balance-rr
bond_miimon 100
bond_downdelay 200
bond_updelay 200
slaves eth1 eth2 eth3 eth4
3. Поднят iSCSI-Target & iSCSI Initiator (/nmt/iSCSI)
конфиг iSCSI-target
mount -t tmpfs -o size=3000M tmpfs /mnt/tmpfs/
dd if=/dev/zero of=/mnt/tmpfs/image.img bs=1024k count=2000
Target test.802:test-debian.lun0
IncomingUser
OutgoingUser
Lun 0 Path=/mnt/tmpfs/image.img,Type=fileio
Alias LUN0
# MaxConnections 1
# ImmediateData Yes # Data can accompany command
# MaxRecvDataSegmentLength 8192 # Max data per PDU to receive
# FirstBurstLength 65536 # Max unsolicited data sequence
Далее мои результаты:
Создаем файлик 1.1 гиг dd if=/dev/zero of=/mnt/iscsi/image.img bs=1024k count=1024
И результаты скорости:
iSCSI - > RAMDrive 298MB/sec
RAMDrive - > iSCSI 177MB/sec
Как увеличить скорость?
тесты проводятся в «тепличных условиях» для дальнейшего применения на боевых серверах фирмы.
Так же на боевых машинках используется infinyband и корзинки =)
Результаты:
~# dd if=/dev/zero of=/mnt/iscsi/image.img bs=1024k count=1024
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 9.35884 s, 115 MB/s
iotop 80-260Mb/Sec
iptraf показывает 0..... новерно он не понял bonding...
Скорость работы с файлами (замерена через mc):
Копирование:
iSCSI -> RAMDrive 185-310M/Sec
RAMDrive -> iSCSI 135-185M/Sec
Перезапись файла:
iSCSi -> RAMDrive 180-320M/Sec
RAMDrive -> iSCSI 150-175M/Sec
Поставил режим balance-tlb и попробовал посоздавать файлы разных размеров вот что вышло...
# dd if=/dev/zero of=/mnt/iscsi/image.img bs=1024k count=200 && dd if=/dev/zero of=/mnt/iscsi/image.img bs=1024k count=400 && dd if=/dev/zero of=/mnt/iscsi/image.img bs=1024k count=600 && dd if=/dev/zero of=/mnt/iscsi/image.img bs=1024k count=750
200+0 records in
200+0 records out
209715200 bytes (210 MB) copied, 0.159145 s, 1.3 GB/s
400+0 records in
400+0 records out
419430400 bytes (419 MB) copied, 0.511152 s, 821 MB/s
600+0 records in
600+0 records out
629145600 bytes (629 MB) copied, 3.38926 s, 186 MB/s
750+0 records in
750+0 records out
786432000 bytes (786 MB) copied, 5.69244 s, 138 MB/s
3# dd if=/dev/zero of=/mnt/iscsi/image.img bs=1024k count=800 && dd if=/dev/zero of=/mnt/iscsi/image.img bs=1024k count=1100
800+0 records in
800+0 records out
838860800 bytes (839 MB) copied, 6.24761 s, 134 MB/s
1100+0 records in
1100+0 records out
1153433600 bytes (1.2 GB) copied, 10.3507 s, 111 MB/s
скорость РАМдрайва сама по себе нормальная.
Выше показано создание файла на РАМдиск по сети по iSCSI в bonding.
Локально на любом сервере скорость работы РАМдиска нормальная, вот результаты
# dd if=/dev/zero of=/mnt/ramdrv/image.img bs=1024k count=1024
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 0.861937 s, 1.2 GB/s
Скорость при использовании НЕ iSCSI, попытка на NFS
# dd if=/dev/zero of=/mnt/nfs/imeea.img bs=1024k count=1024
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 9.28765 s, 116 MB/s
ФТП тоже самое....
Ответ на:
комментарий
от Suigintou
Ответ на:
комментарий
от Kuzmich
Ответ на:
комментарий
от Korang
Ответ на:
комментарий
от Kuzmich
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
Похожие темы
- Форум SSD тестирование (2017)
- Форум Samba: низкая скорость передачи файлов (2021)
- Форум Linux iSCSI target + VMWare initiator + Bonding (2012)
- Форум Скорость Infiniband SAN (2017)
- Форум Странности со скоростью дисков (2014)
- Форум Как проверить скорость SD контроллера (2017)
- Форум лаг при чтении файлов из xen гостя (2015)
- Форум Hardware RAID1 и SSD — низкая производительность (2012)
- Форум Медленная скорость записи на диск CentOS (2018)
- Форум Маленькая скорость HDD (2019)