Почему файловые системы сейчас стали прожорливыми?

Это не файловые системы прожорливые. Это флешки такие медленные, что ничего кроме FAT на нём толком работать не будет.

А вообще, попробуйте создать EXT4 на флешке одной из этих команд:

mkfs.ext4 -L <name> -J size=64 -b 1024 -I 128 -C 64K -m 0 -E stride=64,stripe-width=64,lazy_itable_init=0,lazy_journal_init=0,num_backup_sb=1 -O bigalloc,^extra_isize,^ext_attr,dir_index,^resize_inode,^dir_nlink,^mmp,^huge_file,sparse_super2,^uninit_bg <device>

mkfs.ext4 -L <name> -J size=64 -b 1024 -i 16384 -I 128 -m 0 -E stride=64,stripe-width=64,lazy_itable_init=0,lazy_journal_init=0,num_backup_sb=1 -O ^extra_isize,^ext_attr,dir_index,^resize_inode,^dir_nlink,^mmp,^huge_file,sparse_super2,^uninit_bg <device>

Можете также EXT4 без журнала создать, с указанием всех остальных параметров из указанных команд - будет ещё быстрее работать.

Whoops, подумал сходу что вы про флешку пишете.

Но вообще, описанные советы могут и тут помочь. Но вообще, опишите более конкретно что у вас и как настроено, где конкретно крутится диск с файловой системой которая тормозит ?

В ext2 и fat32 нет журналирования. Отключи журналирование в ext4, скорее всего станет близка по нагрузкам к ext2.

Интересно, средствами самого роутера можно отформатировать флэшку? На home-роутерах есть утилита mkfs и возможность доступа к ней по ssh, например?

На домашних роутерах вообще ничего нельзя. Проблемы с файловой системой на роутере там просто физически невозможны - так как пользователь к нему никакое устройство хранения информации подключить не сможет. Тем более, поставить там Transmisson (это торрент-клиент такой? я хз, если честно).

А вообще, на любых более специализированных устройствах вроде NAS'ов как правило всё это имеется. Оно либо работает «из коробки» и пользователь даже не знает какая там ФС используется, либо пользователь настраивает это всё сам и в качестве ОС используется какой-нибудь OpenWRT, FreeNas, NAS4Free или что-то типа того.

Я сейчас перечитал вопрос ТС ещё раз - и если честно совсем не понимаю, что у него за проблема. Потому что совсем не понятно, о чём конкретно идёт речь. Где находиться тормозящая файловая система, где у него конкретно крутится Transmission, какой конкретно CPU жрёт работа всего этого дела, какую конкретно роль во всём этом деле играет роутер.

Я как-то сходу просто подумал, что речь идёт о тормозящей флешке, сам с ними намучался в своё время...

Где находиться тормозящая файловая система

WD My Passport Ultra.

где у него конкретно крутится Transmission

Keenetic Extra I, NDMS 2.08.

какой конкретно CPU жрёт работа всего этого дела, какую конкретно роль во всём этом деле играет роутер.

Прямую - https://help.keenetic.net/hc/ru/articles/213967249-BitTorrent-клиент-Transmis...

Вы по USB подключаете к нему этот самый WD My Passport Ultra, так ? Какой объём диска ? Попробуйте для начала форматировать диск без журнала - эта фича действительно может сильно нагружать CPU роутера.

Вообще, мой вам совет - никакие роутеры для таких задач в общем-то не предназначены. USB2.0 на современном роутере - это вообще фантастика. Хорошо если он будет сможет хоть вполовину скорости реально работать. Производитель просто фуфло продаёт, маркетинг и все дела. Купите себе лучше хороший качественный NAS, или маленький nettop и поставьте туда какой-нибудь дистрибутив для NAS'ов (вроде NAS4Free).

К тому-же для вашей модели явно указаны описанные вами выше ограничения в 1мегабайт в секунду. Так что, в общем-то проблемы нет. Просто роутер говно.

Вообще, мой вам совет - никакие роутеры для таких задач в общем-то не предназначены.

Но тут есть неоспоримый плюс у оных - минимум вопросов и потребления энергии.

Купите себе лучше хороший качественный NAS, или маленький nettop и поставьте туда какой-нибудь дистрибутив для NAS'ов (вроде NAS4Free).

У оных бывает пассивное бесшумное охлаждение и питание от сети с пассивным блоком?

К тому-же для вашей модели явно указаны описанные вами выше ограничения в 1мегабайт в секунду. Так что, в общем-то проблемы нет. Просто роутер говно.

Нет, 4.

Keenetic Viva, Extra: 4 Мбайта/сек

У оных бывает пассивное бесшумное охлаждение и питание от сети с пассивным блоком?

Бывает. Смотрите Mini-ITX материнки на основе уже запаянных туда процессоров Atom. Они с пассивным охлаждением. Блоки питания для могут быть тоже с пассивным охлаждением, и даже внешние (просто с 12 вольтовым разъемом).

Для десктопных задач такие системы не тянут (хотя я на него ставил Win10 чтобы установить обновление для UEFI - венда подтормаживает, но в целом нормально работает), но в качестве компактного NAS'а - более чем, у меня такой работает в качестве ISCSI target'а, спокойно выдаёт гигабит в секунду при загрузке CPU около 50%. Как правило там есть 2 Sata разъема, и ещё один PCI-E куда можно впихнуть внешний контроллер ещё на 2 диска.

Проблемы с файловой системой на роутере там просто физически невозможны - так как пользователь к нему никакое устройство хранения информации подключить не сможет. Тем более, поставить там Transmisson (это торрент-клиент такой? я хз, если честно).

Судя по всему, ты не в курсе современных тенденций роутостроения.

Keenetic Viva, Extra: 4 Мбайта/сек

Роутер всё-равно говно. Маркетинг он такой, привыкайте. Попробуйте файловую систему без журнала создавать - может поможет.

Я как-то привык работать либо с профессональными цисками, более дешманскими микротиками и подобными вещами.

А для дома - перепробовав подобные «поделки» как у TC'а, в итоге перешел на самосборный роутер (из какой-то армовской борды вроде Raspberry Pi сварганил, давно ещё).

Я как-то не слежу последние несколько лет, что там происходит. И судя по описанию проблемы у TC - все эти многофункциональные чудо-роутеры всё равно не дотягивают по производительности даже до Raspberry PI за 25 долларов.

И что ? CPU по производительности не дотягивает даже до дешевых телефонов на ведроиде.

Хотя вот последние модели на Mediatek'ах выглядят уже куда лучше. Но опять-же, ОЗУ мало. Встроенная память, наверняка медленная (те что до 16 метров - это самые дешманские чипы памяти NOR (наверное), скорость у них медленная и нормально работают только в виде MTD с JFFS.

Про езернет, я вас умоляю. Не всякий «домашний» гигабитный хаб может реально обеспечить этот самый гигабит сразу на несколько портов. А в домашних роутерах - это всегда было маркетинговой заманухой. Впрочем, последние модели из списка на SOC'ах от Mediatek'а я не видел, может там уже более «честный» гигабит будет. Но на всяких популярных SOC'ах для домашних роутеров от Atheros, Realtek - по крайней мере пару лет назад когда я проверял последний раз - всё было плохо.

Ну и цена на этот самый ZyXEL Ultra II как-то кусается. Я лучще по старинке воткну копеечный raspberry pi в хороший гигабитный свич за два косаря, и буду радоваться.

Не всякий «домашний» гигабитный хаб может реально обеспечить этот самый гигабит сразу на несколько портов. А в домашних роутерах - это всегда было маркетинговой заманухой.

Ну тут опять же вопрос спорный - 1 гигабит это всего лишь 128 мегабайт. Внимание вопрос: Какие диски даже сейчас, не то что в те времена, кроме ТОПовых MLC SSD могут этим похвастаться? А еще не забудьте, что на оные некоторые до сих пор устанавливают операционную систему. Вот и думайте, сколько получится из этого на самом деле.

Какие диски даже сейчас, не то что в те времена, кроме ТОПовых MLC SSD могут этим похвастаться?

Похвастаться чем ? Скоростью передачи данных ? Почти любые современные диски могут. По крайней мере, любые современные SSD уж точно могут, и даже не только в скорости последовательного доступа.

Гигабит, в целом, штука полезная. У меня вот, с нормальным NAS'ом скорость копирования данных из\в сетевое хранилище как раз таки > 100 мегаБАЙТ в секунду (около 900 мегабит, стабильно), и по-сути ограничена только скоростью гигабитной сети (ну а 10 гигабит для дома - это ещё слишком дорого пока-что).

Между тем, в кое чем я согласен. Та-же венда в фоне постоянно что-то делает. Обычный домашний не самосборный NAS вряд-ли сможет на 100% загрузить этот самый гигабит, дай бог что-бы ему хватило процессорной мощности крутить рейд массив из 2-3-4 дисков и выдавать в сеть хотя-бы мегабайт 80 в секунду.

Так-что простой пользователь вряд-ли что-то заметит, если у него сеть будет в реальности не 1 гигабит, а например, только 500 мегабит.

Ходовые переносные диски с интерфейсом USB 3.0 на полной скорости выдают 110-120 МБайт/с на чтение, на USB 2.0 - около 31 МБ/с.

Ходовые переносные диски с интерфейсом USB 3.0 на полной скорости выдают 110-120 МБайт/с на чтение

Тем более.

Похвастаться чем ? Скоростью передачи данных ? Почти любые современные диски могут. По крайней мере, любые современные SSD уж точно могут, и даже не только в скорости последовательного доступа.

SSD, но не HDD. Использовать SSD под хранилище-дорого и нерентабельно. А вот HDD выше 120 мегабайт/c удел лишь средних и высших HDD (WD Black, WD Gold, WD Red и т.д), особенно если речь о форм-факторе 2.5.

А вот HDD выше 120 мегабайт/c

Да не, как раз таки не средних, а даже самых дешевых внутренних 3.5' HDD. Конечно, к концу диска скорость как правило у таких дисков проседает где-то до ~75 мегабайт в секунду.

Но это всё касается, конечно, скорости последовательного доступа, со случайным доступом у HDD всё плохо, это да.

Использовать SSD под хранилище-дорого и нерентабельно

Я использую Raid-5 массив из дисков по 2 Тб. Суммарный объём массива - 4 Тб. И ещё использую 1 дешевый SSD диск на 64 гигабайта в качестве кеша (использую flashcache). В целом, я получаю все приемущества большого хранилища на HDD и быстроту доступа почти как на SSD.

А вот HDD выше 120 мегабайт/c удел лишь средних и высших HDD (WD Black, WD Gold, WD Red и т.д)

У меня на WD Green при хорошей погоде на марсе бывает и 170 на чтение (кэши сбросив, конечно же). 140 — так вовсе не редкость, а 120 — норма. Это, конечно же, последовательное чтение, один большой файл, но всё же. Да и Red к средним и высшим (по скорости) не относится, он для NAS, и позиционируется с точки зрения надёжности, а вовсе не скорости (причём рандомной там технически быть не может, при 5400-то).

дешевый SSD диск на 64 гигабайта

Это, как правило, медленный SSD. Надо брать 128 ГБ SSD, чтобы повысить скорость кэширования и ответной реакции, по крайней мере, раза в два. (Тут объём не главное, но так повелось,что начиная с 128 ГБ число каналов доступа к микросхемам памяти удваивается).

ASUS RT-AC88U за $300. И не надо никаких коробочек из хлебного мякиша.

Тот медленный SSD на 64 гига - это был б\у-шный SSD с авиты. Древний совсем, но износ был небольшой, потому и взял. Там с микросхемами и каналами доступа всё ещё в порядке.

Я вроде читал, что у новых SSD урезается количество микросхем памяти и как следствие каналов для доступа к ним уже при объеме в 256 гигов.

Этот вообще в 2 раза дороже чем тот...

Хорошее всё дорого.

Я в целом согласен, но я лучше за такие деньги роутер сам соберу, будет не хуже.

И да, гигабит — не 128, а 119 мегабайт. Правда у меня вот в локалке копирование идёт со скоростью около 109 мб/с, а не 119. Но это я грешу на sshfs (всё же шифрование и прочий оверхед) а также встроенные сетевухи в недорогих материнках, но уж точно не диски.

А вы MTU увеличивали ? (вот теория: http://rickardnobel.se/actual-throughput-on-gigabit-ethernet)

я уж было порадовался за человека, что есть nas и скорости в локалке хорошие, но тут

Я использую Raid-5 массив из дисков по 2 Тб.

И что не так ? Хороший самосборный NAS, производительности которого хватает для софтварного raid'а, плюс SSD-кеш.

На выходе скорость доступа к данным на NAS'е ограничена исключительно скоростью локалки.

http://www.zdnet.com/article/raidfail-dont-use-raid-5-on-small-arrays/

Я как-бы в курсе, есть трудовой опыт в этой области уже лет 20. Все проблемы отлично решаются при желании:

1. Флаги при создании ФС, располагающие структуры файловой системы с учётом геометрии массива, нужные опции монтирования.

2. Использование хорошего ИБП.

3. Скрипты, которые по крону раз в неделю делают полную проверку массива и repair, чтобы гарантировать что внезапная ошибка чтения не помешает восстановлению массива, когда время придёт менять диск.

4. Автоматизированное слежение за состоянием дисков, выполнение smart-тестов время от времени, отправка отчётов о неисправностях smart'а и всего массива по мылу.

5. Использование ZFS, в ней проблема консистентности данных при сбое питания для raid5 решена (хотя с ним опыт фейлов у меня меньше).

6. Бекапы данных (в моём случае, распределённые копии через Gluster-FS)

А так, не всё что пишут так уж верно. Если руки из жопы, никакой рейд и бекапы не спасут.

А вы MTU увеличивали ? (вот теория: http://rickardnobel.se/actual-throughput-on-gigabit-ethernet)

Не-а, ничего не настраивал практически, только в ssh отключил компрессию (в основном передаются несжимаемые данные) и поставил более простое шифрование (ибо извне локалки всё равно доступа туда нет). За ссылку спасибо, гляну. Меня в принципе и 109мб/с устраивает, это всё же больше чем 900 мбит/c, то есть «почти» гигабит. Но чисто из спортивного интереса и для расширения кругозора

70-80% загрузки ЦП
ЦП

Товарищ майор уже выехал лично. А по делу, попробуй XFS.

Почитал «теорию», но не вдуплил практику. Что MTU можно через ifconfig поменять — это понятно. Но у меня есть два компьютера (в реале больше, но упрощённо объясню суть) — ПКА и ПКБ, на ПКА есть eth0, который смотрит в интернет (там 100 мбит/с везде беспросветные) и eth1, который смотрит в локалку. ПКБ имеет только eth0, который смотрит в локалку и подключается к интернету через ПКА (NAT). С ПКА всё понятно — я могу безболезненно увеличить MTU для eth1, и провайдерское оборудование — не помеха, потому что с ним ПКА общается через eth0. Но если я увеличу MTU на eth0 ПКБ, не приведёт ли это к проблемам с внешними подключениями на этом самом ПКБ? Учитывая, что у провайдера 99% всё, как водится, через жопу.

Но если я увеличу MTU на eth0 ПКБ, не приведёт ли это к проблемам с внешними подключениями на этом самом ПКБ?

Вообще, не должно. По крайней мере, с TCP (но может быть фрагментация). Лучше всего просто проверить. Если что-то и отвалится, то скорее всего сразу.

Есть ещё такая штука как MSS clamp. В зависимости от того какой у вас NAT, настраивается оно по разному. ( http://www.cisco.com/c/ru_ru/support/docs/ip/generic-routing-encapsulation-gr... , https://www.opennet.ru/docs/RUS/LARTC/x2657.html ). У роутеров эта фича как-правило вообще активна из коробки.

10 гигабит для дома - это ещё слишком дорого пока-что

Нет, просто смотреть нужно не на десятигигабитный Ethernet.
Для короткого домашнего point to point USB 3 Gen2 рвёт Ethernet в клочья.

Хм, а это интересно. И чем оно на стороне линукса обслуживается ? Есть какой-нибудь драйвер, который представит такое подключение как Ethernet ? Что там с надежностью подключения ?

это не фс прожорливые, а встраиваемые системы через одно место делают. усб сам по себе избыточен (полезный потолок ~40МБ\сек), а как он реализован на дохленьком проце неизвестно.
// в случае с нтфс еще все усугубляется fuse

Мой старый Сигейт на 1 Тб до сих пор выдаёт 120 Мб/сек на последовательном чтении

С деталями сложнее. Однако host2host теперь часть спецификации USB и никаких извращений с OTG больше не нужно, только кроссовер-кабель.

Если десятки мало, можно пилить свой домашний инфинибанд на нескольких кабелях.
Затраты только на провода, USB-контроллеры будут просто с новыми компьютерами.

а с каких это пор в малине гигабитные сетевые стали? у меня распбери пи три, эзернет 10/100, нафига его тыкать в гигабитный порт????? это раз. второе - имею роутер asus n66u он мне штатно предлагает трансмишн поставить. в штатной прошивке. если ты чегото не встречал - это не значит что это не возможно. более того, я могу поставить энтваре и поднять худобедный жабосервер, не ставя альтернативных прошивок. цена кусается? так не о цене же изначально речь!

Эти чудо-роутеры по сетевой производительности многократно превосходят raspberry pi.

1. какие? желательно теорию ссылкой.

2. влияет если проблема с питанием.

3. мне интуитивно кажется, что еженедельное вычитывание массива не сильно хорошо сказывается на здоровье дисков. Если есть информация об обратном - хотелось бы ссылки.

5. когда говорят raid 5 обычно железный имеют в виду. Софтрейд, особенно zfs, - это другое.

6. не всё можно забекапить, не всё имеет смысл бекапить. Во втором случае у домашнего пользователя встаёт дилемма - или использовать рейды с избыточностью (и тогда переплата в виде одного диска, а диски дорогие; но гораздо более важно, что придётся купить сразу все диски для создания массива), или размечать диски как есть и использовать.

никакие роутеры для таких задач в общем-то не предназначены.

MediaTek MT7620A 600 МГц:
процессор MIPS 24K
- этого хватит всем. Другое дело, насколько кривое IO у медиатека...