remotefs 0.11

Учтём, спасибо.

Прогоняю bonnie++, отпишусь asap.

Спасибо.

У вас, судя по скорости, high-end железо, гигабитный канал и наверное памяти много? Я тут вспомнил одну вещь, если скорость чтения и скорость записи для NFS будут отличаться на порядок, а сам NFS ядерный, то вам стоит посмотреть на использование памяти. Если памяти откушано много, то подобного эффекта для remotefs кажется можно добиться опцией FUSE "kernel_cache" (rfs -o kernel_cache ...). На счёт этого не уверен - надо поговорить с другим разработчиком, но что-то такое я уже кажется встречал.

Если есть желание попробовать сделать fine tuning для remotefs, то можно попробовать отключить prefetch (-o rd_cache=0), мы уже отключили его в SVN для соединений без SSL, но в релиз оно не попало. Это может ускорить (и скорее всего ускорит) чтение на вашем железе.

> гигабитный канал и наверное памяти много

Именно так, да.

Отправил результаты bonnie++, сейчас посмотрю на память и кэши.

чистая догадка, может самба и нфс не понравились из-за сильно расслабленного посикса? Скажем метаданные на клиентах кешируются на указанный период времени вместо честного кеш инвалидейта по колбеку от сервера по конфликнующему доступу... на сколько я понял сабдж это чтото типа ceph только сильно проще :)

-o kernel_cache даёт прирост где-то в пять мегабайт в секунду, но тем не менее, остаётся медленнее NFS.

NFS: скопирован 4670862201 байт (4,7 GB), 58,85 c, 79,4 MB/c
rfs: скопирован 4670862201 байт (4,7 GB), 91,0906 c, 51,3 MB/c

Любопытное на более маленьком файле:

NFS: скопировано 754850080 байт (755 MB), 7,86028 c, 96,0 MB/c
rfs: скопировано 754850080 байт (755 MB), 10,503 c, 71,9 MB/c

> Это может ускорить (и скорее всего ускорит) чтение на вашем железе.

Вы никогда не догоните in-kernel сервер и клиент. А вам это нужно?

Как показало bonnie++, некоторые вещи всё же побыстрее NFS'а получились.

Вообще мы используем разные хорошие штуки чтобы приблизься к ядру из userspace'а, вроде sendfile(). Тот же FUSE - ядерный модуль. Лишнего копирования памяти конечно не избежать, но мы стараемся :)

> Как показало bonnie++

Ссылку?

> Лишнего копирования памяти конечно не избежать

И переключений контекста. Хорошо, что вы это понимаете :)

Ссылку пока давать некуда, это только что проведённые мной тесты.

Вот:

bonnie++ на remotefs:
Version  1.03       ------Sequential Output------ --Sequential Input- --Random-
                    -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
magrathea.local  2G 27209  53 86465  15 32686   8 30622  62 76828  10  1372   6
                    ------Sequential Create------ --------Random Create--------
                    -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16   580   1  3324   3  1032   2   546   1  3648   2   961   1
magrathea.local,2G,27209,53,86465,15,32686,8,30622,62,76828,10,1372.5,6,16,580,
1,3324,3,1032,2,546,1,3648,2,961,1


она же, на NFS:
Version  1.03       ------Sequential Output------ --Sequential Input- --Random-
                    -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
magrathea.local  2G 31197  63 53373   6 33953   9 37333  81 104420  13 730.9   2
                    ------Sequential Create------ --------Random Create--------
                    -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16   121   1  3850   6   120   1   121   1  4169  10   100   1
magrathea.local,2G,31197,63,53373,6,33953,9,37333,81,104420,13,730.9,2,16,121,1
,3850,6,120,1,121,1,4169,10,100,1

сделайте fstab. и я так и не понял как сделать чтоб он на всех интерфейсах слушал.

Для sshfs гугл рекомендует писать вот так:

sshfs#my-remote-user@my-remote-host:/home/my-remote-user /my-local-filesystem/remotefs fuse defaults 0 0

Думаю, что по аналогии всё будет работать, ибо fuse.

> А ты осилил? Ни разу не видел ошибки записи, когда пытаешься гигов 15 (образ HD-DVD) записать по nfs?

Я по nfs4/tcp гоняю терабайты данных в режиме rw (так что hd-dvd отдыхает). Почему-то ошибок не видел. Может, нужно просто документацию почитать и настроить? В частности, запустить все нужные демоны (rpc.*), а не только те, с которыми вроде бы работает, и не использовать uninterruptable sleep?

Ну сами подумайте, NFS используется именно для поставленных задач десятилетиями, его вылизали и отточили по самое немогу, в т.ч. в вопросах безопасности. A fuse -- это тот ещё глюкогенератор.

Велосипед, который показывает убогость архитектуры UNIX/Linux :)

Это я так, к слову, а ведь давно есть P92000 причём в ядре, и в FUSE, и серверы userspace давно есть ...

P.S.: Да, не нашёл в манах описания протокола ... а хотелось бы.

Сервер активно отказывается запускаться если видит, что какие-то требования безопасности не выполнены. Т.к. слушанье на всех интерфейсах - это нарушение официальной рекомендации, то вам надо указать серверу опцию -q. Тогда он будет молча запускаться с теми настройками которые вы ему укажете.

а как указать чтоб он на всех интерфейсах слушал?

0.0.0.0 для IPv4 и :: для IPv6

> Велосипед, который показывает убогость архитектуры UNIX/Linux :)

> Это я так, к слову, а ведь давно есть P92000 причём в ядре, и в FUSE, и серверы userspace давно есть ...

+1000

Автор знает о 9Р?

есть ссылочка на документацию на русском по поводу 9P в Linux ?

Нет.

а на английском?)

http://swik.net/v9fs http://www.mjmwired.net/kernel/Documentation/filesystems/9p.txt http://kerneltrap.org/node/5339

спасибо, буду пытаться разобраться

что-то оно мертвое какое-то
2005,2006,2007
все в виде "pre" и "alpha"

:) что будет с топиком через К лет?

А настройки не выложишь?
И еще..у тебя сколько клиентов использует NFS ?