ATA+?=distributed storage

PVFS2, Lustre

Только проблемы будут вот с этим вот:

>* Желательно: децентрализация, без SPOF и узкого горлышка

>* Очень желательно: избыточность, способность выдержать ребут 1-2 компов из сети.

У Lustre насколько мне известно 1 metadata node и куча storage nodes. Обеспечить стабильность одного сервера мы можем, а как у нее дела с AoE и репликацией данных? Дискового пространства не жалко, можно и очень избыточно дублировать и даже spare-диски в случае чего. У PVFS очень проблемы с fault-tolerance по их же словам на оффсайте.

> На этом идеи кончаются. Что посоветуете?

В голову приходит только один вариант - некий комп монтирует себе в один подкаталог по сети все остальные харды и выставляет это в сеть в качестве ещё одного сетевого ресурса. Я правда не уверен, что тот же NFS можно повторно через него же в сеть выставлять ещё раз.

gfs ещё есть

> В голову приходит только один вариант - некий комп монтирует себе в один подкаталог по сети все остальные харды и выставляет это в сеть в качестве ещё одного сетевого ресурса. Я правда не уверен, что тот же NFS можно повторно через него же в сеть выставлять ещё раз.

Да, такое можно, это просто реализовать и мы даже пробовали. Но тут глобальный минус в централизации. Потому что все клиенты будут ходить через один сервер, а в идеале ходить бы им напрямую.

> gfs ещё есть

Он сможет работать параллельно? У него есть репликация? И где о нем можно вменяемо почитать? Документация RedHat несомненно очень полная, но не дает понять в общем и целом, нужно на это или нет.

We have designed and implemented the Google File System, a scalable distributed file system for large distributed data-intensive applications. It provides fault tolerance while running on inexpensive commodity hardware, and it delivers high aggregate performance to a large number of clients.

и так далее

вот нашёл в своих заметках

файловые системы
Panasas File System, Lustre, Terragrid, Parallel Virtual File System (PVFS2)
General Parallel File System(GPFS)

NFS, CIFS, SMB, AFS, DAS, coda fs, oracle fs, lustr, veritas, GNDB, GFS over NDB

AFS, разумеется.

Саму AFS, или CODA, Intermezzo? Какие у нее плюсы и как у нее с устойчивостью?

Я думал GFS как Global File System от RedHat. Спасибо за список, PVFS недавно из него вычеркнул, так же NFS,SMB,CIFS остальное усиленно читаю. У кого-нибудь есть «живой» опыт работы с какой то из этих ФС?

нету кластира :( нету опыта

http://www.opennet.ru/opennews/art.shtml?num=18141

вот там ознакомся

Из требований не совсем понятна решаемая задача.

Надёжный доступ к данным при постоянно падающей сети и при этом железобетонный fault tolerance ? ;)

HA кластер ?

http://www.linux-ha.org/RelatedTechnologies/Filesystems



PS: У меня например специфика это HPC.
Я использую PVFS2 как сверхбыстрый (на IB) стораж для чекпойнтов MPI задач в HPC кластере (PVFS имеет интерфейс для MPI). 

ss@hyperblade-master:~> df -h -t pvfs2
Файловая система      Разм  Исп  Дост  Исп% смонтирована на
tcp://hyperblade-master:3334/pvfs2-fs
                      5,1T  2,5T  2,6T  50% /mnt/pvfs2

Если нужно что то из этой же оперы (HPC) то посмотрите еще GlusterFS