Про домашний кластер

Если в кратце, то никак. Для работы в кластере, софт должен уметь работать в кластере

Вроде есть какая-то подсистема которая делит процессы Linux между кластерами. Но детальнее я с этим не ознакомился.

есть унифицированные фреймворки для разработки такого софта, например OpenMP, но тот же фаерфокс ты так не запустишь))

Для компиляции есть distcc. Для браузера… ну даже не знаю.

Если бы писал на C/C++ или сидел на Генте, то тогда б пригодилось — а так незачем. Было бы неплохо найти что-то универсальное, но наверное ещё не написали такое.

Для работы в кластере, софт должен уметь работать в кластере

А ведь когда-то GNOME так умел… А ещё был MOSIX. Все полимеры просраны.

Если я правильно всё помню, то вы возможно имеете в виду GNU Parallel.

что только не придумают, когда фуфыксы вместо процессоров…

Выкручиваемся как можем.

Я так понимаю кластеров в 2020 году нет.

есть и на них работает «кластерное» ПО.
кластеризацию работы хера хрома напиши - гугель оценит твои старания.
троллейбус_из_батона.жпг

В общем случае никак, в лучшем случае в гомогенном кластере можно на уровне процессов параллелить.

В частном случае(ты озвучил компиляцию например) есть штуки типа distcc или gnu/parallel.

А что с pacemaker и coresync?! Для чего они используются, если используются вообще?

Кластер чего?

Кластер говнокомпов же.

А вообще тему сперва прочитай.

Что такое «кластер компов»? Есть HA кластер серверов виртуализации. Есть кластеры СУБД. Что такое «кластер компов»?

Балансировка нагрузки наверное. По содержанию темы понятно что я не в серверной сижу и хочу осуществить довольно бытовые вещи.

Актуально для программ общего назначения нет НИЧЕГО. Из самого «свежего» есть Kerrighed. Но он мумифицировался уже очень давно :-(

Это очень похоже на то что нужно, но RIP. Таки кластеры сейчас никому не сдались.

Ну есть еще из относительно живого MOSIX, если тебя наличие^W отсутствие исходников не очень волнуют. Но в отличие от Kerrighed, там программы надо пускать через спецпрослойку. И список ограничений в работе приличный. Зато не надо патчить ядро - как видишь все проекты, которые патчили ядро уже сдохли :-/

Я точно неоднократно слышал про распределение рендера видео-фото по локалке. Есть проекты распределённых вычислений типа folding@home. Есть кластеры CEPH и proxmox. Есть tidb и patroni.

Они используются для балансировки нагрузки и автоматического поддержания нужного количества реплик ресурса. А так же для поддержания реплик в нужном состоянии (активное или ожидает когда нужно подменить вышедшую из строя реплику). Хотя я с HPC кластерами дела не имел, только с HA, может для HPC есть ещё какие-то кейсы конкретно в этих инструментах, но 90% той логики которую я видел она про то, что бы поддержать состав кластера.

Только ты наверное имел ввиду corosync, а не coresync.

Да, ошибся. В общем понятно, что для тех задач которые я описал сейчас решений нет. Спасибо за ответы.

/thread

Попалась на глаза новость на опеннете, вспомнил про этот тред.

Когда он так умел?

Изначально, когда там была CORBA. Внезапно, но GNOME это GNU Network Object Model Environment.

Вроде есть какая-то подсистема которая делит процессы Linux между кластерами. Но детальнее я с этим не ознакомился.

В этом или прошлом году упоминалась и обсуждалась на ЛОР или проскакивала в новостях opennet.ru

Точно на неё указать не смогу, как и не скажу что там точно было, но искать тему смысл есть.

В общем забивай в поиск слово кластер, ставь только темы и смотри всё что выпадет.

Это невозможно.

MOSIX, openMosix, LinuxPMI, OpenSSI. Все кроме MOSIX заброшены во времена ядер 2.6.x. (а openMosix даже раньше, при версии 2.4.26)

Ни одна из них не перебрасывает потоки, так что жирные многопоточные процессы вроде браузера всё равно останутся на одной машине.

Компиляция распараллеливается довольно безболезненно с помощю distcc.

Для задач вроде конвертации изображений (например magick convert {}.tif {}.png) - GNU Parallel копирует файлы через SCP/SFTP и запускает нужные команды, а затем копирует результат обратно. Наверное можно использовать и директорию разшаренную через NFS или SMB.

Если есть миллионы - тогда покупается vSMP и всё работает именно таким образом, как ты описал.

Когда я пробовал Slurm, в статистике распределилось что-то в сумме 20мб. Может быть даже и браузер.

Но это было год назад, так что не особо помню что там да как. Если руки дойдут, то попробую снова кластер поднять.

Я юзал proxmox дома, мне понадобилось 3 ноды и сетевая полка для полноценного кластера. Я пришел к выводу, что держать кластер дома затратно и неэффективно.

Был ещё pelicanHPC, последний раз обновлялся 4 года назад, на сорсфордже итмошники с гномом и крысой валяются. На попробовать хватит.