LINUX.ORG.RU

Про домашний кластер

 


1

1

Гуглёж выдаёт статьи и треды позапрошлого десятилетия, поэтому подниму тему. На карантине очень скучно и поэтому тянешь руки ко всему что запылилось. Как можно объединить ресурсы двух ПК, для компиляции или открытия браузера, чтобы нагрузка на ЦП или ОЗУ или балансировалась, или использовалась при нехватке. Скорость не волнует, интересует чисто теоретически.

Просьба закрыть вкладку остроумникам, которые уже собрались советовать докупить железо.

★★★★

Если в кратце, то никак. Для работы в кластере, софт должен уметь работать в кластере

sparks ★★★★
()
Ответ на: комментарий от sparks

Вроде есть какая-то подсистема которая делит процессы Linux между кластерами. Но детальнее я с этим не ознакомился.

Artamudo ★★★★
() автор топика
Ответ на: комментарий от Artamudo

есть унифицированные фреймворки для разработки такого софта, например OpenMP, но тот же фаерфокс ты так не запустишь))

sparks ★★★★
()
Ответ на: комментарий от unicorne

Если бы писал на C/C++ или сидел на Генте, то тогда б пригодилось — а так незачем. Было бы неплохо найти что-то универсальное, но наверное ещё не написали такое.

Artamudo ★★★★
() автор топика
Ответ на: комментарий от sparks

Для работы в кластере, софт должен уметь работать в кластере

А ведь когда-то GNOME так умел… А ещё был MOSIX. Все полимеры просраны.

no-such-file ★★★★★
()
Последнее исправление: no-such-file (всего исправлений: 1)
Ответ на: комментарий от Artamudo

Если я правильно всё помню, то вы возможно имеете в виду GNU Parallel.

Korchevatel ★★★★★
()
Ответ на: комментарий от Artamudo

есть и на них работает «кластерное» ПО.
кластеризацию работы хера хрома напиши - гугель оценит твои старания.
троллейбус_из_батона.жпг

pfg ★★★★★
()

В общем случае никак, в лучшем случае в гомогенном кластере можно на уровне процессов параллелить.

В частном случае(ты озвучил компиляцию например) есть штуки типа distcc или gnu/parallel.

pon4ik ★★★★★
()
Ответ на: комментарий от Artamudo

Что такое «кластер компов»? Есть HA кластер серверов виртуализации. Есть кластеры СУБД. Что такое «кластер компов»?

targitaj ★★★★★
()
Ответ на: комментарий от targitaj

Балансировка нагрузки наверное. По содержанию темы понятно что я не в серверной сижу и хочу осуществить довольно бытовые вещи.

Artamudo ★★★★
() автор топика

Актуально для программ общего назначения нет НИЧЕГО. Из самого «свежего» есть Kerrighed. Но он мумифицировался уже очень давно :-(

Pinkbyte ★★★★★
()
Ответ на: комментарий от Artamudo

Ну есть еще из относительно живого MOSIX, если тебя наличие^W отсутствие исходников не очень волнуют. Но в отличие от Kerrighed, там программы надо пускать через спецпрослойку. И список ограничений в работе приличный. Зато не надо патчить ядро - как видишь все проекты, которые патчили ядро уже сдохли :-/

Pinkbyte ★★★★★
()
Последнее исправление: Pinkbyte (всего исправлений: 1)

Я точно неоднократно слышал про распределение рендера видео-фото по локалке. Есть проекты распределённых вычислений типа folding@home. Есть кластеры CEPH и proxmox. Есть tidb и patroni.

targitaj ★★★★★
()
Ответ на: комментарий от Artamudo

Они используются для балансировки нагрузки и автоматического поддержания нужного количества реплик ресурса. А так же для поддержания реплик в нужном состоянии (активное или ожидает когда нужно подменить вышедшую из строя реплику). Хотя я с HPC кластерами дела не имел, только с HA, может для HPC есть ещё какие-то кейсы конкретно в этих инструментах, но 90% той логики которую я видел она про то, что бы поддержать состав кластера.

pon4ik ★★★★★
()
Ответ на: комментарий от pon4ik

Да, ошибся. В общем понятно, что для тех задач которые я описал сейчас решений нет. Спасибо за ответы.

/thread

Artamudo ★★★★
() автор топика
1 июня 2021 г.
Ответ на: комментарий от fancat

Изначально, когда там была CORBA. Внезапно, но GNOME это GNU Network Object Model Environment.

no-such-file ★★★★★
()
Ответ на: комментарий от Artamudo

Вроде есть какая-то подсистема которая делит процессы Linux между кластерами. Но детальнее я с этим не ознакомился.

В этом или прошлом году упоминалась и обсуждалась на ЛОР или проскакивала в новостях opennet.ru

Точно на неё указать не смогу, как и не скажу что там точно было, но искать тему смысл есть.

В общем забивай в поиск слово кластер, ставь только темы и смотри всё что выпадет.

torvn77 ★★★★★
()
Последнее исправление: torvn77 (всего исправлений: 4)
Ответ на: комментарий от Artamudo

MOSIX, openMosix, LinuxPMI, OpenSSI. Все кроме MOSIX заброшены во времена ядер 2.6.x. (а openMosix даже раньше, при версии 2.4.26)

Ни одна из них не перебрасывает потоки, так что жирные многопоточные процессы вроде браузера всё равно останутся на одной машине.

Компиляция распараллеливается довольно безболезненно с помощю distcc.

Для задач вроде конвертации изображений (например magick convert {}.tif {}.png) - GNU Parallel копирует файлы через SCP/SFTP и запускает нужные команды, а затем копирует результат обратно. Наверное можно использовать и директорию разшаренную через NFS или SMB.

Если есть миллионы - тогда покупается vSMP и всё работает именно таким образом, как ты описал.

token_polyak ★★★★★
()
Последнее исправление: token_polyak (всего исправлений: 8)
Ответ на: комментарий от token_polyak

Когда я пробовал Slurm, в статистике распределилось что-то в сумме 20мб. Может быть даже и браузер.

Но это было год назад, так что не особо помню что там да как. Если руки дойдут, то попробую снова кластер поднять.

Artamudo ★★★★
() автор топика

Я юзал proxmox дома, мне понадобилось 3 ноды и сетевая полка для полноценного кластера. Я пришел к выводу, что держать кластер дома затратно и неэффективно.

Aeeioyqee
()

Был ещё pelicanHPC, последний раз обновлялся 4 года назад, на сорсфордже итмошники с гномом и крысой валяются. На попробовать хватит.

einhander ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.