vSMP

Как работает ScaleMP vSMP? Оно через InfiniBand передает кэш процессоров и прочее?

Что-то типа того. Через InfiniBand, CXL или (но не совсем понимаю каким образом) через PCIe. Пишут, что обеспечивает cache coherence - значит, наверное, синхронизирует кэш. Если ошибаюсь, исправьте.©

И есть ли открытые аналоги vSMP?

Интересовался этой темой с 2009 года и не слышал.
Походу никто в не применяет такие штуки для чего-то серъезного (ну то есть, многомиллионные компании разрабатывают, кто-то наверное применяет, но я так и не узнал кто, где и зачем) - в compute кластерах либо запускают программу на отдельных кусках datasetа с помощю queue managerа вроде того же Slurm, либо пишут/используют софт поддерживающий MPI и подобное.
В high-availability кластерах же - хипстаконтейнеры либо VMware/Proxmox с failoverом и горячей миграцией.

Был ещё производитель материнок, которые можно сцепить в одну машину проприетарным интерконнектом. Название, к сожалению, не помню.

В очередной раз всплакну о нелегкой судьбе SSI-решений под Linux вообще и Kerrighed в частности