Развернуть ОС из архива SQUASHFS

Зачем тебе лишние сложности и ограничения с исо. Запускай-разворачивай из squashfs.

Нужно установочный дистрибутив создать.

Понятно. Непонятно, исо зачем. Будешь писать его на болванку? Или сначала мучиться, создая исо, предназначенный для болванки, а потом мучиться, чтобы перенести его на флешку. А для установочного дистрибутива нужна программа, которая будет выполнять установку. А будет это исо или скваш - дело пятое.

тебе именно в сквоше держать сие надо ??
сквош обычно разворачивается в память на tmpfs и оттуда запускается.
возьми загрузочный образ с минимальной системой (к примеру тот же debian netinstal коль к дебиану душа лежит), и переделай загрузку, чтобы запускать скрипт по разворачиванию твоего архива на раздел физического носителя компутера.

Чтобы filesystem.squashfs загружался из live-образа, необходимо установить в систему live-пакеты (live-boot и прочие).

Возможно, Clonezilla лучше подойдёт?