Создать много копий базы данных postgres и сэконоить дисковое пространство

ээээ, а почему не зашардить базу саму в ридонли?

ZFS

Базы должны быть в режиме rw, разработчики\аналитики\тестировщики\новые сотрудники должны иметь возможность менять данные на существующих базах.

Под шардингом вы подразумеваете репликацию? Она не совсем подходит, т.к.:

1. Базы должны быть в rw
2. На проде каждый день меняются тысячи строк, на проде сервер очень мощный, боюсь, что реплицировать данные на менее слабые виртуалки не очень удастся, т.к. иначе они будут всегда сильно нагружены.

btrfs или zfs с CoW копиями основной базы данных.

Я правильно понимаю, что процесс создания базы такой? Допустим, у нас пять баз данных

1. Дропнуть все существующие базы на тесте (на всех пяти серверах)
2. Остановить все базы данных, кроме самой первой
3. Восстановить базу на первой базе данных (допустим у неё директория,/var/lib/postgresql/11/main_1)
4. Далее скопировать папку с помощью cp:

cp --reflink=always -r /var/lib/postgresql/11/main_1 /var/lib/postgresql/11/main_2
cp --reflink=always -r /var/lib/postgresql/11/main_1 /var/lib/postgresql/11/main_3
cp --reflink=always -r /var/lib/postgresql/11/main_1 /var/lib/postgresql/11/main_4
cp --reflink=always -r /var/lib/postgresql/11/main_1 /var/lib/postgresql/11/main_5
cp --reflink=always -r /var/lib/postgresql/11/main_1 /var/lib/postgresql/11/main_6

5. Запустить остальные базы данных.

несколько для разработчиков, одну для тестировщиков и т.д.

Почему для них нельзя сделать базу-муляж?

Для zfs

• поднимаешь стендбай
• делаешь снапшот(ы)
• с любого снапшота делаешь клон с монтированием в требуемый каталог -открываешь БД Можешь ещё сжатие включить на ФС

man 7 lvmthin

Есть prod-база Postgres размером в 1.3 ТБ. Необходимо создать около пяти тестовых сред (несколько для аналитиков, несколько для разработчиков, одну для тестировщиков и т.д.) с этой базой данных, чтобы они периодически обновлялись с прода

Тебе на тестовой среде нужна прям один-в-один копия БД с прода? Сомневаюсь. Используй для тестов более легкую БД, которую получай с помощью обработки продовской БД скриптами, которые удаляют лишние записи.

XFS последней версии тоже подойдет.

Да, им вся база нужна, уже поднимал вопрос такой. Ну максимум можно будет убрать 20-30 ГБ, не более.

Накатывай только партицию за последний месяц/два.

xfs умеет cow??

Дисковый массив с аппаратной дедупликацией данных

У нас прод – физический сервер с SSD и находится в одном дата-центре, а тесты находятся в другом дата-центре и они вирутальные (VmWare).

Печаль.

Да. В апстриме, кажется, начиная с 4.16. Рефлинки, снапшоты и т.д.