LINUX.ORG.RU

Организация хранения для сервера хранения резервных копий

 , ,


0

1

Коллеги, здравствуйте. Не нашел похожих обсуждений на просторах сети.

Ситуация следующая: Имеются серверы приложений с хранением данных пользователей в базах PostgreSQL, всего 2500 баз на 10 серверах. Имеется сервер на который скриптами по сети складываются ежедневные дампы баз. На сервере RAID1 из 2xSSD под систему и RAID5 из 4хHDD под хранение дампов. Объем данных около 2TB в день. При копировании дампов в 7-10 потоков очереди к RAID5 из 4хHDD растут до неприличных размеров, что приводит к увеличению времени резервного копирования.

Планирую собирать сервер большей вместимости, заодно хочется решить вопрос со скоростью параллельной записи.

Планирую использовать bcache в режиме writeback. Потеря одного экземпляра резервной копии при сбое питания или сбое SSD допустима.

Исходя из TBW современных SSD они будут требовать замены каждый год - два, это тоже допустимо.

Кто сталкивался с подобными задачами? Как решали? Имеет такой способ решения право на существование или есть значительно более грамотные решения?

Ответ на: комментарий от anonymous

То есть решать вопрос только уменьшением количества потоков в бэкапере? Решить вопрос ускорением записи не получится?

alekseyv
() автор топика
Ответ на: комментарий от alekseyv

При копировании дампов в 7-10 потоков очереди к RAID5 из 4хHDD растут до неприличных размеров, что приводит к увеличению времени резервного копирования.

То есть решать вопрос только уменьшением количества потоков в бэкапере? Решить вопрос ускорением записи не получится?

Для вас актуален вопрос iowait на slave реплике postgres?

anonymous
()
Ответ на: комментарий от anonymous

Нет, не slave, это просто склад дампов баз. Я пытался найти решение именно для ускорения многопоточной последовательной записи на массив из жестких дисков.

alekseyv
() автор топика
Ответ на: комментарий от alekseyv

Что вы хотите?

  1. Ускорить физическую запись на диск.
  2. Ограничить «скорость» бэкапа а-ля «nice» чтобы сервер при бэкапе не тормозил?
  3. Настроить репликацию master->slave (async?) чтобы бэкап вообще не сказывался на производительности сервера.
  4. ?
anonymous
()

Как вариант рассматривал ceph из нескольких узлов с отложенной записью, но стоимость гигабайта получается примерно в 2 раза дороже.

alekseyv
() автор топика
Ответ на: комментарий от anonymous

На стороне рабочих серверов и их реплик всё уже настроено, производительность не страдает во время создания бэкапов, но потом эти бэкапы складываются в «прохладное место по сети». Вот тут у меня возникает проблема, что сама запись этих бэкапов на диск по сети слишком медленная, при этом сеть недозагружена. Я хочу ускорить запись на диск, но не пойму алгоритмы bcache достаточно «умные», чтобы получать данные из нескольких потоков в кэш, и параллельно спокойно в один поток писать их на диски, увеличивая тем самым скорость записи и уменьшая фрагментированность данных (но это не точно).

alekseyv
() автор топика
Ответ на: комментарий от alekseyv

Сорри, что не по теме, а чем мереяте загрузку сети? Как определяете что она недозагружена?

vyv ★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.