LINUX.ORG.RU
ФорумAdmin

Архивация Postgresql с «замедлением»

 ,


0

1

В общем пока не перешли на SSD, во время архивации загрузка по процу подскакивает до 100%.

На глаза попадалось средство «замедлить» архивацию.

Сейчас делаю архивацию баз pg_dump в бинарном виде со сжатием самим pg_dump, подскажите куда копать...


Ответ на: комментарий от Pinkbyte

если что, команда у меня выглядит так:

pg_dump -d $DBNAME -h ${SERVERNAME} -p $PORT -U ${USERNAME} -w --compress=3 -Fc -f ${ARCHIVEDIR}'/'${DBNAME}'/'${DBNAME}'_'$SUFFIX'.dump.gz'

При чем --compress=3 добавил после гугления, на основе вот этого теста:

https://dan.langille.org/2013/06/10/using-compression-with-postgresqls-pg_dump/

Shulman
() автор топика
Ответ на: комментарий от Pinkbyte

гугление по предложенным вами словам что то не дает явного результата, очевидно сказывается неопытность...

мне бы сразу пример с описанием, чтобы можно было слегка подкрутить и в продакшн

Shulman
() автор топика

убери сжатие как минимум, раз у тебя cpu не хватает.

zgen ★★★★★
()
Ответ на: комментарий от Deleted

Очевидно это не задача pg_dump, это задача gzip

Shulman
() автор топика
Ответ на: комментарий от Pinkbyte
nice -n 19 pg_dump -d $DBNAME -h ${SERVERNAME} -p $PORT -U ${USERNAME} -w --compress=3 -Fc -f ${ARCHIVEDIR}'/'${DBNAME}'/'${DBNAME}'_'$SUFFIX'.dump.gz'

ionice -c3 pg_dump -d $DBNAME -h ${SERVERNAME} -p $PORT -U ${USERNAME} -w --compress=3 -Fc -f ${ARCHIVEDIR}'/'${DBNAME}'/'${DBNAME}'_'$SUFFIX'.dump.gz'

Вроде не вижу результата ни в том ни в другом случае, я правильно пишу?

Shulman
() автор топика
Ответ на: комментарий от Shulman

Что характерно, подскакивает выделение ресурсов на postgres, это когда я top смотрю...

Shulman
() автор топика
Ответ на: комментарий от Shulman

Правильно. Давай определимся - с примененными nice и ionice(ты надеюсь вкурсе что их в твоем случае желательно оба сразу применять, да?) кроме как видимая загрузка процессора просадка производительности сильно ощущается? Потому что загрузка процессора от этого не упадёт, просто процесс бэкапа будет низкоприоритетным.

Может ты решаешь задачу, которую не нужно решать? :-)

Если всё-таки нужно - городи отдельную cgroups и пихай туда процесс бэкапа

Примеры можно почитать например тут и тут

Pinkbyte ★★★★★
()
Последнее исправление: Pinkbyte (всего исправлений: 3)
Ответ на: комментарий от Pinkbyte

Вообще архив пишется в сеть, производительность по процу подскакивает до 100%, по диску до 70, диск 70% это по данным VMWare.

В общем я бы оба подправил, как мне впихнуть их оба в одну команду?

Shulman
() автор топика

А Вы этим вообще зачем занимаетесь? Может, Вам подойдут backup-ы (pg_basebackup), а не дампы?

anonymous
()
Ответ на: комментарий от anonymous

Знаю я про эту штуку и использую ее. Но в другой ситуации. Полный бекап я делаю ночью в выходной

Shulman
() автор топика
Ответ на: комментарий от Pinkbyte

Хотел уточнить такой момент:


# m h  dom mon dow   command
0       8,12,16,20      *       *       *       /root/backup.sh daily 2>>/root/backup.txt
0       4       15      *       *       /root/backup.sh monthly 2>>/root/backup.txt
0       2       *       *       6       /root/base_backup.sh


nice и ionice добавлять может лучше перед названиями скриптов, вроде вот так:


# m h  dom mon dow   command
0       8,12,16,20      *       *       *       nice -n 19 ionice -c3 /root/backup.sh daily 2>>/root/backup.txt
0       4       15      *       *       nice -n 19 ionice -c3 /root/backup.sh monthly 2>>/root/backup.txt
0       2       *       *       6       nice -n 19 ionice -c3 /root/base_backup.sh


Shulman
() автор топика
Последнее исправление: Shulman (всего исправлений: 1)
Ответ на: комментарий от Shulman

Тебе по факту надо замедлять только процесс бэкапа, так что ИМХО пофиг внутри скрипта будет вызов или снаружи

Pinkbyte ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.