LINUX.ORG.RU

3TB Backup

 


0

2

Привет, ЛОР.

Есть проблема, я менял страну жительства, и в предыдущей остался винт на 3 ТБ с большим количеством данных, забитый под завязку.

Хотелось бы каким-то образом слить с него информацию в облако, и затем скачать на другой машине.

Думаю сделать побайтовый бекап и затем раскатать его на другой 3тб винч. Но есть пара проблем:

  1. В машине с этим винтом нет второго винта на 3тб, то есть просто снять бекап и залить в амазон нельзя. Хотелось бы чтоб некая софтина снимала бекап и риалтайм заливала его куда-то, не записывая на диск. Желательно с шифрованием.

  2. Я физически не у этой машины, и шаги нужно будет описывать не очень подкованному технически товарищу. Но загрузить линукс и выполнить скрипт который я скину он сможет.

Может есть у кого название готового софта, который сможет это сделать. Можно линукс, можно виндовс.

Отправить винт транспортной компанией не вариант, какой-нибудь таможенник его обязательно достанет из пупырчатой плёнки и разобьёт о стол. Приехать за винтом физически я очень хочу, но не могу.



Последнее исправление: nev3rfail (всего исправлений: 2)

Зачем облако? Связать две машины через VPN (напрямую, если есть реальный ip с одной стороны или через промежуточный сервер), и потом просто перелить по внутренней сети по sftp либо через tar + nc всё скопировать.

m0xf
()

Если чисто данные перенести, а не полностью систему - то Resilio Sync/Syncthing может помочь. Первое - не требует никакой настройки практически, домохозяйка справится

trader1601
()

Не очень понятно в чем проблема просто перекопировать все через sftp, если очень нужно промежуточное облако то берёшь в аренду впску с большим медленным диском (но проще и быстрее попользовать диднс или на месяц подключить белый ойпи)

rukez ★★★★
()

Пусть создаст торрент со всеми данными и запустит его (utorrent и qbittorrent так умеют, торрент сервер не нужен). А ты скачаешь. Я так качал архив на 20 гигабайт.

Im_not_a_robot ★★★★★
()

если может бутнуть линух то ssh + rsync, так точно получишь все свои данные в целости и сохранности с шифрованной передачей. 3тб не мало, скидываться будет несколько дней скорее всего, но залить в облако будет не быстрее

ещё как вариант какая-то конструкция вроде tar -cO | pbzip2 -z9c | openssl | netcat и залить в какой-нибудь кинезис, но то такое, костыли, rsync лучше как минимум потому что если передача прервётся не надо будет начинать сначала

anonymous
()

торрент - идея на троечку, любой клиент скорее всего сойдёт с ума при попытке сожрать такое количество данных

anonymous
()

livecd + ssh и копируй как хочешь

s-o
()
Ответ на: комментарий от anonymous

Так может сначала проверить, вместо скорее всего? В любом случае можно разбить по 500 гиг.

Im_not_a_robot ★★★★★
()

Мне надо было пару сотен Гб перекинуть между двумя машинами в разных городах.

Оптимальным оказался вариант использовать виртуальный VPN и копировать данные средствами ОС. Я применил конкретно ZeroTier и успешно все скачал. Реальная скорость упиралась в ширину канала в 100 Мбит.

ololoid ★★★★
()

Верблюдом может? Достаточно дёшево, хоть в США, как пони-экспресс.

anonymous
()

Ну пусть загрузить линукс и выполнит скрипт, который позволит тебе оттуда rsync’нуть, вопрос-то в чем?

t184256 ★★★★★
()
Ответ на: комментарий от t184256

а че за скрипт который позволяет rsync’нуть? неужели без скрипта не позволяет. эх сколько чудного узнаешь на лоре. пысы. методы не важны в любом изврате все уперется в rtt. кроме единственно варианта отправить диск почтой россии.

antech
()
Ответ на: комментарий от Zhbert

И что? Задачу же решит.

Решит-то оно решит… если обрывов не будет.

Ты как будто диалапом не пользовался…

Пользовался, конечно. Потому предупреждаю о последствиях. ☺

mord0d ★★★★★
()
Ответ на: комментарий от beastie

У топикстартера некуда записать диск в виде файла, потому в любом случае придётся слать поток (напрямую с диска) заново.

Странно что никто так и не поддержал меня про iSCSI. ☺

mord0d ★★★★★
()
Ответ на: комментарий от antech

сначало попробуй

Сначала попробуй писать грамотно. ☺

из города в город по iscsi

На 100M будет не очень шустро, зато не в один последовательный поток, и не тащить один жирный блоб (конечно если у топикстартера внутре один жирный архив на весь диск, картину это сильно не изменит).

mord0d ★★★★★
()

Из оп-поста следует, что ТС позорный вендузятник. Иначе бы он просто зашёл бы по SSH и скопировал бы всю систему rsync-ом без лишних вопросов.

Harald ★★★★★
()
Ответ на: комментарий от Harald

конечно может а может и не работать тьолько зачем для этого специально устанваливать ssh соединение? так много букав ни о чем. ТС смотри решение всей твоей проблемы rsync -a 127.87.19.53:/mnt/3tbdisk /dev/null все, меняешь ипишник, пути по вкусу, и ждешь пару дней.

antech
()

tar плохо подходит для бэкапа, байтик повредится и капут компелять васянские востанавливатели.

Лучше найти облако с норм api и консольной улитой или email, и заливать небольшими частями, сжатыми в оперативке, и чтобы одна часть не ломала другие.

При таком объеме кмк ошибка с очень большой вероятностью появится при сжатии распаковке передаче приеме.

Не знаю улит но велосипед можно такой
не знаю на сколько удачный
можно скриптом пофайлово сжимать
даже распараллелив и резав большие файлы,
с относительными путями,
и сразу отправлять в облако,
в случае удачной отправки добавлять файл в список exclude,
на случай ошибки добавлять в другой список,
не прерывая работу списоки можно посмотреть,
а не, сжатие плохое будет

nanosecond
()
Последнее исправление: nanosecond (всего исправлений: 10)
Ответ на: комментарий от mord0d

iSCSI хорошая идея. Вопрос только, сможет ли он развернуть его удалённо. SSH доступ в любом случае нужен.

beastie ★★★★★
()
Ответ на: комментарий от beastie

Вопрос только, сможет ли он развернуть его удалённо.

Товарищ топикстартера надиктует девайсы, топикстартер напишет конфиг, скинет товарищу, расскажет что установить и запустить. На самом деле там ничего сложного кроме самого конфига. Да и конфиг несложный, нужно только понимать как это работает (чтобы вывесить один диск можно разобраться за вечер под пиво).

Другое дело что есть вероятность что таргет за NAT, но это уже другая история.

SSH доступ в любом случае нужен.

Ну если таргет за NAT, можно вообще туннель прокинуть каким-нибудь wireguard, с которым справится даже полный бухгалтер.

mord0d ★★★★★
()
Ответ на: комментарий от antech

Полагаю если машинка обычная домашняя, за обычным роутером, то придется еще на нем порт пробрасывать.

По крайней мере у меня не вышло по предложенной комманде. Рсинк демон на хосте настроен. (похожая ситуация, удаленная машинка, с нее хорошо бы перетянуть ~30 гиговый архив. Доступ только по ssh есть).

frunobulax ★★★
()
Ответ на: комментарий от mord0d

Где можно толкового про iSCSI почитать?

Мне хорошо бы так сделать, чтобы на хосте том оставался подмонтированным (на него бэкапы льются). Сейчас забираю по sshfs, но оно большие файлы у меня что-то не очень любит — через пару часов коннект рвется хоть тресни, попробовал разные опции и монтирования и конфигов, все никак.

frunobulax ★★★
()
Ответ на: комментарий от frunobulax

Где можно толкового про iSCSI почитать?

Ну в ОС, которую я использую, это всё искаропки, и маны тоже, причём с примерами. В Linux, ЕМНИП, надо что-то ставить, и оно всё, как говорят знакомые админы, разного качества, так что не подскажу. Всё это ищется в интернетах, никакой тайны там нет.

mord0d ★★★★★
()
Ответ на: комментарий от mord0d

Скорее что-то про саму технологию, маны из разряда какой пакет поставить и что впихнуть в конфиг нашел и понял что не совсем понимаю более фундаментальных вещей. :)

frunobulax ★★★
()
Ответ на: комментарий от frunobulax

Скорее что-то про саму технологию

Достаточно вбить в какой-нибудь DuckDuckGo просто “iSCSI”, там и описание, и схемы, и юзкейсы будут.

mord0d ★★★★★
()
Ответ на: комментарий от frunobulax

А поговорить? :(

В толксы! =P

Мне правда лень пытаться пересказать то, что уже десятки раз обсосали специалисты, которые могут рассказать лучше чем я.

mord0d ★★★★★
()
Ответ на: комментарий от antech

туда sshиться, чтобы оттуда rsync’аться. rsync’ать без ssh негигиенично. и не мы решили, а очевидно напрашивается.

t184256 ★★★★★
()
Ответ на: комментарий от mord0d

Что-то я чем больше читаю, тем больше запутываюсь…

Правильно же понимаю — для создания таргета надо грохнуть фс на целевом винте?? Как это применить к ситуации тс-а? Или создать таргет у себя, а оттудова подключиться и лить?

frunobulax ★★★
()
Ответ на: комментарий от nev3rfail

из минусов ресилио/синхфинг/торрент - на скорость сие не затачивалось.
из плюсов похеръ на связь/обрывы и все такое. протащит хоть по убитой модемной лапше, хоть по рваной деревенской сотовой связи.
ну и не меньший плюс - необслуживаемость. один раз запустил/настроил и идешь пить чай (рсинк таки потребует на него поглядывать, ибо не демон в своей сути).
все три системы базируются на одной и той же системе передачи данных.
единственно в торренте придется сначал прохешировать все данные чтобы получить конечный хеш (а 3тб думаю весьма подрочат даже современный процессор). ну и из опыта подключение подтормозит.
ресилио/синхфинг ид раздачи создают изначально и можно параллельно хешировать и переправлять.
тут все повернутые на шекретности, посему стоит вспомнить ресилио/синхфинг вещички современные, создают шифроканал связи меж узлами с гарантированной защитой. торрент создан несколько раньше и защита в нем послабже будёт.

ну а размер все съедят вот из древней практики лоровцев

pfg ★★★★★
()
Последнее исправление: pfg (всего исправлений: 5)

Пусть дружбан передаст через пилотов самолёта или стюардесс

menangen ★★★★★
()
Ответ на: комментарий от frunobulax

Что-то я чем больше читаю, тем больше запутываюсь…

Кратко: iSCSI — это SCSI + Network.

Правильно же понимаю — для создания таргета надо грохнуть фс на целевом винте?

Диск нельзя использовать на нескольких машинах (на таргете (сервере) и инициаторе (клиенте) или на двух инициаторах) одновременно. iSCSI вываливает не файловые системы, которые могут обрабатывать кучу клиентов (CIFS, NFS, Samba, whatever), оно вываливает блочные устройства, которые на инициаторе используются как если бы они были подключены физически (с оговоркой на пропускную способность канала).

Как это применить к ситуации тс-а?

Топикстартер сможет снять дамп с помощью dd(1) или примонтировать файловые системы и применить любой другой инструмент (tar(1), cp(1)) к файлам на разделе.

Или создать таргет у себя, а оттудова подключиться и лить?

Тогда работать лапками придётся его товарищу.

mord0d ★★★★★
()
Ответ на: комментарий от mord0d

Имел ввиду создать таргет и прицепиться к нему двумя инициаторами — удаленному и тут же на этой же машине. Такое реально?

Гуглил, не нашел про такой кейс ничего. Так же как и про возможно ли подпихнуть под низ, фигурально выражаясь, живому диску со своей фс собственно этот иСКАЗИ. :(

Доброе утро :)

frunobulax ★★★
()
Ответ на: комментарий от frunobulax

Имел ввиду создать таргет и прицепиться к нему двумя инициаторами — удаленному и тут же на этой же машине. Такое реально?

Зачем? Никто здравом уме не станет так делать.

На блочном уровне нет никаких механизмов для обработки конфликтных ситуаций. А они будут.

Гуглил, не нашел про такой кейс ничего.

Погугли заодно возможность использовать один диск (блочное устройство) на хосте и в виртуалках. ☺

Оно, конечно, можно извернуться… если тебе не нужны данные на диске и их не жалко побить.

Так же как и про возможно ли подпихнуть под низ, фигурально выражаясь, живому диску со своей фс

iSCSI не работает с файловыми системами, он работает с блочными устройствами, с железками. Если диск занят, iSCSI не сможет его расшарить, ядро не даст.

Но теоретически можно использовать один диск на двух инициаторах… и тогда он быстро превратится в тыкву. ☺

mord0d ★★★★★
()
Ответ на: комментарий от mord0d

Ясно, значит мне не подойдет. :(

То что оно уровнем ниже фс живет вроде усвоил. Потыркаю как-нибудь на досуге, пока не потрогаешь не поймешь.

Рсинк вот тянет всю ночь, с провалами до пары десятков кб/сек, брр..

frunobulax ★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.