Облако для Линукс. Какое рекомендуете?

Арендуй vps с большим диском и используй rsync подобные синхронизаторы. Облако тебе не нужно.

Спасибо за такую точку зрения, но боюсь по цене не пройду... А vps там ещё и с рейдом надо будет арендовать... Хотя конечно был у меня и прецедент с drbd, там можно зазеркалить 2 vps - разных провайдеров для надежности :)

Что-то не ищется программа с таким названием

yandex-disk (https://yandex.ru/support/disk-desktop-linux/installation.html)

drbd требует хорошей скорости между инстансами, если требуется зеркалирование, тот же rsync вполне подойдёт для создании резервной копии на второй vps.

Ну можно ещё nas поставить в датацентре, но опять же стоимость будет приличная.

Бесплатное облако — не бэкап.

С каких это пор?

может ваши данные украсть

Копирование - не воровство, а данные зашифрованы.

С самого начала.

Если подходить как следует то в договоре на услуги - должна быть оговорена ответственность за потерю данных по вине поставщика.

Вы потеряли данные, да, поставшик вам даст денежку за это. Но вопрос в том, как вы с этих шуршаших денешек восстановите свои данные?

Ну и в идеале конечно надо бэкапить, бэкапить, бэкапить...
в идеале

Вы сказали «в идеале» ?

то на этот zfs можно и нативную шифровку повесить.

«Шифровку» можно вне зависимости от fs забубунить.

С самого начала.

Тут народ гонит что и платное тоже...
А вообще что там о правиле 3-2-1? ;)

Вы потеряли данные, да, поставшик вам даст денежку за это. Но вопрос в том, как вы с этих шуршаших денешек восстановите свои данные?

Никто не застрахован, избыточность решает всё...
Там кажется есть правило: 3:2:1
Мне помогло когда сдох бэкапный винт и тот с которого бэкапил (при попытке сбэкапить на новый), осталось на внешнем USB3 но увы не всё....

Вы сказали «в идеале» ?

Да, но не всем доступен идеал. Опять же есть такое понятие как важность данных. В современном мире для важных данных можно тупо купить несколько носителей....
Хотя меня бесит этот грёбанный прогресс... позавчера ты сохранил важные данные на каком то носителе, вчера ты их проимел везде кроме этого носителя.... а послезавтра они тебе понадобились...
И прочитать ты их не можешь... Потому что у тебя нет того что читает этот позавчерашний носитель. И ты бросаешься искать чем прочитать...
У меня долго хранилось десяток ARVID кассет с данными времен начала 90х годов. Тогда ещё не было пишущих CD...
И даже Арвид где то валяется... Но видака сейчас днём с огнём не сыщешь, да и кассеты я уже проимел, когда мой дом сложился как «карточный домик» (Ударная 35)...
А сейчас уже и не в каждом устройстве есть CD/DVD, да и лазеры у них имеют свойство слабеть...

Мне вот интересно, какое сейчас средство хранения копий может рекомендовать общественность? Флешки/ssd говорят забывают данные если их долго не включать и не давать отрабатывать сервисной программе по обновлению зарядов. Винты это тоже палка о двух концах... Несут много данных и если их потеряешь то сразу много...

На днях собирал пазл из 3 160Gb IDE+2 160Gb SATA. (Лет 15 назад это как раз был комп для бэкапов по сети). Не смог на имеющемся оборудовании запустить сразу все, для того чтобы поднять RAID5 многолетней давности... В итоге плюнул и залил каждый винт в раздел LVM и всё дошло до смешного. Перезагрузился и стал пытаться собрать рейд... Выяснилось что Debian Bookworm уже автоматом увидел и собрал рейд. Скопировал всё на обычный раздел и решил просто сбросить это на эти же винты без рэйда и началось... Наука о контактах... То что замечательно с них читалось - отказывается записываться, прут ошибки...
Тот же Bookworm несколько раз вис намертво от попытки отработать эти ошибки записи. (Хотя конечно я ССЗБ, бэкаплю на zfs с копирессией gzip-9) Этот бутерброд как то плохо отрабатывает ошибки во время записи. Сейчас очередная попытка... Бэкаплю через переходник USB<->IDE Пока ошибок не было.... Но это грубо 8ч на запись одного 160Gb винта... А данных там собралось на 550Gb. И их надо снять для того чтобы освободить «носитель» и сделать его зеркалом основного zfs раздела...
Вот и забэкапь, и прочитай, и запиши....

Не смешите мои тапки…. Что будет с облаком если не станет света? Отвалится канал, в конце концов отвалится винт, два? Потеряешь информацию и гарантия не спасёт.

У меня syncthing синхронизирует информацию на 6 устройств.

Попробуй себе представить кейс, когда отвалится ШЕСТЬ устройств. Если это падение астероида на город, то я думаю, мне информация уже в любом случае будет без надобности на том свете.

За полтора года использования syncthing я вообще забыл о том, что такое «облако от поставщика». Вертел я их на пальце.

syncthing – это life changer.

Что будет с облаком если не станет света?

Если не станет «света», то тебе и яндекс облако без надобности.

Ненадежное не в счет?

Ненадежное не в счет?

Почему? По «правилу», если отвалится «ненадёжное», останется ещё 2.

Внесу свои 5 копеек. Я сравнивал недавно стоимости (не учитывал доступность протоколов и прочее, хотя мне тоже важно было, чтобы rsync, сохранение даты): https://ibb.co/rbnSvMQ (скрин таблицы)

Грубо говоря, диски типа WD Red Pro (именно Pro – это важно!) на 10-12 ТБ (2 штуки, в зеркало) окупятся выравняются на текущую стоимость облака где-то через 2-3 года использования.

Вы, очевидно, неправильно живёте, отчего в вашей жизни происходят плохие вещи: то диски мрут, то правительство бомжом делает, то яндекс гоняет погаными тряпками. Очевидно, не разобравшись с причиной будет бессмысленно пытаться лечить следствие.

Ну вот за 2 это и считай.

Там кажется есть правило: 3:2:1
Мне помогло когда сдох бэкапный винт и тот с которого бэкапил (при попытке сбэкапить на новый), осталось на внешнем USB3 но увы не всё....

Угу, тоже такое проходили, причем больше одного раза.

А сейчас уже и не в каждом устройстве есть CD/DVD, да и лазеры у них имеют свойство слабеть...

Но внешние вполне себе продаются.

да и лазеры у них имеют свойство слабеть...

от пыли.

Но видака сейчас днём с огнём не сыщешь, да и кассеты я уже проимел, когда мой дом сложился как «карточный домик»

Старое правило, хранить бэкапы в том числе и где-то далеко.

Винты это тоже палка о двух концах... Несут много данных и если их потеряешь то сразу много...

raid-1 уже может снизить вероятность потери.

ограничится %)
ибо распыление данных на несколько ЦОД это деньги.
если в договоре нет отдельного пункта по поводу географического разнесения данных, то его и не будет :).
вариант2Ж пункт будет не о географическом распределении данных, а пункт повышенной защиты или что такое, но тож за бабки.
я о чем, вливать бабло в тебя по доброте душевной комерсы не будут…

есть rclone он синхронизирует и монтирует кучу облаков.

Может дешевле облако?

Перефразирую тебя: «Может дешевле отдать свои файлы дяде на анализ, а вычисления - под контроль?» Нет, уж, уже плавали, знаем. Вон, Майкрософт закрывает свои облачные решения для российских юр. лиц, а дальше что? Замер параметров черепа, что тебе можно дать в аренду немножко мощности?

Сам, всё сам.

пару винтов лежащих в шкапу спасут отца русской демократии.
и по объему и по жизнеспособности.

Самовар чая вам!

Вы, очевидно, неправильно живёте, отчего в вашей жизни происходят плохие вещи: то диски мрут, то правительство бомжом делает, то яндекс гоняет погаными тряпками. Очевидно, не разобравшись с причиной будет бессмысленно пытаться лечить следствие.

Ну да, не мажорик богатого папеньки из правительства... Всю жизнь всё сам, а правительство не отвечает за свои действия, крайними делает людей, не себя же «сладеньких». Я что с Яндексом? Яндекс тупо не хранит в своём облаке исходное время создания/модификации файла... И я тут ни причём, оно и Вам так же откажет...
А диски не любят когда их перевозят... А мне, бывшему БОМЖу пришлось сменить несколько мест расположения компьютеров и дисков... Да и сейчас компы/диски и я не живут там где «зарегистрирован».
А жизнь у меня тяжелая, первая реанимация была когда мне было 3 года. Не отпускает Господь из этого АДа...

пару винтов лежащих в шкапу спасут отца русской демократии.

и по объему и по жизнеспособности.
Не надо о больном... В пределах метра сейчас 24 Винта... Начиная с 80Gb Вот чтобы спасти всё что может там быть - надо ещё винтов :))))
Тут вон советуют кардинально. 2 Винта по 18Тб в зеркало... А туда потом можно залить весь этот зоопарк и оперативно иметь к нему доступ, а зоопарк пусть дальше валяется в столе как резервная копия :)

Винты в шкапу не панацея. Всё началось с того что сдох USB iOmega 2Tb и USB Barracuda 3Tb - валявшиеся в шкафу и достававшиеся раз в месяц/пол года для бэкапа...

Внесу свои 5 копеек. Я сравнивал недавно стоимости (не учитывал доступность протоколов и прочее, хотя мне тоже важно было, чтобы rsync, сохранение даты): https://ibb.co/rbnSvMQ (скрин таблицы)

Спасибо за анализ. Остановимся на том что ЯД/МЕЙЛ - самые бюджетные. Как писал на старте на ЯД подсел 2 года назад по акции 2т/2г за 999р. Ещё не юзал плотно МЕЙЛ, но у ЯНДЕКС есть небольшой ХАК. Процесс-зеркало. А в Debian Bookworm в дистре есть CryFS - Делавшаяся как раз для облакофф... Насколько я понимаю - там свой механизм хранения метаинформации и кроме шифрования он хранит дату/время. Хранит в дикой иерархии файлов с цифровыми именами. Насколько он будет отрабатывать параллельный доступ с нескольких машин - надо ещё исследовать. Суть в том что можно работать через CryFS с локальной копией, что будет быстрее чем WebDAV.
Грубо говоря получаем онлайн бэкап локального 2Т диска на ЯД.
Причем честные 2Тб а не 2.000.000.000Байт... как на дисках...

Грубо говоря, диски типа WD Red Pro (именно Pro – это важно!) на 10-12 ТБ (2 штуки, в зеркало) окупятся выравняются на текущую стоимость облака где-то через 2-3 года использования.

Это же 12.000.000.000Байт=11.17Тб? У меня нет такого чтобы проверить. Я уже попал с этими миллиардами байтов... С дуру купил 2Т диск как зеркало 2Т от Яндекса.... И влип... По факту 2Т диск это 1.86Тб. Придётся ещё 3Т покупать, для полноценного зеркала 2Т от ЯДа...
И по ценам.... 2Т на 2г будут стоить где то 2.5к в год, у мейла 1.86к за первый год и 3 с копейками на последующие... Предлагаемый же Вами 12Т это грубо 30+30=60к(минимум).Ну поделим на 2Гб и получим 10к, ЯД будет стоить 10к за 4 года, а не 60к за 12Т... В итоге останусь на ЯД и буду приспосабливаться с шифрованием и метаатрибутами.

Криво конечно, но буду иметь шифрованный локальный - зеркалящийся на ЯД. В случае дизастеров - данные останутся или локально или на ЯДе. Ну и опционально важные данные можно бэкапить банально на флэшки... Или внешние HDD.

Бекапы делать периодически, будя по wakeonlan и выключая сервак после бекапа.

Основной прикол ЯДа в том, что при использовании сторонних клиентов, появляется задержка записи. И это не обойти, как я понимаю.

Да, редко я сюда захожу…

АГАДА, если дома есть админы пашущие 24x7.

ну у меня без них работает, до сих пор. Я одминко. Да и что они там будут делать?

АГАДА, если дома есть админы пашущие 24x7.

1 тб можно мешок старых на гребти, если что. У меня 4 диска в серванте, разносортных. 1 из них 2008 года, ещё Sata 2. Такие вообще почти бесплатно отдадут. Вроде работает.

Домой тунель не получится,

домашний роутер может заходить в какую-то виртуальную сеть, где и вы будут в принципе. Такое возможно. Есть даже какой-то открытый сервис для это на открытом ПО

а вот если ты не дома а тунель упал?

ну ничего страшного, можно сделать их 2 штуки, если боишься. У меня правда только уже если интернет упадёт, то уже тогда не работает, да.

Твои действия для того чтобы попасть в своё облако?

облако у меня с доменом, потому там и так есть доступ по HTTPS, зайду проверю что там и как и настрою если что. Если мне надо будет надёжность, понятно сделаю понадёжней, но для домашнего использования пока что топ за свои деньги. Если что у меня в тунеле там и FTP есть в виде VSFTPD, и Samba поднята, и по SSH зайти можно, так что я не пропаду. Ну разве что да, надо 2 интернет соединения разве что что-бы точно работало.

у нас что обговор о облаке корпоративного уровня?

у нас что обговор о облаке корпоративного уровня?

Я вообще не понимаю о чём базар... Я в исходном сообщении просил порекомендовать приличное и бюджетное облако. Мне начинают доказывать что нет лучше ни чего нежели персональное личное облако...

Вплоть до внешнего бэкап сервера включающегося по WOL, ну и естественно само облако на рейде... Кто то тут советовал рейд из 2*18Тб, якобы бюджетно, через 4 месяца окупится ценой коммерческого облака.

Мне нафиг не надо эти 18Тб, я в своих 7 уже убился... Нет столько памяти чтобы помнить что есть. Облака так никто и не посоветовал, хотя один собеседник выклал скриншот своей подборки и я понял что 2Т ЯД - самое бюджетное на данный момент. Получится 2.5к в год. Теоретически это 10к за 4 года и за 10к можно взять 2 винта по 4Тб, но это ДОМА! Если у тебя есть такая неприступная крепость со всеми резервными шнягами... И думаю год владения всем этим хозяйством будет стоить больше 2.5к.

Грубо - Комп, лопает порядка 200Вт/ч (Хотя это если у тебя открыто десяток вкладок браузера и процессор загружен под завязку).
Грубо это 4р/5ч=20р/день, 600р/мес, 7200р/год. Что будем ещё считать? Даже если современный энергосберегающий комп лопает 100Вт, то это будет 3600р/год.Ну даже 50Вт это 1800/год против 2500 за 2Т ЯДа.

Вопрос безопасности надо как раз и обсуждать. С одной стороны ни кто не запрещает хранить 1.5Т хлама в открытом виде и смонтировать через какой нибудь CryFS - подкаталог на ЯДе, в котором хранить что то ценное. Заодно оно будет и локально шифрованным храниться, что тоже добавляет безопасности.

Вопрос производительности, это другой конец ЯДовой палки.

$ yandex-disk status
Статус синхронизации: 255.70 GB/ 1.21 TB (20 %)
Статус ядра синхронизации: обработка данных
Путь к папке Яндекс.Диска: '/opt/pub/облако'
Всего: 2.01 TB
Занято: 1.75 TB
Свободно: 268.06 GB
Максимальный размер файла: 50 GB
Размер корзины: 118.62 GB

Последние синхронизированные пути:
файл: 'CryFS/000/1EA2334EEE1B249357391343C7CE0'
файл: 'CryFS/000/0D26FFE06971A1957009E91386E96'
файл: 'CryFS/000/0483D8F4313D22A70B5AB9B3764D8'
файл: 'CryFS/000/15341ADE09D5F83AC15AB18C08BFD'
файл: 'CryFS/000/18E7E4078BF0A2C158EBC97FAFB8C'
файл: 'CryFS/000/09B554531A91CD74BD4BC6FA0FEAB'
файл: 'CryFS/000/32DEC3DA7DD6BBED1DC817CE9389A'
файл: 'CryFS/000/0FC24628A7ADA26D64EECAA8772F6'
файл: 'CryFS/000/0D3A017CED7DB4E0064565449B770'
файл: 'CryFS/000/3466D2C60F70F639736682A1A9EC5'

При этом в cli.log:
[2578] 2024-Apr-02 02:17:43 - Start log (0.1.6.1080)
Оно уже трудится 38 часов... По прогнозу ещё 160 часов. т.е. около 200 часов на синхронизацию 2Т. Это трэш какой то.
И так каждую перезагрузку .лять...

Как с этим трэшем работать? Через WEBDAV - ситуация ещё печальнее.

Но самая печальная ситуация с тем что эти [цензореды] просто кладут на запрос о поддержке хранения оригинальных даты/времени в облаке. Насколько я понимаю, даже при подключении из винды - файлы тоже имеют дату/времени закачки в облако.

И опять же, насколько я понимаю - такой проект как: CryFS сделан как раз для того чтобы убить сразу двух зайцев! Он метаинформацию хранит у себя и файлы шифрует. В итоге получаем в облаке честные дату/время и содержимое зашифровано. С производительностью пока не понятно. Теоретически в варианте yandex-disk - будет монтироваться локальный диск и вся работа будет там, а на ЯД оно будет уходить в фоне.

В общем какие то выводы есть, но «точка сборки» ещё не достигнута. Пока буду копать в направлении ЯД+шифровка. Не всё конечно так радужно, но шанс сохранить данные высок. Они всегда доступны в облаке и при этом живут на каждом диске зеркалящимся с облаком. А по идее у Вас ещё и локальный бэкап должен быть (мало ли кто со стороны ЯД - удалит ваше облако и оно отреплицируется локально).


Вот как то так...

штатный ценник 3790/год…

316р/мес такая неподъёмная сумма? Два hdd (для raid-1) стоят порядка 20000 руб

20000р/3790 р/г = 5.28 лет

Нормальная цена 3790/год

штатный ценник 3790/год…

Чей штатный ценник?

316р/мес такая неподъёмная сумма? Два hdd (для raid-1) стоят порядка 20000 руб

Два 4Т винта Toshiba 7200RPM на WB стоят 11400.
Но правда небольшой косяк вышел...
Моя старенькая 3Т Десктопная Тошиба - рапортует о размере блока -4К.
Новенькая 4Т Серверная Тошиба - бодро рапортует что блок у неё 512Байт.
ZFS в шоке, для неё это оказывается имеет значение, вплоть до отказа делать рейд с совершенно левым кодом ошибки.
Но чудом разобрался и уговорил. Реплицируется...

20000р/3790 р/г = 5.28 лет

С облаками другие косяки, неочевидные многим, иначе и ЯД и МЕЙЛ запинали бы.... Ну или воркэраунд сделали....
Ну и с производительностью проблема. ЯД вот уже более 2 суток с последней перезагрузке находится в состоянии: «Обработка данных». Сейчас 52%. Это же лютый трэш... Видимо он считает контрольные суммы этих 2Т. Проц у меня старый...
Intel(R) Celeron(R) CPU E3400 @ 2.60GHz
Впрочем... Создал файл, секунд через 15 он ушел на ЯД, значит оно работает даже если и не синхронизировано.
Созданный через веб файл - тоже тут же пришел.

Чей штатный ценник?

Сорри, это из моего же топика.
Но с Мейлом ещё вопрос в производительности и отсутствия локальной копии.
У ЯДа есть хак - процесс зеркалятор.... Можно работать с локальным быстрым винтом, а yandex-disk будет потихоньку отправлять изменения. Сразу два зайца, и работа быстрая и локальная копия с которой можно и бэкапы делать...

Но за какую палку не возьмись - обязательно есть другой конец... Порой весьма болезненный.