Облако для Линукс. Какое рекомендуете?

Я тоже еще не умирал. Я бессмертный?

Если у меня случится пожар, потеря цифровых данных будет у меня далеко не на первом месте.

И нормальный облачный провайдер не ограничивается одним зданием.

А кто сказал что твои данные распределены м\у дата-центрами?

Если у меня случится пожар, потеря цифровых данных будет у меня далеко не на первом месте.

Для тебя да. Для тех у кого оцифрованы все документы и семейные фотографии, нет. Так же с теми, для кого данные - это хлеб (фотографы, художники, операторы и т.д.). Заканчивай думать, что все такие же как ты. Это совершенно не так.

А кто сказал что твои данные распределены м\у дата-центрами?

Я очень плотно работаю с облачными решениями и был в датацентрах разных стран. Я представляю как это работает.

Повторюсь что есть ещё пожары и воры... Ваш дом неприступная крепость? Данных можно лишиться вмиг...

Так ведь харды умеют гореть (буквально) и не терять данные. Хотя возможно это городская легенда.

Объедини харды в рейд и храни на своем сервере.

Да, мой дом сейчас довольно близок к неприступной крепости. Живу в новостройке в самой лучшей части района, достаточно благополучного, чтобы тебя не обворовали соседи, но не настолько богатого, чтобы здесь показывались гастролеры. Есть внимательные консьержки, вход в квартиру - через железную дверь общего коридора и железную квартирную дверь. Соседи по общему коридору обычно дома. Летом регулярно ездил на районный пляж. Пока плавал, спокойно оставлял на берегу телефон, киндл, пауэрбанк, кошелек.

Дом - высотный железобетонный монолит. В таких домах может выгореть одна комната, сгореть утепление по фасаду, но редко случается что-то большее. Проводка новая медная (прощай, растекшийся алюминий в клеммах и медно-алюминиевые скрутки от тыжемужиков) с достаточным сечением под современное потребление. На каждой квартире - три автомата на освещение, розетки и печку, один общий. Газа нет, так что объемный взрыв мне не угрожает. Пожарная лестница, достающая до меня - одна на весь город, но есть пожарный кран на каждом этаже и пожарная сигнализация везде, включая каждую отдельную квартиру.

Беспокоят только атаки с воздуха, но не настолько сильно, чтобы я опасался уничтожения данных вместе с носителями.

Резервным питанием, освещением, доступом в интернет мне пришлось озаботиться прошлой зимой по тем же причинам, по которым я был вынужден запихнуть в морозилку две бутылки с водой. Я работаю из дома, так что если и не датацентр, то бизнес-центр в миниатюре с чертами дома на колесах мне точно пришлось организовывать. В общем и целом 8 часов подряд без света удавалось проработать. Оставшись без интернета и работающего ноутбука, я слушал радио, читал при свечах, пока не разжился фонариками, смотрел сохраненные видео с Ютуба и сериалы с Нетфликса. Бритье при кемпинговом фонаре - отдельная история.

Какое-то время у меня висел на стене рукомойник. Сейчас вот запасся спиртовой горелкой и кемпинговой плиткой на сухом горючем, но пока нет повода ими воспользоваться.

Такие дела. Наверное, зря я так далеко ушел от темы, но захотелось поделиться.

Если мотаешься постоянно по миру, то совершенно не хочется с собой таскать диски и подкроватный сервер.

И ещё меньше хочется материться на закат в ожидании скачивания нужных данных.

В дата центрах намного лучше система пожаротушения, чем в твоем доме.
И нормальный облачный провайдер не ограничивается одним зданием.

Поржал... вы только эту хохму не рассказывайте тем людям которые данные уже пролюбили.

Если у меня случится пожар, потеря цифровых данных будет у меня далеко не на первом месте.

Для тех у кого оцифрованы все документы и семейные фотографии, нет.

Вы часто пересматривайте семейные фотографии? А документы так ааще в облаке у дяди храните?

Я очень плотно работаю с облачными решениями и был в датацентрах разных стран. Я представляю как это работает.

Вы себе это представляете.

Дом - высотный железобетонный монолит. В таких домах может выгореть одна комната

А при тушении затопят несколько квартир снизу.

Пожарная лестница, достающая до меня - одна на весь город

Ждите гостей.

Даже вбросить нормально не смог.

Никакого вброса, только опыт знакомых.
ЗЫ Хотя насчет пожарной лестницы я кажется не правильно понял. Извиняюсь.

Я имел в виду автолестницу. Это плохо, что 90-метровая всего одна на столицу, но что есть то есть. Эвакуироваться предполагается по обычной лестничной клетке, отделенной от квартир. Но наружная создавала бы определенные риски, это точно.

Пожарные краны действительно затопят несколько этажей, в отличие от пены из цистерны. Спасибо, что напомнил. Возможно, вверну в каком-нибудь разговоре. Может быть, учту, если соберусь покупать квартиру в башне. Но пока что мне всё равно. Во-первых, я живу на предпоследнем. Во-вторых, квартира съемная.

Я имел в виду автолестницу.

Я поэтому и извинился.

Это плохо, что 90-метровая всего одна на столицу, но что есть то есть.

В ДС с длинными лестницами тоже возможно не очень, именно возможно, у меня сильно устаревшие данные «из первых рук», так что на текущий момент может добавили, а может и убавили. :)

Но пока что мне всё равно. Во-первых, я живу на предпоследнем.

Стремно бывает по части «водички с крыши».

Во-вторых, квартира съемная.

От это другой разговор, претензия точно не к вам будет.

Я поэтому и извинился.

Я сам не вполне внятно выразился и зря вспылил. Вы тоже извините.

Стремно бывает по части «водички с крыши».

Водички с крыши нет. Скорее всего, когда она появится, я буду жить где-то еще.

Для тебя да. Для тех у кого оцифрованы все документы и семейные фотографии, нет

Оцифрованные документы могут быть критичны. У обычного среднестатистического пользователя они занимают 2Тб? Лел. Семейные фотографии не являются критичным. Если сгорят, да будет не приятно, но жить можно. Судя по твоим рассуждениям ты какой-то цифровой хлам хранишь, считая это очень важным.

Так же с теми, для кого данные - это хлеб

Это тоже не совсем обычный пользователь.

Заканчивай думать, что все такие же как ты. Это совершенно не так.

Заканчивай приписывать мне, то что я не писал.

Я очень плотно работаю с облачными решениями и был в датацентрах разных стран. Я представляю как это работает.

«Мамой клянусь»(с) забыл дописать для убедительности))

Дело говоришь. Тоже думал в эту сторону, но как-то слишком привязался к ТЗ. Данные надо классифицировать по важности:

• Документы: сканы, электронные оригиналы, билеты - хорошо иметь в облаке, на съемных носителях и локально на каждом устройстве. Возможно, некоторые, вроде сканов паспорта, безопаснее как можно реже носить на телефонах и флешках. Облако нужно.
• Работа: тут есть разные требования к конфиденциальности и разные риски. Для видеоблогера YouTube - уже облако, для разработчика СПО - GitHub. В случае работы на дядю могут существовать предписания, какими облаками можно и нужно пользоваться. Но я своими глазами видел, как прямые конкуренты из числа FAANG пользуются облаками конкурента и не парятся. Облако нужно.
• Учеба: ребята, берегите конспекты и распечатки. Разложите по папочкам, оцифруйте. Всё это может казаться неважным во время учебы и первые годы после, но может пригождаться до конца жизни. Если занимаетесь самообразованием и ведете конспекты, тоже храните их. Конспекты и учебники родителей тоже храните. Облако нужно.
• Личный архив фото и видео. Не критично, но потерять очень жалко. Облако нужно.
• Электронная библиотека. Не критично, но потерять очень жалко. Облако нужно.
• Медиатека. Фильмы, сериалы, дискографии потерять не жалко и легко скачать заново. Многое лучше удалять после просмотра. Можно сохранять некоторые видео с YouTube на случай, если их удалят. Это самые огромные объемы, но они наименее критичны. Облако не нужно. Что-то можно хранить дома в одном экземпляре, что-то в двух.
• Софт. Советую хранить скачанные установочные файлы, образы и пакеты. Облако не нужно. Желательно иметь две копии дома.

Также неплохо обратить внимание на физические носители. Что-то неплохо распечатать, в том числе учебные материалы и фоточки. Что-то полезно записать на DVD или BluRay. Фильмы и музыку тоже неплохо покупать в магазинах. Бумажные книги и журналы по-прежнему удобны и приятны.

Электронные подписки и покупки - тоже крутая тема. Я оформил YouTube Premium и регулярно слушаю YouTube Music. Есть Netflix. Есть Kindle, покупаю электронные книги на Amazon раз в несколько месяцев. Есть Steam.

Увы, фотоаппарат в имени файла не сохраняет время и я лишился времени создания прорвы видео.

А в метаданных тоже нэма?

Я некопенгаген, но mc показывает следующую инфу заголовка:

VIDEO_ID=0
AUDIO_ID=1
VIDEO_CODEC=ffmjpeg
FILENAME=/opt/pub/Photo/Videos/2111(S4500)AVI/Вварка штуцера в отопление на Блохиной(DSCF4602)211115.AVI
DEMUXER=avi
VIDEO_FORMAT=MJPG
VIDEO_BITRATE=27691744
VIDEO_WIDTH=1280
VIDEO_HEIGHT=720
VIDEO_FPS=30.000
VIDEO_ASPECT=0.0000
AUDIO_FORMAT=1
AUDIO_BITRATE=1411200
AUDIO_RATE=0
AUDIO_NCH=0
START_TIME=0.00
LENGTH=8.00
SEEKABLE=1
CHAPTERS=0
AUDIO_BITRATE=1411200
AUDIO_RATE=44100
AUDIO_NCH=2
AUDIO_CODEC=pcm
EXIT=EOF

Так что повидимому нет. Но часть файлов (как этот) я вручную переименовал - для них можно восстановить в пределах дня...

У меня уже есть прецедент смерти 3 винтов в короткое время

Это не повезло. Хранение важных данных в рейде эту проблему полностью решает, пользуюсь - доволен.
Пока везёт... Рейд это чисто для быстрой отработки сбоя, для хранения с рейда делают бэкапы, в идеале на ленту - там очень мала вероятность отказа.

…она нафиг не нужна…

Удали не парься, не нужно заниматься собирательством барахла).

Ну отвалится что нибудь - оно и удалится...

Есть такая штука: Google Picasa…

Я бы не стал заливать свои персональные данные без обертки типа encfs никуда, даже в гугл. А с encfs все эти фитчи не работают.

Я не такой богатый, я онлайн сервисом от Гугл не пользуюсь. У меня приложение Picasa и работает оно на локальной базе.

Часто у таких сервисов в соглашении есть пункт о том, что они могут использовать данные в своих целях и передавать третьим лицам.

У меня приличные фотки, пусть хоть обсмотрятся.

Даже банально DVD кому нибудь

Для этого торенты давно есть, магнет-ссылки и похожие решения.

Не надо городить страшных слов... Для этого есть сервера с быстрыми каналами... А торрент, подозреваю (сам некопенгаген) от тебя будет раздаваться с примитивной скоростью, пока не раздастся раз,два,три,... и лишь потом по этой ссылке можно будет скачать с приемлемой скоростью, сразу у нескольких скачавших.

Пользуюсь рейдом много лет, ни пожар ни воры пока не беспокоили.

Но шанс есть!
И раз мы начали фантазировать) cloud storage от пожара в дата-центре спасет?
Думаю в приличном датацентре - пожар маловероятен.

добавляешь к любому файлу расширение .pdf, и в «vk документы» или emailом себе посылаешь. вроде ученые жеж люди, а поди ж ты…

👍️

https://www.youtube.com/shorts/6EsCI3CbmTk

Но шанс есть!

Что бы рейд вышел из строя нужно чтобы у меня одновременно из строя вышло более одного диска. Риск этого незначителен. Сомневаюсь что пожар в ДЦ менее вероятен.

Скорее всего, в рейде находятся диски одной модели из одной партии. Вероятность, что одинаковые диски под одинаковой нагрузкой выйдут из строя один за другим несколько выше, чем если просто возвести вероятность поломки одного диска в степень.

Далее. Рано или поздно один из дисков ломается. Ты заменяешь неисправный диск и начинаешь наполнять подменыша терабайтами данных, отчего шансы потерять один из оставшихся дисков увеличиваются. Раз дело происходит дома, будет рейд 3 или 5, на которых в этот момент избыточности ноль. В общем, рейды с избыточностью надежны, но уязвимость во время восстановления несколько портит картину.

Начал скачивать 2Т яндекс облако...
Забавно, но в логе ЯДа 11.02.24 ровно 00:00 статус с «обработка данных» поменялся на «синхронизация».
Синкаю на 2Т винт от Toshiba отформатированный в zfs с упаковкой lz4.
Машина присела основательно. Браузер пришлось запускать на соседней.
Сейчас отсинкано 795Гб.
Но конечно все мысли матом, ибо у всех файлов дата/время синхронизации.
Придётся потом перезаписывать те от которых ещё остались локальные оригиналы...
Потеряна дата массы видеофайлов от фотоаппарата где в имени нет даты.
В .jpg проще, там есть метаданные, а вот в AVI этого не предусмотрено...
Интересно, 2Т с Яндекса влезут на 2Т от Тошибы в формате zfs?
И да... cloud.ya.ru и disk.ya.ru это разные сущности...
Я тащу из облака, но с диска...
И конечно цирк. Статус синхронизации: 526.9GB/1.7TB(30%) А на диске тем временем использовано 804Gb.

Это ты зря, тебе в конце еще 100500 конфликтов покажет и скажет - на решай))

А как стаскиваешь? Винда, линукс? оригинальный клиент?

Что бы рейд вышел из строя нужно чтобы у меня одновременно из строя вышло более одного диска.

Вообще изи, у меня один за другим улетели в валхалу 3 диска, хорошо что были запасные. Пришлось экстренно пополнять запас.

Но конечно все мысли матом, ибо у всех файлов дата/время синхронизации.

Не надоело ещё головой в стену биться раз за разом на протяжении многих лет и кучи постов?

Время изменения файла - ОЧЕНЬ ненадёжный источник хранения метаданных, надо хотя бы переименовывать, добавляя какой-нибудь YYYYMMDD.

А как стаскиваешь? Винда, линукс? оригинальный клиент?

Яндекс Зеркалировщик под Линукс. Он тащит...

Но конечно все мысли матом, ибо у всех файлов дата/время синхронизации.

Не надоело ещё головой в стену биться раз за разом на протяжении многих лет и кучи постов?

Бьюсь пока не найду решения... Хотя появилась мысль погуглить софтину переименовывающую аудио/видео по дате создания/модификации (сохраняя и оригинальное имя).

Время изменения файла - ОЧЕНЬ ненадёжный источник хранения метаданных, надо хотя бы переименовывать, добавляя какой-нибудь YYYYMMDD.

Я это прекрасно понимаю, но есть многолетняя фотовидео коллекция от фотоаппарата не вставляющего никаких метаданных о времени съёмки в видео. И имя файла не соответствует времени/дате.

Хотя появилась мысль погуглить софтину переименовывающую аудио/видео по дате создания/модификации (сохраняя и оригинальное имя).

Отличная мысль. Это довольно несложный скрипт хоть на bash

Хотя появилась мысль погуглить софтину переименовывающую аудио/видео по дате создания/модификации

mv -i "$FILENAME" "${FILENAME%.*}"_$(date --iso-8601=seconds --date @$(stat -c '%Y' "$FILENAME"))."${FILENAME##*.}"

Не за что.

Тред не читал, google диск пробовали?

Что-то не ищется программа с таким названием

В телеге храни

https://github.com/Firemoon777/tgfs

Что-то не ищется программа с таким названием

$apt-cache search yandex-disk
Сорри, но в linux yandex-disk это процесс не для доступа к Яндекс Диску, а процесс для синхронизации Вашего «Яндекс Диска» с локальным диском.

В телеге храни
https://github.com/Firemoon777/tgfs

Спасибо что и про такое рассказали, но увы... Я даже с облаками воюю за сохранение времени последнего изменения. Хочется уровня банального файл-сервера, но пока не нашел кросплатформенного облака сохраняющего оригинальное время последнего изменения. Оно превращается во время записи на облако.

mv -i «$FILENAME» «${FILENAME%.*}»_$(date --iso-8601=seconds --date @$(stat -c '%Y' «$FILENAME»)).«${FILENAME##*.}»

Я даже не представляю куда это вставить... эти $FILENAME надо ещё как то найти и подставить....

Но нагуглил:
$find . -iname '*.avi' -printf «mv '%p' '%h/%TY%Tm%Td-%TH%TM-%f'\n»|sh

Я и не подозревал, что find может подставлять столько информации о каждом найденном файле. Причем кажется здесь же на LOR это и обсуждали.

За эти же 2 года успело сдохнуть 3 винта, 2 Сигейта 3Т и Самсунг 2Т.

Странно как-то. Возможно порча. Сходи к бабке.

За эти же 2 года успело сдохнуть 3 винта, 2 Сигейта 3Т и Самсунг 2Т.

Странно как-то. Возможно порча. Сходи к бабке.

Давай не будем о политике, тут это запрещено...

Тред не читал, google диск пробовали?

По политическим соображениям это черевато...
Да и не помню расценок, помнится они лошадиные....
Мне надо не единицы бесплатных гигабайт, а как минимум пару терабайт...

Что будет с облаком если не станет света?

Сервер отключится, когда электричество появится - сервер включится.

Отвалится канал

Специально обученные люди от провайдера канал поднимут, не сцы.

в конце концов отвалится винт, два?

То есть поднять софт-рейд, например на zfs не в состоянии? Там их много, на любой вкус. Поставить zabbix и воткнуть метрику на отвал харда хватит даже у золотой рыбки.

Потеряешь информацию и гарантия не спасёт.

У всех нормальных людей в подвале/чердаке/кладовке где кроме бэкапов с твоего сраного десктопа крутятся ещё куча нужных сервисов.

Ваш кэп, не благодари.

Я и не подозревал, что find может подставлять столько информации о каждом найденном файле. Причем кажется здесь же на LOR это и обсуждали.

Источник: (LOR)скрипт(переименование файлов по дате создания)

Ну тогда только китая думается.

Ооооблааакоооо раааай.

Ооооблааакоооо раааай.

С чего бы? Это вынужденный бюджетный выход.
Альтернатива это HDD+HDD(Зеркало) и стример с ленточками для бэкапа. И это всё очень недешево, и «Домашний сервер» тоже кушает энергию и соответственно деньги.
Нынешние объёмы уже упаришься хранить на DVD, да и дешевые накопители могут в любой момент снять с производства. Производить будут лишь для того чтобы выгодно продать. Про флешки пугают что они «забывают» данные когда долго не включаются, SSD то же самое... Винты наворачиваются в любой момент... Разом! Много терабайт данных... И не факт что копией на отдельном винте успеешь воспользоваться. Я не успел, винт с копией сдох. Вслед за оригиналом.
На облаках есть одна нерешаемая проблема (как минимум на Яндекс и Мэйл, они хранят лишь время записи файла в облако, а не его оригинальное время модификации.) Имея две копии файла - ты не можешь однозначно сказать какой из них свежее, не заглянув внутрь.

Увы, так и не увидел вменяемого совета про облако.
Все рассуждения про рэйды и бэкапы - это хорошо и безопасно, но дорого и не всегда уместно. Не буду о политике, забанят - но бывают ситуации когда плохое облако - надежнее и безопаснее чем машинка под боком... Но всё упирается в цену и возможности... Пока основной камень преткновения WEBDAV - у него ужасающая производительность и не знаю от чего зависит, но ни мейлру ни яндекс не сохраняют оригинальное время создания файла. Нафига мне нужно время его записи на яндекс/мейл?

Грубо нужно: Облако с тарифом 1т/1т/1год... (Терабайт/Тысяча/год) с нормальным доступом (Да хоть самба через VPN) и нормальным сохранением оригинального времени файла и доступом к файлу без промежуточной буферизации...

Неужели ни чего такого нет и придётся мириться с ЯДом/МЕЙЛом? Ну убожество же... Этот кривой WEBDAV.
Или ставить винду, виндовые приложения на неё и делать файлсервер для клиента на линуксе? Но это опять же отдельный компьютер... Жрущий свет...
Нет, конечно можно запилить винду в виртуальном компе, но это бред...

Вы себе это представляете.

Сорри за некропост, но не надо так...
Если подходить как следует то в договоре на услуги - должна быть оговорена ответственность за потерю данных по вине поставщика. Ну и в идеале конечно надо бэкапить, бэкапить, бэкапить... Вон валяется пачка 60,80,160,500Гб винтов... Подниму на них zfs/gzip-9 и утопчу то до чего дотянусь. Пусть и неоперативно и негарантированно, но шанс того что что то останется - повысится. Пусть валяются в столе с определенным сетом данных...
Если лезть дальше в дебри, то на этот zfs можно и нативную шифровку повесить. Оно может и не спасёт от топовых взломщиков, но данные будут не в свободном доступе...
А как хранилище списка бэкапов - использую обсуждавшийся тут на LOR - каталог из дерева дырок.

Арендуй vps с большим диском и используй rsync подобные синхронизаторы. Облако тебе не нужно.

А как стаскиваешь? Винда, линукс? оригинальный клиент?

Сорри, выпал...
Тащил yandex-disk-ом.... Вот он при скачивании машинку присаживает основательно. Тащилось (судя по логам) с 10 до 22 февраля... по 100МБит каналу... Сейчас поджимает, скоро период закончится... 12 апреля или платить Яндексу за год, или за месяц или находить другое облако (локальная копия теперь есть). С шифрованием облака - увы задница... Даже CryFS при всей заточенности на облако - оставляет грустное впечатление... Тормоза...