Можно ли заставить ЯД (Яндекс Диск) - синхронизировать атрибуты/владельца файлов?

restic/borg + rclone. Официальный клиент не нужен.

Пакуй в tar.gz сам. Иного, надёжного, пути нет. Хотя надо проверить, вдруг они и внутрь архивов лезут метаданные менять.

Капча новая прикольная, фигурки к кружкам подсовывать, удобна.

Какие атрибуты? Какие владельцы? Облако это облако, а не posix-совместимая фс

restic/borg + rclone. Официальный клиент не нужен.

Я так понимаю, то что Вы рекомендуете - это инкрементальный бэкап?
В принципе решение... Можно конечно хоть тарить... Но интересен «прозрачный» вариант.

Какие атрибуты? Какие владельцы? Облако это облако, а не posix-совместимая фс

Понял, короче облако это лента с телепортом?
Похоже надо откапывать btsync (помнится такое было) и ставить на всех компах. Если облака, это такая дрянь...

Какие атрибуты? Какие владельцы? Облако это облако, а не posix-совместимая фс

Неужели в Линукс нет системы контейнеризации - которая хранит атрибуты? Которая мгла бы жить поверх неposix системы.

Пойду проверять EncFS и eCryptFS - неужели им важны rwx? Теоретически для сокрытия нужно и атрибуты шифровать, т.е. хранить где то в шифрах.

Не хватает тега «хочется странного». Облачные хранилища хранят содержимое файлов, а не атрибуты. Можно в tar закатать, если они так ценны. Ну или не дешёвую «услугу облачного хранения» брать, а нормальный VPS и лить туда по любому удобному протоколу и сохранять/менять всё как заблагорассудится. Только оно будет уже, естественно не 200 рублей в месяц, а 200 рублей только за саму VPS, плюс ещё дополнительно за место подключенное, и больше.

Это что за облако? Которое не хранит атрибутов/владельцев файлов?

Любое. Подумайте сами, зачем облаку сохранять эту информацию? ФС чутка побольше чем одна, предлагаете в облачный клиент запилить поддержку всех ФС?

Можно в tar закатать, если они так ценны.

Кстати да, можно заскриптровать это дело, костыль конечно тот ещё получится, но в целом выполнимо.

Неужели в Линукс нет системы контейнеризации - которая хранит атрибуты? Которая мгла бы жить поверх неposix системы.

Кто сказал tar? Ещё можно создать образ диска в виде файлега в котором создать желаемую fs.

Не хватает тега «хочется странного».

Ну значит «хочется странного», мне от облачного хранилища требуется возможность использования его как локального на КАЖДОМ моём хосте, иначе нафиг мне облако? Я и на пару винтов затарю...

Облачные хранилища хранят содержимое файлов, а не атрибуты. Можно в tar закатать, если они так ценны.

Я рассчитывал что в облаке сохраняется ВСЁ!

Ну или не дешёвую «услугу облачного хранения» брать, а нормальный VPS и лить туда по любому удобному протоколу и сохранять/менять всё как заблагорассудится. Только оно будет уже, естественно не 200 рублей в месяц, а 200 рублей только за саму VPS, плюс ещё дополнительно за место подключенное, и больше.

Тогда какой смысл в облаке? Если оно даже оригинальное время модификации не может сохранить. Лично для меня - облако это внешняя система хранения доступная ВСЕГДА и позволяющая оперативно работать с файлам хранящимися там.

А VPS да, и самбу туда, и VPN сервер... видимо придётся. А ЯД в апреле истекает и пусть катится... Зря потратил деньги... (Хотя конечно если бы у меня всё накрячилось то что то оттуда достал бы.) Хотя частично ещё есть и локальные копии. Всё равно копии с ЯДа ущербны потерей оригинального времени модификации.

Для бэкапов я тупо подключу внешний винт, соблюдая правило 3-2-1.

Это что за облако? Которое не хранит атрибутов/владельцев файлов?

Любое. Подумайте сами, зачем облаку сохранять эту информацию? ФС чутка побольше чем одна, предлагаете в облачный клиент запилить поддержку всех ФС?

Затем что лично я предполагал что облако - это онлайн хранилище данных, но оно к этому не способно. А бэкапы в контейнерах я и локально сохраню.
И поддерживать надо не все фс, а банально давать то же что даёт обычная САМБА, для массы систем. Разве САМБА поддерживает ФС? Она везде крутится на своей и при этом файлы доступны и в WIN и в Линукс. Я предполагал что облако это аналог САМБЫ.

Можно в tar закатать, если они так ценны.

Кстати да, можно заскриптровать это дело, костыль конечно тот ещё получится, но в целом выполнимо.

Это бред сивой кобылы.... Как Вы что то заскриптуете? Вот есть стотыщпяцот файлов, у каждого своё время модификации (да хрен с ними, владельцами) и это дерево используется со статыщпяцота компов. Как залить туда это дерево в оригинальном состоянии? НИКАК! Можно залить и использовать с облака (новое время модификации будет правильным), но оригинальные даты модификации - придётся сунуть в имя, или потерять их... ну или в EXIF как jpeg. Радует что хоть там это предусмотрено и моя фотобаза имеет оригинальные дату/время внутри.

Логично что должна быть подсистема позволяющая монтировать ФС и хранить эти атрибуты в специальных файлах на облаке. И подозреваю что она есть, и этот топик начал для того чтобы её найти. Подозреваю что eCryptfs и Encfs могут уметь это делать, но никак не доберусь.

Неужели в Линукс нет системы контейнеризации - которая хранит атрибуты? Которая мгла бы жить поверх неposix системы.

Кто сказал tar? Ещё можно создать образ диска в виде файлега в котором создать желаемую fs.

Не думаю что этот ФАЙЛЕГ будет консистентен. Я думал об этом, ЯД позволяет до 50Гб создать файлы. НО! К этому файлу нельзя будет обращаться сразу с нескольких компьютеров. Меня интересует работа сразу с нескольких систем. Чтобы файлы хранились и был прозрачный доступ, как в той же САМБЕ. если «облако» недотягивает до самбы - это не облако а БОЛОТО.

Подозреваю что eCryptfs и Encfs могут уметь это делать, но никак не доберусь.

Как вы уже помните, с памятью у меня плохо. Я уже исследовал этот момент, ещё в июле 2018. Но не помню ньюансов. Время/владелец сохраняются. Может быть там есть проблемы при доступе с нескольких хостов сразу. Надо опять проверять. Во всяком случае на облаке есть .cryfs и .ecryptfs

Сейчас обновлю первое сообщение топика и закрываю, но вообще хочется подобной подсистемы точно работающей с нескольких компьютеров сразу.

Жаль что никто не «ткнул» меня в это или другое решение, а начали звиздоболить про то что называть облаком...

Сделай сохранение атрибутов в отдельный обычный текстовый файл.

Ещё один все понял :)

Хороший костыль. Достойный. И удобный.

иначе нафиг мне облако? Я и на пару винтов затарю…

Кажется, ты начинаешь что-то понимать :)

Я рассчитывал что в облаке сохраняется ВСЁ!

А не стоило.

Тогда какой смысл в облаке?

Предоставление места на HDD в обмен на деньги. Дешёвое. Смысл… Ну их несколько. Я бы сказал, что в основном облако полезно, если нужно предоставить доступ к каким-то файлам другим людям, а свой веб-сервер поднимать не хочется или не можется, в первую очередь. Во вторую для хранения бэкапа, в основном целесообразно с учётом первого. Но некоторые как-то умудряются чуть ли не вместо локального хранения использовать. До первого факапа (хотя кому-то и это не помогает).

А ЯД в апреле истекает и пусть катится… Зря потратил деньги…

Да…

Смысл в облаке чтобы ты заплатил больше, чем если бы поднял это сам. То есть в переплате.

Сделай сохранение атрибутов в отдельный обычный текстовый файл.

Раз уж советуешь - расскажи как? Чтобы для системы этот файл был с этими аттрибутами.

Смысл в облаке чтобы ты заплатил больше, чем если бы поднял это сам. То есть в переплате.

Наверное смысл не в «переплате» а в «экономии».
Вообще вопрос очень сложный.
Хочется кроме экономии ещё и удобства и полноценности.
Не экономя можно взять 3*4Т винта=18к и МикроПК за 9к Итого:27к за полноценную систему хранения. Напрямую высчитать потери не могу, не знаю почём у них 4Т на год. Ну а дальше как повезёт. Винты могут и 10 лет проработать и за год сдохнуть. И скорость доступа на гигабитке будет метров 100 по сети? Локально метров 150 с винта и метров 500 с SSD. А ЯД с трудом по 2-3 метра/секунду отдаёт.

Но это ладно, попробую через эту прослойку. Заодно безопасность сильно усилится. А к ЯДу я всё равно уже поднял и зеркало и бэкапный винт.

Можно попробовать написать бэкенд для rclone, но не в курсе, как там с POSIX-семантикой.

Для S3 есть какие-то готовые решения, гугли.

Тред не читай @ Сразу отвечай

Можно, наверное, создать файловую систему в файле, а уже затем этот файл синхронизировать через Яндекс.Диск.

иначе нафиг мне облако? Я и на пару винтов затарю…

Кажется, ты начинаешь что-то понимать :)

Тут как всегда - палка о двух концах. Не будем вдаваться в подробности (забанят) но можно оказаться без дома и всё твоё железо не сможет работать, а ЯД работал...

Я рассчитывал что в облаке сохраняется ВСЁ!

А не стоило.

Вопрос не в этом, а в том что увы, мне совершенно непонятно, почему уважаемая общественность меня так разочаровала.
Есть же решение, или вся местная общественность мирится с таким дефолтным поведением облаков? Неужели все мирятся с потерей времени/атрибутов?

Благо решение найдено (надеюсь).

Тогда какой смысл в облаке?

Предоставление места на HDD в обмен на деньги. Дешёвое.

Так какого чёрта не обеспечивается полноценная система хранения?
Банальная САМБА всё может, пчему ЯД не может?

Смысл… Ну их несколько. Я бы сказал, что в основном облако полезно, если нужно предоставить доступ к каким-то файлам другим людям,

Резонно, но для этого и бесплатный тариф можно юзать. Тут ж речь идёт о 2Т.

а свой веб-сервер поднимать не хочется или не можется, в первую очередь.

При чём здесь веб-сервер?

Во вторую для хранения бэкапа, в основном целесообразно с учётом первого.

Для бэкапа можно и свой винт купить.

Но некоторые как-то умудряются чуть ли не вместо локального хранения использовать.

«Вместо» это конечно сурово... Вот зеркало это дело.

До первого факапа (хотя кому-то и это не помогает).

А ЯД в апреле истекает и пусть катится… Зря потратил деньги…

Да…

Ну шифрование им даст ещё шанс. Но буду списываться, а то оплачу и скажут:ШИФРОВАНИЕ ЗАПРЕЩЕНО ЗАКОНОМ...

Тред не читай @ Сразу отвечай

Оно и видно, не читали. У фс в файле - главный недостаток, что даже платный файл не более 50Gb и одновременно с ним сможет работать лишь один комп, а нафиг такое уродство?
Мне облако нужно для того чтобы стотыщпяцот компов могли ОДНОВРЕМЕННО прочитать и записать мои файлы.

Мне облако нужно для того чтобы стотыщпяцот компов могли ОДНОВРЕМЕННО прочитать и записать мои файлы.

То что вы хотите - называется сетевая файловая система (один сервер) или и вовсе распределенная ФС (кластер серверов). И это нифига не Яндекс-диск!
В простейшем случае вам нужен свой NFS или Samba-сервер. А Я-Д использовать по назначению - хранение копии бэкапа (в виде архива, который внутри сохраняет все атрибуты файлов).

Так какого чёрта не обеспечивается полноценная система хранения?

Её никто не обещал. Да и не просил (ну до тебя), за исключением каких-то отдельных гиков. Это не ЦА.

Есть же решение

Решение есть, проблемы нет ;)

или вся местная общественность мирится с таким дефолтным поведением облаков? Неужели все мирятся с потерей времени/атрибутов?

Местная общественность очень разнородна.

Я, например, вообще «облаками» не пользуюсь. От лукавого оно всё ;)

Ну и юзкейс твой весьма специфичен. В 99% случаев атрибуты тех файлов, что люди загружают в облака не имеют ни малейшего значения. Обычно туда загружают фоточки, видео домашние и не очень, документы в форматах офисных пакетов да pdf, ну кто-то музыку с кинцом.

Мириться ни с чем не нужно, нужно просто выбирать инструмент под задачу. Если тебе нужны атрибуты файлов, то типичные облачные сервисы вроде яндекса тебе не подходят, вот и всё. Ну или если чисто по соотношению цена/место/расположение всё же являются оптимальными, то обходными решениями добиться своего (банальный tar перез заливкой).

И да, я бы очень и очень удивился, если бы эти атрибуты сохранялись. Передачу такой информации помимо собственно содержимого файла и его имени надо бы как минимум эксплицитно подтверждать. Нефиг какому-то там облаку знать, когда у меня какой файл создан, и кто его владелец.

При чём здесь веб-сервер?

Ну не обязательно веб, конечно. Можно и через SFTP делиться, или ещё как. Ну суть.

Для бэкапа можно и свой винт купить.

Ты сам выше упоминал случай с пожаром. Если ты можешь обеспечить хранение этого винта в другом помещении, то конечно можно. И это будет лучшим решением. Но многие используют облака, потому что либо нет возможности бэкапить куда-то на винт, находящийся не в том же помещении, что основные данные, ну либо потому что «модно, молодёжно, будь в тренде, акция только сегодня подключи ЯД со скидкой -9000%, первый год бесплатно*».

Но буду списываться, а то оплачу и скажут:ШИФРОВАНИЕ ЗАПРЕЩЕНО ЗАКОНОМ…

Списываться не так уж много смысла тут. Шифрование не запрещено. Но нет никаких гарантий, что законы не изменятся завтра. Что тебе в этом случае их суппорт сможет ответить? Не они же эти решения принимают.

Я думал для этого есть уже улиты, но не нашёл быстрым поиском.
Зато свелосипедил вот что

rsync -a --no-whole-file . .user-attributes
tar -cf user-attributes.tar .user-attributes

Я думал для этого есть уже улиты, но не нашёл быстрым поиском.

Была такая ФС umsdos - Posix поверх чистой ФС ДОС FAT16. Там доп. атрибуты и спец.файлы типа линков хранились в текстовом файле в каждом каталоге. И Линукс запускался из ДОСа командой loadlin.exe

Но так как я очень умный, то не учёл тот факт что лунусойды битый tar не умеют распаковывать без проблем. И как rsync обратно работает не проверял (из файлов нулевого размера на обычные), но думаю лунукс умеет такое.

Неужели все мирятся с потерей времени/атрибутов?

А зачем нужны времена/атрибуты на бекапах, киношках, конфигах, фоточках и музыке?

Нет, не в экономии. Компания хочет чтобы дал ей денег, но при этом она не отвечает ни за сохранность этих данных, и не дает никаких гарантий . За 3 тысячи ты покупаешь у яндекса терабайт на 3 года, когда в магазине ты можешь купить за эту же сумму терабайт навсегда. Тут нет никакой экономии.

Для деталей советую почитать пользовательское соглашение

даже платный файл не более 50Gb

Погрызи ФС на куски и склеивай их в рейд, заодно синхронизироваться будет быстрее )

одновременно с ним сможет работать лишь один комп

Ну тут да, фатально. Хотя может можно придумать что-то с drbd.

когда в магазине ты можешь купить за эту же сумму терабайт навсегда

Ты забыл добавить добавить к этой сумме стоимость инфраструктуры, иначе это бессмысленно сравнивать с облачным сервисом.

нет возможности бэкапить куда-то на винт, находящийся не в том же помещении

Это слишком упрощённое для реального мира требование. На практике нужно хотя бы несколько десятков километров до резервной копии, но лучше больше.

Хорошо. Расскажи мне зачем тут может понадобится такая же инфраструктура как у яндекса. Для одного пользователя. А я послушаю.

А я послушаю.

Not with that attitude.

У яндекса нет нет тарифа на 4 тб. Тариф на 5 тб у них стоит 12 000 на год, а на 3 тб примерно 6000 в год. Как скоро поднятое у тебя окупится считай сам.

Я рассчитывал что в облаке сохраняется ВСЁ!

Тут даже не уверен не похерит ли тебе какая-нибудь винда атрибуты на файлах, а ты этого хочешь от довольно тупого облака.

Не говоря уже о…

оригинальное время модификации

Это вообще не очень надежная штука, потому что очередной говноархиватор от васяна сбросит время модификации. А уж как любят свои винрары-винзипы пользователи винды.

Не говоря уже о том, что у них вполне возможно нет этих терабайтов и полагаются на то, что все клиенты одновременно не начнут забивать свои «облака» на обещанные им терабайты. :)

навсегда

Ну, пока не посыпется.

Ну это да. Я просто про то что диск у тебя никто отнимать не будет. Ну а яндекс может в любой момент порезать тебе доступы когда захочет.

Это вообще не очень надежная штука

Как раз надёжная, время модификации важно для синхронизации. Точность может быть разной, но не хуже секунды.

Мало того - он тупо не хранят время создания/модификации и заменяют его временем закачки на ресурс.

Ну я понимаю, у тебя проблемы с когнитивными функциями мозга. Но в прошлые свои темы ты перед написанием новой заходил бы что ли, одно и то же который раз уже…

Затем что лично я предполагал что облако - это онлайн хранилище данных

Так данные оно сохраняет.

И поддерживать надо не все фс, а банально давать то же что даёт обычная САМБА

«обычная САМБА» понятие очень-очень сферичное. И поддержка acl в самбе так же зависит от ФС.

Разве САМБА поддерживает ФС?

Да. см. выше.

Я предполагал что облако это аналог САМБЫ.

А самба это аналог wfwg на netbeui :)

Это бред сивой кобылы.... Как Вы что то заскриптуете?

Один из вариантов. В облако заливаем файлики в tar-е, к имени файла добавляем время изменения. Дальше при синхронизации сравниваем время изменения у локальных и облачных файлов и при необходимости обновляем или локальный или облачный файлиг.

Я сам от них подумываю свалить. Облака не нужны, домашние сервера – наше всë.

Я рассчитывал что в облаке сохраняется ВСЁ!

В чужом облаке бывает, что и теряется ВСЁ! В своем впрочем тоже возможно, но тут ты уже ССЗБ, так что пинков раздавать будешь только себе. :)

Тогда какой смысл в облаке? Если оно даже оригинальное время модификации не может сохранить.

Оно сохраняет данные, а не атрибуты.

Лично для меня - облако это внешняя система хранения доступная ВСЕГДА

Смешно пошутили.

Предоставление места на HDD в обмен на деньги. Дешёвое. Смысл… Ну их несколько. Я бы сказал, что в основном облако полезно, если нужно предоставить доступ к каким-то файлам другим людям, а свой веб-сервер поднимать не хочется или не можется, в первую очередь. Во вторую для хранения бэкапа, в основном целесообразно с учётом первого. Но некоторые как-то умудряются чуть ли не вместо локального хранения использовать. До первого факапа (хотя кому-то и это не помогает).

Два чая за описание публичных облаков!