Собственно есть два вопроса:

1. Как вы делаете бекапы?
2. Как вы храните фотки?

Фотки вынесены в отдельны вопрос, потому что это особая категория данных, они не всегда ненужны, их нужно периодически пополнять и изредка просматривать.

Еще не все хотелось бы держать на ssd, места мало, потому идеально было бы иметь возможность выбирать то, что должно быть на диске, а что может хранится на сервере.

Попытался для целей синхронизации использовать ownCloud, как выяснялось его клиент очень медленно синхронизирует множество мелких файлов, 200к файлов объемом ~40 гигабайт клиент оценивает в дни работы (это против сервера который у меня стоит рядом). Думаю причина в webdav, каждый файл отправляется отдельный запросом, с установлением tcp соединения, с раундтрипом. Сервером, куда осуществляется синхронизация, у меня служит HP N40L, еще старая версия, с AMD Turion. После запуска синхронизации CPU на сервере оказался занят под завязку процессами apache2 -DFOREGROUND. SSL у меня был организован через nginx, прямая загрузка данных, по http, ничего не поменяла. База - postgres.

Потому и возник вопрос, чтоб вновь не потратить время на неработающее решение. Поделитесь вашими лучшими практиками. Спасибо.

====================================
Обновлено.

Перешел на Syncthing. Синхронизация происходит между компьютером, ноутбуком и NAS. Для синхронизируемых директорий версионность настроенна только на NAS, в силу доступного объема на диске.
От идеи полной синхронизации всех фалов пришлось отказаться, скорость падала до килобит. Сейчас синхронизируются конкретные директории с значимыми файлами, на проекты с исходниками настроенны исключения для директорий создаваемых в момент сборки.
Из неудобств: для каждого пользователя в системе проще иметь свой экземпляр Syncthing, но в этом случае проедется выставить недефолтные порты, для webui и тот который обычно 22000.
За почти месяц эксплуатации Syncthing v0.14.39 никаких проблем не встретил.

Для фоток организовал синхронизацию с последующей автоматической каталогизацией по модели камеры и дате создания снимка. Каталогизацию выполняет exiftool по cron, вот вызов exiftool из написанного bash-скрипта:

exiftool "-Directory<$DST_DIR/\${model;}/\${datetimeoriginal}" \
        -d '%Y-%m' \
        -if '$exif:model' \
        -r "$SRC_DIR"

Отдельно отмечу про видео, оно не содержит информацию про камеру, как у фоток. У меня 4 устройства, во всех это так. Но принадлежность видео к той или иной камере можно узнать по тегам MajorBrand, CompatibleBrands, они отличаются, по этому для каждой устройства прописаны такие правила синхронизации:

sync_videos_sony_cam() {
    echo "## Sync videos for Sony Cam"
    exiftool "-Directory<$DST_DIR/DSC-H70/\${MediaCreateDate;}" \
        -d '%Y-%m' \
        -if '$MajorBrand eq "MPEG-4 (.MP4) for SonyPSP"' \
        -if '$CompatibleBrands eq "MSNV, mp42, isom"' \
        -r "$SRC_DIR"
}

Всем спасибо за помощь в выборе инструмента синхронизации.

Привет, комрады.

Работаю в команде разработчиков из пяти человек. Пишем ПО на заказ. Есть три-пять основных постоянных заказчиков. И вот у одного заказчика пришёл новый техлид, который стал требовать документировать ПО. Вплоть до блок-схем алгоритмов. Требует описывать архитектуру словами и картинками.

Раньше обходились просто комментариями в коде. А теперь такие требования бесят, учитывая, что на оплате это никак не сказывается.

Кто сталкивался с подобными заказчиками и как его правильно послать?

Double Commander — это кроссплатформенный двухпанельный файловый менеджер, распространяемый под лицензией GPLv2. Целью данного проекта является создание файлового менеджера, аналогичного по функциональности Total Commander и совместимого с его плагинами. Double Commander разработан на FreePascal и Lazarus.

( читать дальше... )

>>> Подробности

Здравствуйте.

Осваиваю Kafka и хочу потренироваться с реально работающим брокером. Сейчас мне нужно научиться работать с брокером только в качестве consumer.

Я не хочу деплоить кластер, придумывать схему message, настраивать topics и админить весь этот зоопарк.

У меня возникла идея: найти в публичном доступе открытые информационные системы, которые предоставляют данные всем желающим через Kafka. Например, сервер сообщества астрономов-любителей, который льёт какие-то астрономические данные в паблик. Найти такие публичные Kafka-брокеры мне не удалось.

Вопросы.

1. Есть ли в природе такие общедоступные Kafka-брокеры? Дайте, пожалуйста, линк.
2. Как вы практиковались с Kafka?
3. Существуют ли готовые тестовые автономные Kafka-брокеры с producer, который генерирует поток данных? Например, связка Генератор + Producer + Kafka и всё это в докере.

PS. Прошу не предлагать писать свой producer. Я напишу свой producer и свой consumer и у меня всё будет работать, а с чужим producer могут всплыть проблемы. Поэтому, сразу ищу сторонний producer.