Нужен демон для подсчёта хэша файла по запросу из сети

который будет получать по сети … путь к файлу

путь этот локальный для хоста, на котором запущен демон или любой произвольный? если произвольный, то вообще какой толк от выкачивания файла ради подсчета хэшей?!

Кто там хотел идею для проекта? Вот тебе идея.

постановка задачи - моё увожение. сусанин тихо завидует, заблудившись в своем лесу.

Поправил.

поднять простецкий http.server или любое элементарное api, ну внутри логику прописать - вариант с http готов. ах да ,не забыть создать systemd unit.

это самое простое и очевидное имхо.

Или однострочный cgi к условному nginx прикрутить.

Демон на 1 строчку кода. Пока постил уже бы сделал. /thread

И вот тебе захотелось проверить файл на соответствие. Как будешь решать эту задачу?

Например запустить md5sum? Отправить запрос демону тащемто сложнее, чем подсчитать хеш файла)

Зачем это нужно. Допустим, у тебя есть несколько машин, на которые ты распространяешь файл.

условный ansible? (хоть я его ни разу и не использовал)

Не понимаю, зачем тут демон. Чем не устраивает просто ssh remote.host md5sum путь/к/файлу/локальный/для/хоста?

Интересная мысль, спасибо. Но не везде можно ssh... Хм, точно, over ssh отпадает.

Ну в оригинальном посте было ssh… Ну раз ssh не устраивает — обернуть это дело в простейший CGI и отдавать по http(s) результат на get-запросы (или post, если очень хочется). Ну или любой другой протокол, который устраивает.

Ну или как вариант, если не хочется заводить nginx/apache, bottle.py (со встроенным питоньим http-сервером) + hashlib из батареек.

Да, я примерил решение и по факту уже понял, что там между машинами нет ssh.

гм. какое однозначное и точно сформулированное ТЗ

А кому он он будет отвечать? И что он должен отвечать?

задачка на проверку соответствие файла - это более точно сформулированное задание.

Один из вариантов: скрипт на 5 строк + xinetd. Или тебе через http(s) нужен интерфейс?

а связь между машинами есть? :)

Да, L3 точно есть. И речь сейчас не про пару домашних локалхостов.

Хороший вопрос, ага. С одной стороны, это машины в связанных локальных сетях. С другой стороны, есть претензии на организацию безопасности и устойчивости. Буду думать.

Если подняться к задаче в целом - что делать, если хеш не тот? надо файл закачивать? по какому протоколу? кому доверять? и т.п. Может оставить это всё менеджеру пакетов?

В моём случае - ждать пока не доедет правильный файл.

Блин. Совсем обленились. Однострочник на баше реквестируешь ты.

Максимум, если не хочешь ssh, то можно однострочникина баше прикрутить к консольному вебсокет серверу

Я сначала подумал, что это тред в Job, но потом перепроверил и оказалось, что нет. ТЗ вроде норм в текущей версии, я бы сделал за 1 человекодень.

Так. Допустим, на этапе формирования директории проекта, я буду прогонять хэш всех файлов и положу в корень проекта файл с хэшами. Таким образом, мне останется только вызвать локально на каждой машине запуск утилиты и скормить ей этот файл. В принципе, я могу туда сразу и готовый sh файл с этим скриптом класть.

urxvt CrX подскажите про CGI. Я понятия не имею как это может выглядеть.

Не понял зачем тебе файл. Его же нужно будет обновлять при каждом изменении над файлами.
Тебе сделать конфигурацию CGI? Или Python-скрипт, как предлагал flant?

Файлы сами по себе не меняются. Это результат сборки, который распространяется по целевым местам.

Просто покажи мне пример этого CGI. Я совсем не в теме. Посмотрю пример и сделаю под себя.

Файлы сами по себе не меняются. Это результат сборки, который распространяется по целевым местам.

Понял. Тогда да, можно его генерить при сборке и класть в дистрибутив.

Смотри, а как тебе тогда следующая идея? Ты просто рядом с каждым файлом кладешь файл с суффиксом .sig с хешом внутри. Дальше ты имея имя файла на руках всегда можешь скачать его хеш, просто прибавив суффикс.

$ ls -1
file1.txt
file1.txt.sig
file2.png
file2.png.sig
...

Просто покажи мне пример этого CGI. Я совсем не в теме. Посмотрю пример и сделаю под себя.

Ну готового примера у меня нет. Могу сделать.

Ты просто рядом с каждым файлом кладешь файл с суффиксом .sig с хешом внутри.

Смотри https://releases.ubuntu.com/22.04/SHA256SUMS В одном файле все хэши и проверяется весь проект одним вызовом.

Погоди, я запутался. Теперь ты говоришь одним вызовом.

Тебе нужно HTTP API по типу такого? Это должно крутится в Nginx или на Python http.server?

>> GET /some-api-path/ubuntu-22.04.2-desktop-amd64.iso
<< b98dac940a82b110e6265ca78d1320f1f7103861e922aa1a54e4202686e9bbd3

Прямо сейчас мне, в принципе, надо получить OK на запрос «а соответствует вот эта копия проекта эталону». Один из вариантов решения - это универсальный демон и сравнивать файлы поштучно, в порядке обращения к ним. С другой стороны, я могу периодически проверять весь проект. У меня нет конечного видения. Пока только варианты, которые я не знаю как реализовать.

Если я правильно тебя понял, то ставь нжиникс, ставь туда луу и делай что-то типа

 
location /my-ssh-endpoint {
  content_by_lua_block {
    os.execute("/bin/sha... ")
  } 
}

А если просто слать на порт путь текстом и в ответ получать хеш без всякого шифрования - этого будет недостаточно?

надо получить OK на запрос

А что ты будешь делать, если не ок?

Да, вот про что-такое и думал. В идеале, собственный демон, который можно поставить на nginx, например. Опять же, можно огородить его файрволлом. То есть, речь именно про сетевой демон с единственной задачей - выдавать хеши файла по полученному им пути. Ну или говорить ОК в случае получения пути + хеш.

А это уже логикой скрипта будет определяться.

tripwire изобретаешь что ли?

import os
import hashlib
import socketserver
import http.server


ROOT='/home/user'


def checksum(path):
    chs = []
    for w in os.walk(path):
        dir = w[0]
        for f in w[2]:
            with open(os.path.join(dir, f), 'rb') as p:
                chs.append(hashlib.file_digest(p, 'sha256').hexdigest())

    d = hashlib.sha256()
    d.update(str(sorted(chs)).encode())

    return d.hexdigest()


class ChecksumRequestHandler(http.server.SimpleHTTPRequestHandler):
    def do_GET(self):
        if self.path == '/':
            dir = ROOT
        else:
            dir = os.path.join(ROOT, self.path.lstrip('/'))
        chs = checksum(dir)

        self.send_response(200)
        self.end_headers()
        self.wfile.write(chs.encode())
        self.wfile.flush()


class ChecksumServer(socketserver.ThreadingMixIn, http.server.HTTPServer):
    pass


s = ChecksumServer(('', 8888), ChecksumRequestHandler)
s.serve_forever()

Вот тебе шаблон для старта. Пользоваться так:

curl http://localhost:8888             # hash ROOT recursively
curl http://localhost:8888/foo         # hash ROOT/foo recursively
curl http://localhost:8888/foo/bar.txt # hash ROOT/foo/bar.txt

А в чем проблема включить ETag’и на веб-сервере, раздающем файлы? Тогда запросить хэш можно будет без скачивания файла, обычным HEAD-запросом. Ну или использовать условные запросы вроде If-None-Match

Над попробовать. Ничего не обещаю. Ток меня lua покусала на lua-sec. Хотя в попу ностальжи кольнуло, может Сишечка на KORE.io нинаю пока, может к тому моменту как раздуплюсь вже ничего не надо будет…

Сертификаты для подключения я так понял должны быть самоподписаны.

Как обрабатывать специальные файлы вроде /dev/random?

Хороший вопрос. Вшитые списки? Я не в курсе, может в ядре есть защита от дурака.

Пишешь на flask/sinatra/php/что_нравится выдёргивание параметров из урла, как на древних сайтах, в параметрах путь и хэш, запускается sha1sum, обратно отдаётся true-false - всё. Жсон добавит только пару строк.