Есть самопальная не-реляционная БД на питоне для хранения и обработки результатов численного моделирования.
Есть несколько машин, между которыми настроены ходы по ssh по открытому ключу. Скажем на одной из машин есть репозиторий (директория), содержащая несколько тысяч (десятков или даже сотен тысяч) расчетов (поддиректорий) с данными. В каждой поддиректории есть небольшой файл в формате pickle, содержащий какие то параметры + еще куча всяких файлов с результатами в совершенно разынх форматах.
Есть скрипт на питоне, который локально умеет ползать по репозиторию, выбирать из него согласно каким то хитрым критериям (на основе запикленных данных, и возможно всего остального) расчеты, чего то там высчитывать и выводить результат в виде выборки - списка записей, каждая запись содержит несколько вычисленных скриптом значений и экземпляр хитрого класса ассоциированного с расчетом (в частности по пути к директории расчета). Над выборкой могут производится всякие другие операции - выборки могут сливаться, сортироваться, могут досчитываться дополнительные столбцы и т.д.
Локально все это хозяйство работает прекрасно, удаленно работает меееедленно. Скажем я хочу с одной машины поработать с репозиторием на другой машине - я цепляю его по sshfs (причин может быть много, скажем я хочу совместно обрабатывать несколько репозиториев лежащих на разных машинах). При поиске поднимаются запикленные файлы всех расчетов. Хочется как то процесс ускорить, не очень понятно как...
Категорически НЕ хочется заводить сервер и связываться с клиент-серверной архитектурой. Оптимальным кажется вариант, когда при указании удаленного репозитория там запускается по ssh некоторый агент, который локально генерит выборку и сливает результат через пайп (самое простое). Но если с этой выборкой надо что то сделать дополнительно, возникают сложности - хочется скажем повозится с некоторыми файлами расчетов из выборки, а их нету... Видимо надо автоматом монтировать по sshfs удаленный репозиторий, и расчеты выборки привязывать уже к нему, но опять таки вопрос - а как его потом автоматом же отмонтировать - висящие по sshfs системы сильно портят кровь при засыпание/просыпании ноута, да и вообще надо ресурсы то отдавать... А деструкторы, и даже команды по atexit гарантий не дают;-(
М.б. есть какие то другие решения?
