Здравствуйте, возникла необходимость работы с загруженной базой от стороннего ресурса, база была скачана полностью, чтобы не тянуть данные через API.

Задача в принципе одна, нужно с ней работать офлайн, в принципе даже через Access или Excel можно...

Я предполагаю как, эту базу переконвертировать в CSV и запихнуть в MySQL и дальше уже работать там, но большой размер базы вызывает большие трудности в работе с ней.

Есть ли какие-то альтернативы?

Доброго времени суток. Есть сервер с натянутым дебианом и nginx. Всё это дело используется как кеш сервер для Steam, Origin И подобных. Называется lancache (первая ссылка из гугла на гитхабе).

Спустя 2 вечера получилось наладить на сети подобное и завернуть днс запросы на него, прошло 2 недели и жёсткий диск начал очень долго отрабатывать. За 2 недели накопилось ~2ТБ закешированного контента и 6.5 млн файлов (df -i). Жёсткий диск на 4 тб (свежий) поставлен специально, для тестирования этого всего. На боевую же планировалось использовать рейды и ссд.

При таком количестве файлов iowait 99.99% почти всегда, по понятным причинам.

Вопрос, возможно ли реализовать на nginx «компоновку» файлов в один или несколько больших из множества маленьких или изначально запись в один большой файл?

Вопрос 2, можно ли в конфигах nginx указывать несколько путей для кеширования (2 диска например) для одного виртуального хоста? proxy_cache_path /srv/lancache/data/steam levels=2:2 keys_zone=steam:500m inactive=120d max_size=5000000m loader_files=1000 loader_sleep=50ms loader_threshold=300ms;