LINUX.ORG.RU
Форум — Admin  

s3fs cache

 , , ,


0

2

Кто-нибудь использует s3fs?
Никак не могу разобраться, как там работает кэширование и как его победить.
Если с помощью use_cache=/path указать путь к директории, то есть проблемы с доступом к файлам залитым с других машин через s3cmd или с elastic encoder. Чистка соответствующих файлов в кэше мистически рандомно может не срабатывать.
В документации говорят, что дефолтно кэш отключен, либо указать use_cache="". В таком виде работает лучше, но, при копировании файлов на с3, локально начинает пожираться дисковое пространство на размер этих файлов.
Что делать с такой фичебагой?

★★★★★

Последнее исправление: maxcom (всего исправлений: 1)
← miredo нет доступа ко второму устройству.
Найти директории в одном интернет домене →
Ответ на: комментарий от Bers666

Альтернативы есть? В том плане, что требуется использовать именно с3 в помонтированном виде.

С «отключенным» кэшем оно пишет в /tmp и сразу удаляет файл(зачем, чтоб типа никто не заметил?). Вроде и не только при записи.

# ls -l /proc/`ps -C s3fs -o pid=`/fd
total 0
lrwx------ 1 root root 64 Dec 21 00:44 0 -> /dev/null
lrwx------ 1 root root 64 Dec 21 00:44 1 -> /dev/null
l-wx------ 1 root root 64 Dec 21 00:44 11 -> pipe:[35703597]
lrwx------ 1 root root 64 Dec 21 00:44 2 -> /dev/null
lrwx------ 1 root root 64 Dec 21 00:44 3 -> /dev/fuse
lrwx------ 1 root root 64 Dec 21 00:44 4 -> socket:[35847639]
lrwx------ 1 root root 64 Dec 21 00:44 5 -> /tmp/tmpfFhwGNX (deleted)
lrwx------ 1 root root 64 Dec 21 00:44 6 -> /tmp/tmpfHYqjYb (deleted)
madcore ★★★★★
() автор топика
Ответ на: комментарий от madcore

требуется использовать именно с3 в помонтированном виде

плюсую вопрос, тож интересно.

Komintern ★★★★★
()
Ответ на: комментарий от madcore

s3 ваще по дизайну не должно быть подмонтированным. Все подобные «решения» - глючные поделия. Предлагаю сделать локальную папку и раз в X минут ее синкать на s3. Вот как раз недавно в s3cmd добавили multichunk, что решило заливку больших файлов.

Bers666 ★★★★★
()
Ответ на: комментарий от madcore

понятно. ну нормальный способ - это каждая конкретная аппликация работает с s3 напрямую, а не через локальную FS/fuse.

Bers666 ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
← miredo нет доступа ко второму устройству.
Admin
Найти директории в одном интернет домене →