А как в питоне пайпать?

LMGTFY https://stackoverflow.com/questions/4846891/python-piping-output-between-two-subprocesses

Хотя это между процессами. А в BytesIO разве нельзя как-то размер буфера сконфигурировать?

Я вот и не вижу.

Не пробовал для pipe-ов использовать pipes? https://docs.python.org/3/library/pipes.html

Because the module uses /bin/sh command lines, a POSIX or compatible shell for os.system() and os.popen() is required.

А это точно оно? Я может объяснил криво.. Короче, я пытаюсь ужать 500 гигов и не могу хранить огромный тар на диске. Как мне начать сжимать его другой функцией по мере его создания, как я делал бы в баше, вызывая команды подобно tar -cf - ./shit | gz -c > out.tar.gz?

Аа у тебя питоновский tarfile. Я не уверен, что он вообще поддерживает вывод стримом. А почему собсна ты не можешь использовать файл? Если просто не хочешь срать в системе, есть tempfile.

Потому что там данных пол терабайта, это дорого.

а почему нельзя взять и тупо os.system() башевский вариант?

Ясно. Просто сделай вызовы tar и gz через pipes, ну или сделай в своем скрипте os.system("tar -cf - ./shit | gz -c > out.tar.gz"). Ну или через subprocess. Учитывая что tarfile и pgzip на питоне написаны, 500 гигов он тебе может оч долго паковать.

Можно, но хочется без костылей. Так я действительно могу просто subprocess дёргать, да.

если скрипт не планируется размножать на винду, то никакой это не костыль, а нормальный системный метод

tarfile.open('out.tgz', 'w|gz') почему не подходит?

Пришёл знающий человек и всё опошлил свел к проблеме XY. Нет бы злобно понаблюдать за попытками удаления гландов через жопу.

Там в один поток, долго.

tarfile.open('w|', fileobj=AFileLikeObjectWhichUsesPGzip) не получится?

А я вот не понимаю как конкретно такое реализовать. Какой объект туда мне пихнуть?

https://github.com/python/cpython/blob/0dfbb769df9e492a08b55ba59bf256b900b43296/Lib/tarfile.py#L328-L332:

class _Stream:
   """Class that serves as an adapter between TarFile and
      a stream-like object.  The stream-like object only
      needs to have a read() or write() method and is accessed
      blockwise.  Use of gzip or bzip2 compression is possible.

Написано, что только метода write хватит, если ты используешь запись в поток (mode='w|', в предыдущем сообщении забыл mode=).

#!/usr/bin/env python3
import tarfile

class FileLike:
	def write(self, bytes):
		print(type(bytes), len(bytes))

with tarfile.open(mode='w|', fileobj=FileLike()) as tf:
	tf.add('tarfile.pgzip.py') # имя этого скрипта

Выводит

<class 'bytes'> 10240

(Ну и если добавить print(bytes), в выводе можно найти содержимое скрипта).

Буфер, есс-но, можно увеличить, т.к. параллелить сжатие 10КБ бессмысленно.

Короче, даже классов-обёрток никаких не надо

#!/usr/bin/env python3
import pgzip
import tarfile

with pgzip.open('out.tgz', 'wb') as fw, tarfile.open(mode='w|', fileobj=fw) as tf:
	tf.add(__file__)

Ого, ого. Обязательно утром попробую в деле. Всю голову себе сломал как правильно. Если буду в ДС2, то с меня пиво!

Всё работает, спасибо большое!

А можно вопрос? Почему собсна тебя такое решение устраивает, а внешний вызов tar + gz или tar cvfz нет? Ну прост сишный архиватор будет работать значительно быстрее чем pure python имплементания zip алгоритма. Учитывая, что данных у тебя пол терабайта, это должно быть весомо. Можно было бы хотя бы zlib взять, он сишный. Если тебя deflate алгоритм интересует.

pure python имплементания zip алгоритма

Можно было бы хотя бы zlib взять, он сишный

…

$ grep zlib ~/.local/lib/python3.10/site-packages/pgzip/pgzip.py
import zlib
            self.compress = zlib.compressobj(
                compresslevel, zlib.DEFLATED, -zlib.MAX_WBITS, zlib.DEF_MEM_LEVEL, 0
        Compress data with zlib deflate algorithm.
        cpr = zlib.compressobj(
            zlib.DEFLATED,
            -zlib.MAX_WBITS,
            9,  # use memory level 9 > zlib.DEF_MEM_LEVEL (8) for better performance
            crc = zlib.crc32(data, zlib.crc32(pdata))
            crc = zlib.crc32(data)
        dpr = zlib.decompressobj(wbits=-zlib.MAX_WBITS)
        crc = zlib.crc32(body_bytes)
            crc = zlib.crc32(dpr.unconsumed_tail, crc)

Тут разве не один поток тоже?

Во-первых, нет, а в-нулевых я показал минимально рабочий код, менять размеры буферов и проч. тюнинг предполагается делать самому.