попробуй cutereport

Это тоже самое, только qt.

300к человек

один документ делается 2+ секунд

занимает это около суток

Что-то не сходится. Должно занимать 600'000/86'400 = 7 дней

Раздели нагрузку на 8-16 ядер.

Можно сделать шаблон в LaTeX, сгенерировать pdf, после чего в итоговом документе заменять нужные поля обычной заменой.

Может, добавить ещё ядер и не париться?

Можно сделать шаблон в LaTeX, сгенерировать pdf, после чего в итоговом документе заменять нужные поля обычной заменой.

Разве pdf - текстовой? Да и документ может быть разной длинны, не пойдёт скорее всего. Там qr коды еще надо запихивать.

не ну можно же генерировать по шаблону и отправлять это все на вход xelatex или pdflatex

Ну да. Но насколько это будет быстро? Может есть что-то проще и быстрее?

Попробуй asciidoctor-pdf – он точно быстрее чем (xe|lua)latex потому как тупее. Но вот будет ли укладываться в <50ms хз.

Я на нем делаю «бизнесовые» :) документы, ну и свои платежки тоже. Правда у меня к своим докам нет таких жестких требований.

Стоп, не увидел пожелание про скорость работы самой программы - не выйдет, латех будет компилировать около секунды, а может и больше от объема зависит.

А чего так мало? Арендуй мощности на амазоне, если своих нет

латех будет компилировать около секунды, а может и больше от объема

один документ делается 2+ секунд

А сколько генерируется PDF-документ, в котором сотня платёжек? Вот уверен, что не 200 секунд, а много меньше. Тот же LaTeX очень много времени тратит на компилирование documentclass и прочее и прочее. Классы и стили в платёжках одинаковы, так что... А нарезать PDF потом всегда успеешь.

Есть и более прямой способ, что-то вроде pre-compiled headers для LaTeX. Но это для продвинутых

а вот мысль о том что надо создать мностраничный документ не пришла мне - да тогда быстрее, а потом можно отдать imagemegick

Классы и стили в платёжках одинаковы, так что... А нарезать PDF потом всегда успеешь.

Тогда он в один поток будет это компилировать.

У него 16 ядер, 300'000 платёжек. Дальше продолжать? :)

Да хз. Резать бы не очень хотелось. Надо попробовать latex, вроде когда я что-то тестил он работал намного меньше двух секунд. С md может что-то есть? Хотя я не уверен, что мне хватит md, чтобы всё разметить.

Я имел в виду, что объединив платежки в один документ мы получим выигрыш по процессорному времени (в пересчете на компиляцию одной платежки), но не сможем распараллелить это на все его ядра.

Как же не сможем, когда сможем? Дано: 300к платёжек, 16 ядер.

Разбиваем все платежки на группы по 100 штук и компилим. Можно будет загрузить 3000 ядер параллельно, а уж 16 и подавно.

А, ну да. Туплю с утра.

Сгенерируй по шаблону в markdown или простым текстом, а потом через pandoc сделай PDF. Можешь ещё через convert из imagemagick попробовать. Или ты хочешь готовое решение от начала до конца?

LaTeX для такой задачи - как из пушки по воробьям.

Или ты хочешь готовое решение от начала до конца?

Не обязательно. Pandoc - это markdown или он еще что-то умеет?

Pandoc - это универсальный конвертер форматов и языков описания документов. Умеет много чего: от примитивного ASCII до очень сложных ODF и DOCX. Его частенько используют для того, чтобы из markdown сделать pdf.

А я походу тогда pandoc и пробовал и выдал он что-то в районе 100мс или даже меньше.

pandoc не умеет в pdf сам. Ему нужен бэкэнд – latex, pdfroff, wkhtml2pdf и что-то еще

pandoc в pdf будет точно дольше чем чистых латех в пдф – из коробки. Это если ты не укажешь другой (не латех бэкенд) для пандока.

Потому как у пандока есть дефолтный шаблон default.latex, в котором подключается туева хуча пакетов, которые тебе может и не нужны. В голом латехе можешь написать/подключить так как тебе надо. (Справедливости ради, этот default.latex ты можешь подменить своим)

Насколько часто меняется формат платежек? И какие к их формату есть требования?

Если меняются достаточно редко и есть знания о C/C++, то можно попробовать заюзать какую-нибудь низкоуровневую библиотеку, типа cairo или skia.

У них скорость генерации pdf будет максимальной.

Меняются иногда, настолько хардкодить на чём-либо не охота. Надо что-то среднее.

а дальше что с этим платёжками? по почте рассылаются?
ведь время на доставку платёжки клиенту может быть много дольше чем её генерация, и тогда смысла ускорять генерацию нет.

более того, что делать с этими потенциальными

300k pdf? их почтой (электронной) отправляют, записывают в папочку?

Печатают и посылают почтой России.

Qt

я написал свою систему генерации латех документа по шаблону. могу поделиться.

Меняются иногда, настолько хардкодить на чём-либо не охота. Надо что-то среднее.

Ну тут уж нужно смотреть по собственным силам/производсвенной неоходимости. Ускорить генерацию можно многократно.

Кстати, пришла интересная идея. Если в пандоках и прочем основное время тратится на вычитывание тонны скриптов и конфигов, то, возможно, можно ускорить процесс если в один pdf документ пихать сразу несколько платежек, а затем этот большой документ делить на части какими-то внешними утилитами. Напр., podofoimpose (хотя конкретно ее я не советую. Написана фигово, документация — по исходникам и т.п. Но за отправную точку можно взять и ее)

И еще, никто почему-то не посоветовал wkhtmltopdf. Прикидывая, как выглядят платежки, я думаю можно легко набацать html тупой табличной версткой, как деды завещали. Если будет несложный html без тонны скриптов и js, то должно работать быстро. Хотя, до 50мс все равно не дотянет.

И смысл оптимизировать первую фазу при такой-то второй и третьей?

lualatex + lua скрипты + precompiled преамбула

а дальше что с этим платёжками? по почте рассылаются?

Что-то рассылают, что-то выдают по запросу, остальное складывают в папочку и архивируют. Рассылают мало т.к. они не всем нужны. Народ мало волнует за что они сколько платят.

я написал свою систему генерации латех документа по шаблону. могу поделиться.

Ну, скидывай, если не трудно. На чём она и за сколько отрабатывает?

идея про аренду серверов прикольная тут была, наверное у этого тсж найдутся средства на такие плюхи а то чо как лошары то в самом деле, заодно и сам что то сможешь мутить между делом, само собой в рамках соглосований.