LINUX.ORG.RU
решено Форум — Development  

Вопрос о flask, воркерах и асинхронности

 , , , ,


0

2

Доброго времени суток. Есть приложение на flask у которого есть задачи (6 парсингов). Каждый пользователь может самостоятельно загрузить нужные ему данные которые обрабатываются при помощи rq (база redis). Всё отлично работает, но меня беспокоит, что когда будет одновременно 30 запросов (учитывая что на один парсинг уходит от 10 секунд до 60) пользователи могут не дождаться ответов и просто уйти. Подскажите как поступать в таком случае, возможно очереди не удачный выбор или нужно добавить больше воркеров?

★
← Сделал пакет для смены обоины на случайную с wallhaven.cc
Контроллер Huidu d30 для бегущей строки - как автоматизировать? →

Больше воркеров, больше железа, всё асинхронное, стандартно.

menangen ★★★★★
()

Парсинги ты в асинхронность не засунешь т к они потребляют много cpu. Так что увеличивай кол-во воркеров

Jopich1 ☆
()
Ответ на: комментарий от Jopich1

Засунешь, конечно. Сверху у тебя будет асинхрон, а снизу пул воркеров.

WitcherGeralt ★★
()

А что именно ты парсишь? Это точно нельзя оптимизировать? Если у тебя нет большого запаса по железу то воркеров хоть задобавляйся.

WitcherGeralt ★★
()
Ответ на: комментарий от WitcherGeralt

это сервисы связанные с логистикой(получаю после заполнения формы ответ в табличном виде (много промежуточных пунктов)) и после обрабатываю их. Оптимизировать особо не получится, селеноидом…

q13 ★
() автор топика
Ответ на: комментарий от Jopich1

засунул, нормально всё работает)

q13 ★
() автор топика
Ответ на: комментарий от q13

Промежуточные пункты — это разные сервисы? Если всё в рамках одного сервиса то оптимизировать скорее всего можно. Подумай над этим, уж очень полохо звучит твоё положение, только бесконечно воркеры плодить и сервера добавлять.

WitcherGeralt ★★
()
Последнее исправление: WitcherGeralt (всего исправлений: 1)

Асинхронность на клиенте + асинхронность на бэкенде.

Пусть клиент пытается забрать с определённым интервалом.

Плюс, наращивай узлы под задачу. М.б., динамически.

BruteForceSSL
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
← Сделал пакет для смены обоины на случайную с wallhaven.cc
Development
Контроллер Huidu d30 для бегущей строки - как автоматизировать? →