LINUX.ORG.RU

idoit - очередь задач под ноду

 , ,


0

1

https://github.com/nodeca/idoit

Новый проект с говорящим названием от NIH-отдела нашей велосипедной фабрики. Очередь задач под ноду, на редиске. Готовых подобного уровня не нашлось, а поднимать ради простых вещей монстров типа RabbitMQ не хотелось.

По фичам напоминает Celery (группы, цепочки задач). Плюс есть итерирующий мапер, чтобы эффективно нарезать гиганские дырявые диапазоны на чанки с одинаковым числом элементов. Все апдейты состояний завернуты в транзакции, так что любой процесс может падать в произвольный момент - целостность не пострадает.

Разруливание тяжелых задач отдано на откуп системному шедюлеру. Просто делается пара пулов с воркерами, в один роутится всё «не блокирующее», во второй - с интенсивными вычислениями.

Отдельное спасибо dave и всем остальным, кто помог быстро сориентироваться в теме.

★★★★★

с говорящим названием

да, все читают по диагонали как ИДИОТ

отдела нашей велосипедной фабрики

если вы этого и добивались - пздравляю

anTaRes ★★★★
()
Ответ на: комментарий от Dron

Правильно прочел. Там зашифровано, по фрейду

anonymous
()

Вам определённо нужен томик Достоевского логотипом.

ChALkeR ★★★★★
()

с говорящим названием
idoit
от нашей велосипедной фабрики

Интересно, nodejs-ники схавают?

comp00 ★★★★
()

https://www.npmjs.com/package/idoit
похоже Виталий за прошедший год/месяц/неделю загрузил свое приложение 21 раз

Виталий

эт в процессе по хождению по ссылкам выдало, я хз, но судя по нику - все совпало

anTaRes ★★★★
()

итерирующий мапер

гиганские дырявые диапазоны

чанки с одинаковым числом элементов

апдейты состояний завернутые в транзакции

Разруливание тяжелых задач

пара пулов с воркерами

роутится всё «не блокирующее»

с интенсивными вычислениями.

по фичам почти болгенос. Только нескучных обоев не хватает, не дотягивает до уровня.

anonymous
()
Ответ на: комментарий от beastie

Это я уже читал, правда давно (кажется, в том же 2012). Надо освежить, поэтому всё равно — спасибо за ссылку.

Кстати, в инглише больше «тонких» начертаний букв, поэтому английский текст чаще воспринимается описанным там образом.

DeVliegendeHollander ★★
()
Ответ на: комментарий от FeyFre

Мне столько плюсиков нигде не ставили. maxcom быздра запили чисто для меня кнопку g+ пущай лайкают на здоровье :D

Dron ★★★★★
()
Ответ на: комментарий от DeVliegendeHollander

Дело не в тонких буквах, а в восприятии слова целиком, это тоже самое что читать слово с перепутанными буквами, то есть это не вызывает проблем, просто суть в том что слова idoit нет, а idiot во множестве вариаций в том числе и в транслите есть.

Dron ★★★★★
()

1 комментарий по делу и тот от анонимуса. Vit «lor уже не торт» ©® :( Название бывает играет злую шутку

Dron ★★★★★
()
Ответ на: комментарий от DeVliegendeHollander

Ну то что ты сказал тоже имеет место быть, необоснованно отрицать ничего не стану ::)

(Но написал я неверно не «не в» а «не только в или скорее всего не в» нужно было написать)

Можно и на тонких буквах поиграть конечно, тут уже дело случая и выдумки ))

Dron ★★★★★
()
Последнее исправление: Dron (всего исправлений: 3)

Наша очередь настолько проста в использовании, что её смижет настроить даже идоит?

INFOMAN ★★★★★
()
Ответ на: комментарий от Vit

А эту штуку можно использовать для отложенных запросов? Типа мне к боту приходит ниебически большое количество запросов, но обработать в потоке он их не в состоянии (сеть тянет, а реализация бота нет) то есть как буфер. Запросы идут к нему в виде json

Dron ★★★★★
()
Последнее исправление: Dron (всего исправлений: 1)
Ответ на: комментарий от Dron

Можно конечно. Даже можно немного откладывать обработку задач чтобы дедуплицировать одинаковые (или устаревшие).

Vit ★★★★★
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.