История изменений

Дело в том, у меня просто не apiшка, а граббер, который дергает апихи другого сайта (очень дофига запросов) и пишет это все в мою базу. При этом нужно ежедневно, дергая эти же API, актуализировать данные. Также нужно скачивать картинки, делать к ним миниатюры и лить все это в S3. Дохрена сетевых запросов, в общем. Пробовал изначально синхронно это делать, но работало крайне медленно. Написал говноскрипты на aiohttp - и все стало реально быстро работать. Но качество моего кода такое себе получилось, потому что я вообще не особо питонщик, только на Django писал. Вот думаю, как сделать по-нормальному. Была мысль даже Scrapy прикрутить, но не хотелось бы проект на его основе пилить - мне кажется, недостаточно гибко будет.

P.s. изначально написал про API на aiohttp просто чтобы не вдаваться особо в подробности

Дело в том, у меня просто не apiшка, а граббер, который дергает апихи другого сайта (очень дофига запросов) и пишет это все в мою базу. При этом нужно ежедневно, дергая эти же API, актуализировать данные. Также нужно скачивать картинки, делать к ним миниатюры и лить все это в S3. Дохрена сетевых запросов, в общем. Пробовал изначально синхронно это делать, но работало крайне медленно. Написал говноскрипты на aiohttp - и все стало реально быстро работать. Но качество моего кода такое себе получилось, потому что я вообще не особо питонщик, только на Django писал. Вот думаю, как сделать по-нормальному. Была мысль даже Scrapy прикрутить, но не хотелось бы проект на его основе пилить - мне кажется, недостаточно гибко будет.

Дело в том, у меня просто не apiшка, а граббер, который дергает апихи другого сайта (очень дофига запросов) и пишет это все в мою базу. При этом нужно ежедневно, дергая эти же API, актуализировать данные. Также нужно скачивать картинки, делать к ним миниатюры и лить все это в S3. Пробовал изначально синхронно это делать, но работало крайне медленно. Написал говноскрипты на aiohttp - и все стало реально быстро работать. Но качество моего кода такое себе получилось, потому что я вообще не особо питонщик, только на Django писал. Вот думаю, как сделать по-нормальному. Была мысль даже Scrapy прикрутить, но не хотелось бы проект на его основе пилить - мне кажется, недостаточно гибко будет.