Я делаю проект в области web scraping, скрипт работает в режиме пула, каждый воркер (или хз как правильно называется, поток/процесс) получает свой объект для работы, в котором содержится URL сайта и прочая информация.
Затем это всё дело работает, по ходу работы раздувает объект нужными мне данными, и я после получения результатов (объекта который уже наполнен данными) уже отправляю SQL запрос для каждого объекта в локальную базу sqlite, туда пишутся некоторые данные объекта которые мне интересны.
Мне вот что не нравится. Если я хочу какое-то новое свойство добавить в объекте, то мне приходится менять структуру таблицы и менять руками SQL запрос, тестить всё это дело потом. Очень накладно выглядит.
Может оно как-то всё можно более красиво делать? И при этом не иметь overhead'а. Я слышал модные слова вроде ORM, и ещё что-то такое, и хочу понять насколько это применимо для меня и что тут вообще можно придумать.
Раньше я не парился и тупо писал всё в файлы, было очень удобно но потом стало файлов нехватать, теперь пытаюсь красиво перелезть в базу (локальную sqlite).
