LINUX.ORG.RU
ФорумTalks

библиотека\каталогизатор работающая с офлайн архивами книг

 , , ,


2

1

В связи с тем что онлайн библиотеки постоянно закрываются, становятся платными или удаляют доступ к контенту(по требованию всяких проходимцев) я держу у себя на диске скачанный с торрентов fb2 архив флибусты.

Для онтопика есть всего одна библиотека\каталогизатор работающая с архивами тысячниками - myrulib. При попытке им воспользоваться от слетел с сегфолтом и работать отказался. Я пытался его вразумить(пробовал разные версии, перекачивал «сбойные» архивы) несколько дней, но ничего не вышло. В итоге кончилось терпение и я решил написать свой велосипед. Это все было предыстория.

История в том, что велосипед я все таки написал и зазвал его SimpleLib. Велосипед написал на Qt. Написал его для себя, поэтому функциональность максимально простая: Парсит 100Гб архивов с fb2, складывает информацию о книгах в SQLite БД, после чего выводится список авторов и при выборе автора список книг. Книгу можно открыть ассоциированным приложением и можно экспортировать в заранее настроенный каталог(я из него планирую на читалку перекидывать).

Что хочу от ЛОРа: Узнать интересен ли мой велосипед кому-нибудь.

Если интересен, то я причешу код и выложу его на гитхаб. Если неинтересен, то оставлю для личного пользования и не буду заморачиваться чисткой говнокода.

★★★★★
Ответ на: комментарий от praseodim

А почему за гранью-то? Флибуста через i2p или tor сейчас, по-моему, единственная библиотека художественной литературы вообще, в которой таким образом доступны все книги. По крайней мере из крупных и широко известных. А ты RIP...

Через tor то почему работает? Там же та же версия будет что и в обычно вебе. А в обычно вебе куча книг ограничена. В i2p работает, т.к. там другая версия сайта насколько я понимаю. Ну или другая версия БД.

Loki13 ★★★★★
() автор топика

Печаль. Замерял производительность:

50тыс. книг, 1\10 часть от 130Гб архива.

SQLite: 51 минута. Тут на всю базу уйдет 8 часов.

MYSQL: 36 минут. Тут на всю базу будет 5 часов.

Думаю над тем как сократить проверку на наличие книги в базе перед INSERT'ом, т.к. эта операция занимает 10 минут из 36 и растет с ростом кол-ва книг в базе.

PS: Курю подключение mongodb к Qt. Много можно выиграть на таких простейших операциях от nosql хранилища на вроде mongodb?

Loki13 ★★★★★
() автор топика
Ответ на: комментарий от Loki13

Через tor то почему работает? Там же та же версия будет что и в обычно вебе.

Потому что flibustahezeous3.onion :)

praseodim ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.