Реквестирую список интересных и полезных сайтов для индексации с помощью YaCy

Поисковик? Можно подробнее описание проекта и что планируется в будущем?

Проиндексировать antizapret.info уже предлагали?

https://ru.wikipedia.org/wiki/YaCy

http://yacy.net

Я думал ты сам наваял..., тогда не интересно.

http://www.urbandictionary.com и/или другие подобные, чтобы можно было забить в строку поиска «some_slang_word meaning» и найти подробную информацию по нему.

booktracker.org

Вот весь список сайтов http://www.i2p2.i2p/hosts.txt

С индексацией глубокого интернета с помощью YaCy сейчас проблемно, потому что он не умеет прокси. Но в теории, его можно запустить в LXC-контейнере, и сделать прозрачное проксирование (потому что я не хочу прозрачное проксирование в на целом десктопе).

список сайтов, которые вы хотели бы видеть проиндексированными в YaCy.

Законодательства стран мира (для каждой страны)
Учебники по всем предметам школьной и вузовской программы на русском, английском и китайском языках
Форумы по робототехнике, нанотехнологиям, биотехнологиям.
Сайты по ИИ

Википедию зря начал, ты её год будешь индексировать в одиночку.

Проиндексируй лор. Я пока только вики DF поставил, и то уже несколько часов идёт.

Ссылки, сслылки, пожалуйста. Если ещё офф.сайты стран можно нагуглить и глянуть в вики, то я не могу судить, какие есть нормальные форумы по вышеуказанным технологиям.

Википедию зря начал, ты её год будешь индексировать в одиночку.

Зато ресурсы не будут простаивать. Хотя, наверное, стоит отменить индексацию, и начать заново, но с remote indexing, чтобы можно было запрашивать помощь у других пиров.

Зато ресурсы не будут простаивать.

Чем это хорошо? Ты же за электричество платишь. Ладно я индексирую свой сайт, это лично мне нужно. Но индексить педивикию, которая заведомо никогда не проиндексируется (ибо за время построения полного индекса много статей уже поменяются)...

У меня комп работает 24/7, все свободные ресурсы утилизируются с помощью BOINC. Здесь же шанс ещё и задействовать винчестеры и оперативную память.

Учебники.

Физика.
Химия.
Радиотехника.
Биология.
Медицина.

Реквестирую список интересных и полезных сайтов для индексации с помощью YaCy (комментарий)

Более того, лично я не в курсе, что котируется из русскоязычных учебников, так как я не учился по ним. Поэтому прошу ссылок.

Ещё предлагаю опеннет индексить, я уже начал.

Алсо, как раздавать запросы на crawl? Я нашёл где включается remote crawl извне ко мне, но не от меня вовне.

опеннет

Осторожно. Я уже вырубил, а то меня временно там забанили за частые соединения. Надо возобновить, но уменьшив частоту, наверное, до нескольких запросов в минуту.

Алсо, как раздавать запросы на crawl?

Заходишь в http://localhost:8090/CrawlStartSite_p.html (Crawler / Harvester), там есть вкладка http://localhost:8090/CrawlStartExpert_p.html (Crawl Start (Expert)). Ищешь «Do Remote Indexing» и включаешь галочку, по желанию можешь оставить там описание. Попробуй, а я посмотрю, появится ли у меня задания)

Только я пока не разобрался, как ограничивать PPM (page per minute) для отдельной задачи (job) или для отдельного домена.

http://en.cppreference.com/w/ - Рано или поздно все C++ разработчики оказываются тут.

http://qmlbook.org/ - Открытая книга по QML, не так важно, но ресурс полезный и должен быть на первых строках по запросу QML.

http://qt-project.org/doc/qt-5/reference-overview.html - Доки по Qt5