Кто-нибудь пробовал поднять локальное зеркало википедии?

Нужно прям рабочее зеркало или просто статьи почитать в ПК? Второе я слил с рутрекера на 15Гб, распаковалось за 2 часа в w64, в вайне наверно запустится тоже.

#cast svobodka_fighter

Лучше б конечно самому импортировать актуальный дамп, чем доверять рутрекеру. Но если за 2 недели не импортируется, сойдёт

Думаю дело пойдёт быстрее если перед заливной дампа убрать индексы, а потом разом построить их для уже налитых данных. Сейчас индексы обрабываются для каждой строки которую ты инсёртишь.

Возможно. Но не php же их строит? Судя по загрузке процессора, всё упирается именно в скрипт импорта - maintenance/importDump.php

А зачем? Неужто роскомнадзор в одном месте мешает листать странички буржуйской вики?

Пока нет. Но я в них верю :\

А ты не sql дампы наливаешь? Что-то мне помнилось что вики sql дампы отдаёт.
И кстати зачем innodb? myisam побыстрее тут будет, а всякие там ACIDы для локальной копии уж точно не нужны.

Нет, там обычный xml дамп средствами mediawiki

http://dumps.wikimedia.org/ruwiki/20150324/

sql файлы там присутствуют, но ничтожного размера, назначение неясно.

Пока нашёл вариант с mwdumper, обещают что работает быстрее но такая фигня получается:

Ничего подсказать по сабжу не могу, качал ZIM-архив с http://www.kiwix.org/wiki/Content/ru.

Спасибо, интересный вариант

Accessing Wikipedia offline https://lwn.net/Articles/601055/

есть же куча решений как обойти все упоротости роскомнадзора, судя по ★★★★★ не мне тебе рассказывать как.

Но ведь тема не об этом? ;)

Возможно, долгий импорт и высокая загрузка cpu процессом php вызваны тем, что я забыл установить php расширение intl ( для работы с юникодом ) и не включал никакое кэширование.

Сейчас попробую импортировать через mwdumper, потом вернусь к импорту xml через php и проверю

Так там дампы SQL или нет? Если SQL - мускул-то настроен на работы с большими базами? А то дефолтная настройка(small) оптимальна для «серверов» с 128-512мб оперативной памяти, да. И кеши там куцые-куцые...