LINUX.ORG.RU
Форум — Admin  

Совет от знающих C, Perl, PHP!!!


0

0

Ситуация такая: Пишем приложение, которое должно обрабатывать очень большую базу данных о трафике, примерно 132 000 записей. Естесн, при обработке записей в БД производятся математическая обработка данных, кое-какие операции и данные в меньшем виде ложаться в другую базу (примерно 45 записей). Делали такое на ПХП: Апач грузит 95% CPU, 90% ОЗУ и 50% свопа, и после выполнения (гдет через пару часов) дохнет. Делали такое на Perl'е: 82% CPU, 2% ОЗУ все нормально, но работает часа 4 с половиной. На Си еще не пробовали, собственно в этом вопрос и заключается. Резонно ли? Кто лучше в этом плане? При написании приложения используется MySQL!

И еще... есть вопрос на счет PHP как модуль CGI. Может стоит попробовать так?

anonymous
← vsftpd вопрос
IpTables и string Проблема с модулями.... →

Интересно насчет базы в 132 000 записей, которая грузит проц на 82 процента в течении 4 часов ... :)))
Выборку то вы делаете selectами и updatами всякими не так ли ?
C с заморачиваться не стоит, какая разница на чем вы посылаете запросы к Бд .. Так что оставьте вариант на Перле и пусть у вас эти 4 часа ночью все это и делается ... Можно еще попробовать загнать эти данные в файл и пропарсить все это дело всякими grep, awk и прочими штуками - по идее может быстрее получиться ...

anonymous
()

структуру базы и sql запросы в студию

x86 ★★
()

может индексы добавить или взять Mysql собранный интелловским компилятором, получите прирост производительности.

bossa-nava
()

и зачем тут апач?? сам же говришь что это только матобработка данных.

bossa-nava
()

и перл не может так сливать php у вас где-то ошибка.

bossa-nava
()

132 000 - ерунда для SQL
Скорей всего жуткие проблены с принятыми архитектурными решениями и реализациями. Типа 3-х уровневый цикл внутри которго SQL-запрос.
На заре моей программиской юности я написал задачу подсчета подоходного налога (FoxPro) у 1500 работников. После 4 часов (!) ожидания завершения расчета я перегрузил компьютер. Устал ждать. Через неделю я уже смог расчитать ВСЮ зарвплату за 1 час. Со временем тоже самое на том же железе делалось за пол часа.
Учитись, читайте.

anonymous
()

Структуру базы и задачу в студию.
Я уверен что удастся уменьшить время обработки на пару порядков.
Кстати, а на каком железе оно у вас крутится? :)

larikin
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
← vsftpd вопрос
Admin
IpTables и string Проблема с модулями.... →