Здравствуйте, уважаемы форумчане.
Существует задача: Есть несколько сотен web-серверов одинаковой тематики. Каждый из этих серверов должен вести идентичные журналы по работе различных сервисов, соединений, работе ботов, посещаемости, итд. (Мехинизм журнализации будет написан своими силами). Существует также отдельный сервер, который будет инициировать соединения и собирать все эти логи с web-серверов одновременно в несколько потоков и закачивать на этот сервер, обрабатывать также одновременно и складывать в базу данных. (А на web-серверах забранные логи стирать) Нужно учитывать, что все логи со всех сайтов собрать будет малореально, так как проседания каналов, падение сервисов итд. Тоесть надо в следующую сессию добирать старые и собирать новые логи и без конфликтов обрабатывать и также складывать в базу. Узкие моменты это: 1) Собирать логи в несколько потоков одновременно 2) Обработка всех логов в несколько потоков??? и выбор времени обработки 3) Отсеивание ненужной информации в логах (например всякие google-bots...)
Вопрос: Какой инструментарий лучше использовать для разработки данной системы с учетом того что ее необходимо писать с нуля? Имеется ввиду языки программирования, подходящие под эту задачу лучше всего, и оптимальная схема построения системы?
С уважением,
