Если задача парсить гигабайты данных построчно, и, в зависимости от определенных условий, каждая строка должна быть записана в определенный файл. Суть в том, что выходных файлов может быть порядка 100 000 и более. Как правильные люди решают подобные задачи? Как наиболее оптимально писать в множество файлов, чтобы не было тормозов? Сейчас уже реализован самый тупой способ, каждый файл открывается, производится запись, закрывается. Хотелось бы оптимизировать. Вижу следующие пути: 1. Использовать некий пул файлов. Файлы в этом пуле держать открытыми. 2. Записывать в файлы не построчно, а в ходе работы программы накопить некоторый объем, и раз, скажем, в мегабайт скидывать на диск.
Еще варианты? Или чем плохи предложенные?
