История изменений
Исправление Nervous, (текущая версия) :
Большую долю прироста дает отказ от String как такого.
Похоже на то. Когда я попытался полностью прочитать 14-гигабайтный файл в память (в последовательность строк), 64 Гб памяти жабе не хватило.
Среднее можно не считать на каждой итерации.
Но тогда ведь придётся хранить всю последовательность измеренных значений для каждой станции в памяти, чтобы посчитать среднее в конце? Ах вот зачем им 128 Гб памяти понадобилось %)
Мне профайлер сказал, что вычисление скользящего среднего от силы пару процентов времени занимает — похоже, там много не наэкономишь.
Исправление Nervous, :
Большую долю прироста дает отказ от String как такого.
Похоже на то. Когда я попытался полностью прочитать 14-гигабайтный файл в память (в последовательность строк), 64 Гб памяти жабе не хватило.
Среднее можно не считать на каждой итерации.
Но тогда ведь придётся хранить всю последовательность измеренных значений для каждой станции в памяти, чтобы посчитать среднее в конце? Ах вот зачем им 128 Гб памяти понадобилось %)
Мне профайлер сказал, что вычисление скользящего среднего от силы пару процентов времени занимает, там много не наэкономишь.
Исправление Nervous, :
Большую долю прироста дает отказ от String как такого.
Похоже на то. Когда я попытался полностью прочитать 14-гигабайтный файл в память (в последовательность строк), 64 Гб памяти жабе не хватило.
Среднее можно не считать на каждой итерации.
Но тогда ведь придётся хранить всю последовательность измеренных значений для каждой станции в памяти, чтобы посчитать среднее в конце? Ах вот зачем им 128 Гб памяти понадобилось %)
Мне профайлер сказал, что вычисление среднего от силы пару процентов времени занимает, там много не наэкономишь.
Исправление Nervous, :
Большую долю прироста дает отказ от String как такого.
Похоже на то. Когда я попытался полностью прочитать 14-гигабайтный файл в память (в последовательность строк), 64 Гб памяти жабе не хватило.
Среднее можно не считать на каждой итерации.
Но тогда ведь придётся хранить всю последовательность измеренных значений для каждой станции в памяти, чтобы посчитать среднее в конце? Ах вот зачем им 128 Гб памяти понадобилось %)
Исходная версия Nervous, :
Большую долю прироста дает отказ от String как такого.
Похоже на то. Когда я попытался полностью прочитать 14-гигабайтный файл в память (в последовательность строк), 64 Гб памяти жабе не хватило.
Среднее можно не считать на каждой итерации.
Но тогда ведь придётся хранить всю последовательность измеренных значений для каждой станции в памяти? Ах вот зачем им 128 Гб памяти понадобилось %)