История изменений

Индексы помогут, но «другие», существуют методы снижения размерности (locality-sensitive hashing, к примеру), это теоретически позволит ограничить выборку, если потребуется, но пока такой надобности нет.

LSH поможет если в данных в принципе есть кластеры. Соответственно, нужно либо сразу знать об этом (исходя из природы данных), либо сделать кластеризацию, т.е. решить задачу кластеризации для ваших ~6К выборок для ~4К размерностей.

Нисколько не хочу вас обидеть, но (судя по показанному первоначальному подходу к решению) LSH может оказаться сильно не по зубам. Т.е. задача правильно применить LSH примерно на пару порядков сложнее, а выбора «постгря или ES2» для вычисления RMS при этом не возникает.

Индексы помогут, но «другие», существуют методы снижения размерности (locality-sensitive hashing, к примеру), это теоретически позволит ограничить выборку, если потребуется, но пока такой надобности нет.

LSH поможет если в данных в принципе есть кластеры. Соответственно, нужно либо сразу знать об этом (исходя из природы данных), либо сделать кластеризацию, т.е. решить задачу кластеризации для ваших ~6К выборок для ~4К размерностей.

Нисколько не хочу вас обидеть, но (судя по показанному первоначальному подходу к решению) LSH может оказаться сильно не по зубам. Т.е. задача правильно применить LSH примерно на пару порядков сложнее, а выбора «постгря или ES2» для вычисления RMS не возникает.