Суперкомпьютер: целесообразность использования

Какой объем данных, что ты понимаешь под обработкой?

Целесообразно ли использовать суперкомпьютер для обработки данных, собранных при переписи населения, или же использование такой техники будет избыточным?

150 миллионов анкет? Да хватит любой промышленной рсубд и компухтера бухлагтерши. Нормализовать только замучаешься всю эту писанину.

для обработки данных, собранных при переписи населения

а целесообразно с этим вообще связваться?

Лучше их просто продать в Чехию и на полученные деньги изменить Родине.

собранных при переписи населения

А как сейчас эти данные собираются? Переписывал народ 2010, тогда у нас были анкеты в пол дюжины листов А4, которые я после заполнения приносил тетечкам в центр подсчета этого дела и они их там руками как-то сводили.

Вообще думаю избыточно. Не слышал чтоб в местных госуслугах были суперкомпьютеры, а объем данных там на порядки больше.

Целесообразно ли использовать суперкомпьютер для обработки данных, собранных при переписи населения

А разве не вручную их до сих пор считают?! Суперкомпьютер вообще для других целей и задач.

Избыточно. Если все это добро сдить в какой-нибудь кликхаус, то 150 млн записей он будет крутить без всяких проблем даже на дохлой машине

айфон справится

Я тоже считаю что 150млн для постгреса например вообще не ни о чем. Но тут сильно может влиять именно сама обработка (что/как/сколько)

Смотря - как ты хочешь это обрабатывать. Если например нужно все анкеты распознать, то может какой кластерок и потребуется. Но точно не из тех, что в топ500.

https://ru.wikipedia.org/wiki/Перепись_населения_Российской_империи_(1897)

Обработка проводилась с помощью электрической машины Голлерита, хорошо зарекомендовавшей себя при переписи в Америке и Австрии. В комплект входил один табулятор, который суммировал одноименные признаки, 30 перфораторов - для подготовки перфокарт и 2 сортировки - для группировки перфокарт по одному или нескольким признакам. В разметочном отделе на переписных листах против ответов проставлялись шифры признака, то есть переводили текстовую информацию на язык, понятный машине. В проверочном проверялась правильность шифров. а работники пробойного отдела переносили шифры с переписных листов на перфокарты. Каждая перфокарта соответствовала только одному лицу и поэтому её назвали личной карточкой. В машинном отделении стояли табуляторы и сортировки, которые считали итоги и группировали перфокарты по нескольким признакам. Перфокарта имела 12 полей. Каждая пробивка на перфокарте соответствовал собственный счётчик.

«Разработка данных переписи....производится....посредством счётно-табуляторных электрических машин, изобретённых Германом Голлеритом. Путём ряда пропусков чрез эти машины карточек зарегистрированного при переписи населения, Центральная Статистическая комиссия получает все требуемые подсчёты, как простые, так и сложные, за исключением таблицы I, которая составляется из местных подсчётов и поправляется сообразно с более точными результатами, получаемыми из машинных подсчётов.»

Если например нужно все анкеты распознать

Если там заранее забиты коды и ответы бинарного вида (вы за или против) то ничего сложного и мощностей не требует. Если там рукописный текст, потребуется N-цать человек которые будут выверять после распознания хоть из top500 ставь, роли не сыграет. Но это про то как должно быть. По факту поставят top501, а анкеты прогонят через дешманский сканер с автоподатчиком, как оно распозналось, кого волнует?
И самое смешное, что в результате всей переписи будет ещё неизвестно какая по счету отдельная база, которая никак не связана с другими. Выхлоп от этой базы будет типа select count(*) from tablename. Для того что бы осилить 150млн записей в конечной базе, мощностей больших не нужно. А вот по совокупности отдельных мест где будет первичная обработка и потом перелив выше и выше, можно сказать что прямо суперкомпьютер на всю страну получился :)

Неее браза. Суперкомпьютеры не для этого. Я тебе приведу пример на своем опыте, сталкивался с этим в бытность работы в обсерватории.

1. Напиши маленькую программу на любом языке, где в цикле от нуля до бесконечности, точка с координатами x,y движется по эллиптоидной орбите. Проще всего на паскакале. В твоем алгоритме будут синусы, и хотя у тебя суперновый i7, при условии небольшого шага, эллипс на экране у тебя вырисуется не моментально;

2. Таких программ единомоментно должно выполняться 575 тысяч, именно столько астероидов вращается вокруг солнца;

3. В код своей программы на 575 тысяч циклов вычисляющих эллиптоидную орбиту, добавь условие что если каждая из твоих точек с координатами x,y проходит условно рядом с остальными 574999 точками, то ее движение уже описывается не формулой с одним синусом, а трехэтажной формулой;

4. В итоге у тебя должно получиться что-то около 575 000 * 575 000 подпрограмм, каждая оперирующая числами с плавающей запятой;

5. Эта общая программа должна расчитать ВСЕ 575 000 орбит, не за месяц, а хотя бы за несколько дней;

6. Речь идет о сотнях и тысячах миллионов километров;

7. При совпадении орбиты движения с одним заведомо известным голубым объектом, должен сработать определенный if, занесящий объект в массив;

8. А теперь представь что говоря тебе «один синус», я тебя жестоко нае, в реальности там трехэтажная формула с туевой хучей переменных и констант для одного объекта, изменяющихся в зависимости от положения других 574999 объектов.

Вот чтобы ты не поседел, пока вычисляешь когда и какой астероид теоретически может еабнуть по планете - и нужен суперкомпьютер. А твоя перепись населения - это задача даже не для RPI, это можно делать карандашом на бумаге. Но ты ведь не умеешь в деление в столбик, юный падаван ?)

Сейчас у переписчиков будут планшеты на Avrora и все данные будут заносить в них

пока вычисляешь когда и какой астероид теоретически может еабнуть по планете - и нужен суперкомпьютер.

По какой? Юпитер, Марс?

По Кибертрону.

Голубая планета, вестимо, Уран.

Ага, вот и чипизация-вакцинация подъехала. Каждого седьмого - в рай

У каждого каца по 2800 рабов будет (ЛПиП)