CPU, L2 Cache. Кто может просвятить?

Яндекс говорит, что L2 общий для всех ядер процессора.

Общий значит общий, все ядра могут писать в любую линию. Теоретически™ может статься так, что каждое ядро «владеет» своим куском и при его выключении этот кусок становится недоступным. Самый простой способ проверить, так ли это — сделать тесты на скорости записи. По провалам и изломам графиков можно определить эффективный размер кэша.

Вот тут подробнее можно почитать: http://www.ixbt.com/cpu/rmmt-l2-cache.shtml

Пойду почитаю. http://habrahabr.ru/qa/43932/ тут я подробнее все расписал (+ как выяснилось на 12\16 ядрах скорость именно одинаковая).

Вроде ж всё равно от раздутого кэша профит мизерный и/или редкий.

Из нулевого рейда сделай рейд первого уровня и протестируй снова. Кстати, был бы смысл попробовать и опенсорсные решения - то, что они тормозили на твоём дорхлом компе, не означает, что статус-кво не изменится в их пользу на нормальной машине.

Или только 1.5, и часть л2 кэша будет пустовать

Ох линукс линукс...

Кто может просвятить?

РПЦ

L2 общий для всех ядер процессора.

Смотря какой процессор. У последних AMD он разделен по модулям (по 2 метра на модуль).

Что вообще происходит, когда мы отключаем у последних интелов ядра через биос?

Отключаются ядра. Кэш остается, он там динамически распределяется между ними.

Для чистоты опыта пойду хугин еще раз попробую.

Т.е. предположение о том, что у E5-2660 отключение ядер распределяет _весь_ л2-кэш между оставшимися активными ядрами, верно?

отключение ядер распределяет _весь_ л2-кэш между оставшимися активными ядрами, верно?

Не совсем. Распределение _динамическое_ во время работы (емнип, маркетоиды это Intel SmartCache обозвали).

В чем суть смены уровя рейда? Зачем зеркало?

Про опенсорсный хугин: Он тупо висит на стадии импорта 684 фоток по 18мп.

За 15 минут он записал на диск всего 230 байт (т.е. кэшей не родил, а должен по идее)

Прочел всего 3 гигабайта (а сырья на 6.5).

Подожду еще полчаса. Может просто его морда висит, а сам он работает.

РПЦ

Розенталя мне внутривенно(

В чем суть смены уровя рейда? Зачем зеркало?

Он лучше работает на чтение из многих потоков: разные задания параллелятся по разным накопителям, а последовательное чтение намного быстрее чем разбросанное. По твоей диагностике этого не установить, но есть вероятность что у тебя много ядер, читающих каждое свои данные вызывают тормоза из-за постоянного перепозиционирования головок в то время как было бы выгоднее читать файлы последовательно целиком.

Про хугин - будем надеяться что эксперты подтянутся, ЕМНИП там скорость сильно зависела от используемых опций.

Просто для примера, на Q9300 6Мб разбито по 3Мб на две пары ядер.

Тесты (хоть и на других процессорах) при использовании ссд для чтения и сырья и даже рамдиска (! надо с рамдиском затестить еще) показали, что процессор все равно полностью не выедается.

Но поковыряться стоит, да.

Хугин... Не вижу в нем опции «выровнять по сетке» (т.е.задать количество рядов и столбцов). Просто загружены жипеги и все. Ни сетки, ни контрольных точек, ни превьюшки грубой.

Ну и «висел» то же время, за которое пятигуй успевает и выровнять и контрольные точки найти.

Насколько я понял тот топик, твои тесты показывают что с увеличением степени параллелизма у тебя появляются какие-то потери. С кешом ты сделать ничего не сможешь, а с конфигурацией дисков можешь поэкспериментировать. Ну или действительно загнать всё на рамдиск и посмотреть выровняется производительность или нет - не выровняется, значит не в диск упирается.

В хугине ты, видимо, визардом пользуешься - поэтому он за тебя всё пытается сделать и много думает при этом.. Не уверен насчёт сетки, а контрольные точки и превью там нормальные (кстати непонятно зачем сетка когда нужно просто расставить КТ и он всё выровняет по ним) - просто создавай пустой проект, без визарда и закидывай фотки в проект вручную.

684 фотки вручную?! а 6600 фоток (как в будущей панораме) нет уж.

Уточню: Я не утверждаю, что для гигапикселей хугин говно. Я просто не могу пока судить. Но для обычных панорам я от него отказался весьма взвешенно.

Касательно гигапикселей:

Очень экономит время и нервы такая штука пятигуя.

Я скормил ему 684 жипега. Он их сожрал. И ждет: либо я укажу ему самому их ровнять (хрен выровняет, особенно кадры где только небо или только вода, и ничего более), либо вручную указаваю «тут 36 столбцов по 19 кадров, первый кадр вверху слева, снималось рядами сверху вниз». И задаю процент перекрытия между кадрами (он тоже известен)

И все - у меня в окне превью уже грубая картинка. Я вижу не было ли дропнутых кадров при съемке, корректно ли они расположены, и т.п.

После этого запускается поиск точек. И он идет очень быстро.

В «главном окне» кнопка «загрузить снимки». Жму, загружаю, долго жду пока «отвиснет». Потом вышеописанные проблемы (где сетка?!)

Ради хохмы скормил ему файл проекта от пятигуя. Жду пока отвеснет. Вроде должно открыть.

ПросвЯтить тебя никто здесь не сможет... кармы маловато )))

Яндекс говорит, что L2 общий для всех ядер процессора

Врет. Общий на два ядра был у Core 2 Duo, и сейчас в AMD, если считать модуль за два ядра. Core 2 Duo это давало профит, так как при отсутствии кэша третьего уровня и интегрированного в процессор северного моста данные между ядрами пришлось бы гонять через материнку. Собственно в Core 2 Quad Q6600 так и делалось (это было фактически два процессора Core 2 Duo под одной крышкой).

Что вообще происходит, когда мы отключаем у последних интелов ядра через биос?

Привязанный к ядрам L2 кэш отключается.

Яндекс говорит, что L2 общий для всех ядер процессора.

Вообще-то, это деталь реализации конкретной модели процессора.

А применительно к E5-2660?)

с увеличением степени параллелизма у тебя появляются какие-то потери

Да никаких вопросов нет вообще. L2 хоть и шаренный, однако любому даже линуксоиду очевидно что на х*й86 он инклюзивный. Соотвественно чем больше ядер, тем больше копий L1 там сидит -> места меньше, инвикшен чаще...

А можно для глупой белки попроще изложить? В реалиях х86_64 от интела (Е5-2660)

места меньше, инвикшен чаще...

Зато эвикш проще и быстрее. AMD делали эксклюзивный, но видать на кэшах больше 256-512k накладные расходы становится слишком высокими.

ну вот он попробует на рамдрайве погонять, если не поможет - можно будет грешить на кеши или межпоточное взаимодействие.

Шаренные кеши бывают двух подвидов - инклюзивный L2 кеш хранит копии локальных кешей ото всех ядер. Эксклюзивный - нет.

Есть плюсы первого над вторым, есть минусы. Один из минусов что копия занимает место.

Есть мнение, что на стадии сшивки межпоточное взаимодействие почти пофигу.

Т.к. каждый элемент (кадр) зависит лишь от соседних, и не зависит от остальных. Т.е. параллель хоть на сколько.

А вот на стадии блендинга связи «все со всеми».

Но это теории.

Ну мы все понимаем что необходимо соблюдать некий баланс определённый на моделировании.

Топикстартеру Дреппера, cachegrind и perf.

Топикстартеру Дреппера, cachegrind и perf.

У топикстартера софт только под Windows. Там туговато с cachegrind и perf.

Его проблемы.

А, Intel VTune тогда ему.

Под линукс нужного софта нет. Есть только под макось.

Есть другой софт, там бинарь и под линукс, но тот софт сам по себе на 20-30% тормознее.

Ну DTrace тогда уж, чё. И qcachegrind + Graphviz.

А вообще в портах есть и valgrind и kcachegrind.

для обычных панорам я от него отказался весьма взвешенно.

вендософт решает, я правильно понимаю?

пищаль...

У вас линукс головного мозга.

Его проблемы.

Нее, это проблемы опенсорса, что в нём нет приложений, нужных пользователю, а есть только тормозной хугин, 8-ми разрядный гимп и страшно глючный толи опен- толи либре-офис.

конкретно в том случае - да.

юзабилити несравнимое.

если к работе с «гигапикселями» у меня еще есть вопросы к своему софту, то в обычных мелких панорамках мне тупо нечего еще хотеть.

У вас линукс головного мозга.

у меня острая нехватка скилов. спрашиваю вот.

но это вопрос к разработчикам.

под макось то бинарник есть. значит и под линукс можно.

в обычных мелких панорамках

это кадров на 10? :)

У вас линукс головного мозга.

У него просто линукс. ТС достаточно чётко обозначил причины по которым он вынужден пробавляться вендозным софтом, что только человек с полным отсутствием ГМ мог не понять суть проблемы.

и 20-30 даже. (когда много масок и сложные световые условия)

Зато такая-то швабодка.

ко-ко-ко

Что, простите?

Ради хохмы скормил ему файл проекта от пятигуя. Жду пока отвеснет. Вроде должно открыть.

открыл минут за 15. даже показал превьюшку панорамы, но шить отказался.

к сожалению хугин я откладываю еще на годик. (причины выше в треде)

Зато такая-то швабодка.

Пользователям линукса свобода ни к чему. Чтобы это понять достаточно почитать раздел L-O-R, который ломится от просьб запретить и забанить.

Тут не надо мешать пользователей линукса вообще и русских пользователей линукса. Менталитет от слова «мент» же.