+100500. Я уже писал об этом как-то.

Поставил Intel VTune

сижу как баран и ворота.

Поставил Intel VTune

В эту сторону смотри: http://software.intel.com/en-us/articles/locating-thread-contention-with-vtun...

Новости:

В конфигурациях 16 ядер + НТ, 16 ядер, 12 ядер при сшивке все одно и то же - процессор загружен «почти полностью» (порядка 90% по показаниям венды), частота - строго 2200мгц, т.е. номинальная. Это уже по данным CPU-Z (попутно выяснилось, что процессор не 2660, а 2670).

Если ограничить программу всего 1 потоком, то тоже строго 2200мгц. Загружено только одно ядро - остальные стоят.

Какой вывод из этого следует?

PS Понизить частоту искусство не получается - в биосе нет опций.

Не увидел смысла в подобном экспериментировании.

Кто-то высказывал просьбу сделать и такой опыт.

Мол будет ли масштабирование по частоте. Его нет.

отключаем у последних интелов ядра через биос?

а в чем резон?

Прям явного резона нет. Но выяснилось, что в этом случае (т.е. остается по 6 ядер на сокет) - скорость не изменяется вообще никак. Разница - не более погрешности измерения.

Скорость оперативы 50 гигов/с а скорость шины 8, соответственно возможны проседания в скорости из=за шины QPI при использовании всей оперативы, два банка которых этой шиной соеденены. От кэшей 2 уровня при таких объемах оперативы толку нет или почти нет. L2 не общий кэш.(все ИМХО)

во время варпа жипегов (работы с геометрией, когда процы загружены по полной) - вся память не выедается. остается много свободной.

сейчас вытащили один проц. буду собирать данные.

смысл не в объеме памяти, а сколькоданных из оперативы прогоняется через шину от одного проца и банка памяти к другому.

Ты рамдиск попробовал? Какая фаза обработки у тебя тормозит с увеличением степени параллелизма - этот самый варп когда процы загружены по полной или какая другая?

Рам диск еще не пробовали. Там работы с железом идут. С консоли выкинуло.

Я начал запускать «вынув один процессор», засечь обеъктивно не успел, но показалось, что на одном процессоре варпает быстрее, чем на двух процессорах. Что просто дико как-то.

процессор выедается сильно во время варпа. память тогда не особо жрет (не нужна, кэшей тоже почти нет).

во время блендинга выедатся любое количество памяти, пишется огромное количество кэшей. процессоры почти не используются. скорость блендинга не кореллирует с количеством активных ядер. все упирается в обмен с диском.

Т.е. с добавлением ядер у тебя увеличивается продолжительность варпа, а скорость блендинга, который упирается в диск, остаётся неизменной?

Да, кстати, а какая из операций наиболее продолжительна - варп или блендинг?

все упирается в обмен с диском.

возьмите SSD, какой есть под рукой, проги fancy cache и super disk cache, закэшируйте SSD как кэш дисков и вперед с песнями.

Когда как.

Чем больше простыня - тем больше времени требуется на блендинг. Там решает скорость дисковой подсистемы.

Пример: 684 жипега по 200 (двести, это для теста) мегапикселей сшиваются в панораму в 80 гигапикселей. Блендинг идет жутко медленно. Кэшей записывается порядка 8-12Тб в сумме, и 2-2.5 тб постоянно лежит на накопителях.

Т.е. ссд тут особо не поможешь. Нужно хотя бы 1-2 тб ссд. Малореально найти.

Хочется понять как масштабируется по добавлению памяти.

Ну так если блендинг занимает большую часть времени обработки - вот его и оптимизируй. Если его дисковая подсистема тормозит - так и нефиг процессоры дёргать.

Нужно хотя бы 1-2 тб ссд.

потести сначала проги (хотя бы не на серваке), может окажется что не нужен тебе 1 тб ssd.

На целевой панораме будет 6000 жипегов по 36мп. (порядка 120гп простыня)

Если шить на текущем сервере то варпать будет со скоростью 13 кадров в минуту. Это почти 8 часов только на варп. И сколько-то часов на блендинг.

Сейчас дисковая системе это 0й рейд из 4 сас дисков по 4тб. Размер тома 15тб. Контроллер - железный адаптек 6805, т.е. дисковая подсистема совсем не говно.

И главное: панораму надо сшить не один раз. она многократно будет шиться, т.к. будет работа с масками (двойники и половинки машин\людей) и сырьем (выравнивать экспозицию и цветность).

Т.е. важны обе операции.

Для варпа нам нужны процессоры и хватает даже 100гб памяти (варп на текущем сервере 36мп жипегов выедает в пике 90гб из 128гб).

Для блендинга - чем больше памяти - тем лучше, чем быстрее идск - тем лучше.

Теоретический реаличный максимум памяти в сервере - это 256 (16х16) или 512гб (32 модуля по 16гб), но последнее - то только четырехсоткетные системы.

Так уже протестили.

Вот конкретно на этом сервере со 128гб памяти - кэшей в пике 2.5тб лежит. т.е. 1тб ссд - он конечно поможет, но не решит проблем.

там не файловый кэш, а блочный. Вобщем делай как хочешь, если не понимаешь скинь ссылку на сообщения тому кто шарит.

Ок. покажу.

Но на том целевом сервере нет никакого ССД. и не будет. И сервер от меня в 6к км.

Не факт что поможет если он последовательно читает эти 2.5ТБ, потом перезаписывает и читает снова - кешировать однократно читаемые данные нет смысла, а если они неоднократные, то всё равно кеш будет перезаписываться по мере прокачки 2.5Г через него, т.е. нет смысла.

данные почти все однократного чтения-записи.

если я правильно трактую свой опыт пользования тем софтом.

Уже была шутка, что батюшка?

Скажи честно, сначала прочел камент на эту тему, и потом решил и сам отписаться?) А так бы и не заметил.

Нет, не стал специально) А то если бы прочитал, было бы не так приятно потом найти))

Алсо, https://dl.dropboxusercontent.com/u/12869350/snapshot86.png - таки никто)

Почитал описания. Имхо в этом нет смысла.

Итак, бегло просмотрел пятигуй и сразу возникли вопросы. Во первых, адово загружается диск, так что тебе все равно придется бежать в магазин за ССД. Второе, я не понял, зачем программа по дефолту ставит 8000 контрольных точек, у меня при 45 все склеилось. В третих я не понял, зачем склеивать все 600 снимков одновременно. Почему нельзя их руками разбить на группы скажем по 25 фоток которые склеить между собой, а затем 24 супероромные фотки склевивать между собой.

ну архитектура такая. сразу создается грубая версия сшитого. и постоянно улучшается по мере продвижения прогресса.

ссд. боюсь что на целевой панораме (150гп) и 2-3тб ссд не хватит. так что 0й рейд на несколько тб меня ждет.

при 45 точках на скольки снимках? явно не на 600+.

больше точек - точнее сшивка.

каким нихрена руками?! сама суть софта в отсуттвии «руками» и в чем руками? гимпе\шопе? так адовых тормозов на порядки будет больше. а время?! ты хоть представляешь что такое даже 3-4 фотки руками сшить? это ад и израиль.

наверняка к алгоритмам может быть много вопросов. но явно не в ключе «нахер оно нужно. руками проще».