LINUX.ORG.RU

Выбор железа для обработки фото.

 , ,


0

1

Мой шестилетний комп. убийственно медленный при обработки raw файлов с зеркалки.

Для выбора нового процессора мне не хочется разводить здесь флейм типа Intel vs AMD

Поэтому предлагаю просто запустить обработку raw файла на вашем компе. И приложите инфу о процессоре, чипсете, версии darktable

test1.tar 28Мб

Содержимое архива (файл NEF взят из интернета, поэтому не надо обсуждать его содержимое)

 tar tvf test1.tar 
drwxr-xr-x        0 2014-05-17 17:23 test1/
-rw-r--r-- 29315798 2014-05-17 16:44 test1/nikon_d7100_01.nef
-rw-r--r--     7182 2014-05-17 17:22 test1/nikon_d7100_01.nef.xmp
-rwxr-xr-x      524 2014-05-17 17:21 test1/run.sh

$ cat test1/run.sh 
#!/bin/sh

if [ -f nikon_d7100_01.nef ]; then
	echo "test1"
	\time darktable-cli nikon_d7100_01.nef nikon_d7100_01.nef.xmp  nikon_d7100_01.jpg >/dev/null
	rm nikon_d7100_01.jpg
	echo "test2"
	\time darktable-cli nikon_d7100_01.nef nikon_d7100_01.nef.xmp  nikon_d7100_01.jpg --core --disable-opencl >/dev/null
	rm nikon_d7100_01.jpg
	
	# some system info (optional)
	grep -m1 'model name' /proc/cpuinfo
	grep 'MemTotal:' /proc/meminfo
	cat /proc/version
else
	echo "file nikon_d7100_01.nef not found in current directory"
fi

Мои результаты для сравнения

$ ./run.sh 
test1
53.24user 2.20system 0:35.88elapsed 154%CPU (0avgtext+0avgdata 1029940maxresident)k
0inputs+13072outputs (0major+509070minor)pagefaults 0swaps

test2
53.48user 2.35system 0:37.99elapsed 146%CPU (0avgtext+0avgdata 1029936maxresident)k
15480inputs+13072outputs (277major+508835minor)pagefaults 0swaps

model name	: AMD Athlon(tm) 64 X2 Dual Core Processor 4200+

MemTotal:        1992468 kB

Linux version 3.13-1-amd64 (debian-kernel@lists.debian.org) (gcc version 4.8.2 (Debian 4.8.2-16) ) #1 SMP Debian 3.13.10-1 (2014-04-15)
★★★★★

Последнее исправление: sdio (всего исправлений: 2)
Ответ на: комментарий от Harald

not your personal army

Расслабся, тебя я из списка вычеркнул.

sdio ★★★★★
() автор топика

За дарктаблу ничего сказать не могу.
Во-первых, она мне жутко не понравилась после продуктов адоба, во-вторых, у меня оплачен софт от адоба.

Но, таки являясь фотографом, выскажу кое какие соображения.

1. SSD - мастхэв. Разница она не проценты в тестах. Она на глаз огромная. Особенно, когда кучи равов кэшируешь и т.п.
2. Пару лет сижу на ноутбуке с i7-2670QM/16Gb. Зеркалка в основном второй пятак (т.е. равы примерно такие же). Вот так по-честному если, менять на более производительное смысла нет. Летает.
3. За никон мысля. Тестил D800. И с дуру снимал проект в сжатый (без потерь) рав. Вот это был ад израиль! Нереальные тормоза на конвертации. На будущее обязательно откажусь от сжатого рава.
4. Частота процессора. Опять же дарктаблу не знаю, но на крупных проектах принудительно повышаю частоту до максимума через TrottleStop. Т.к. штатная рулилка ею рулит хреново иногда.

5. Про холивар: Почти все знакомые фотографы сидят на интеле. Знавал одного АМД-фанбоя. Он чуть ли не пеной брызгал, что бульдозер это мега круто, что он дешевый, а мы все лохи и переплачиваем. Потом он замолк. Выяснилось, что новый комп купил на и7 (санди). Спросил «как же так?». Ответ был «для моих больших потоков фото на нем тупо быстрее конвертируется».

dk-
()

OpenCL

Обработка raw фото очень хорошо распараллеливается, поэтому ни один процессор не справится с работой лучше, чем хорошая современная видеокарта (с большим обьемом видеопамяти).

Утверждаю это основываясь на собственном опыте.

Так что советую также взглянуть не только на процессоры, но и на видеокарты.

LebedevRI
()
Ответ на: OpenCL от LebedevRI

Так первый тест с opencl, второй без, хочется увидеть реальные цифры/тесты.

sdio ★★★★★
() автор топика
Ответ на: OpenCL от LebedevRI

И на чем ты предлагаешь обрабатывать и конвертировать на видяшках? Ссылку, сестра, ссылку!

dk-
()
Ответ на: комментарий от dk-

Интeрнет я почитал, но там слишком однобоко, тесты для фотошопа и лайтрума и вывод (часто даже до тестов) только Intel

sdio ★★★★★
() автор топика
Последнее исправление: sdio (всего исправлений: 1)
Ответ на: OpenCL от LebedevRI

Интересно, сколько же оперативы должно быть у видюхи, чтобы обрабатывать массивы RAW.

kraftello ★★★★★
()
Ответ на: комментарий от kraftello

сколько же оперативы должно быть у видюхи, чтобы обрабатывать массивы RAW.

tile-based? не обязательно всё загонять в память.

devl547 ★★★★★
()
Ответ на: комментарий от dk-

И на чем ты предлагаешь обрабатывать и конвертировать на видяшках? Ссылку, сестра, ссылку!

darktable --help usage: darktable [-d {all,cache,camctl,control,dev,fswatch,memory,opencl,perf,pwstorage,sql}] [IMG_1234.{RAW,..}|image_folder/] [--disable-opencl]

opencl

Не?

Jurik_Phys ★★★★★
()
Ответ на: комментарий от sdio

Ну я думаю, что разрабы того же адоба надрачивают в первую очередь штеуд. И это нормально. Т.к. инструменты для серьезной работы стоят на порядки дороже, чем процессор покупаемый раз в несколько лет.

Амд, таки, для крутых вычислений, и правда говно.

dk-
()
Ответ на: комментарий от kraftello

http://www.darktable.org/2012/03/darktable-and-opencl/

My computer is equipped with an i7-2600 CPU and an NVIDIA GeForce GTS 450 graphics card with 1GB memory. Core memory is 16GB.

For a single run of my pixelpipe in interactive mode (so called “full” pipeline), I get the following figures:

    OpenCL not activated 	0.76 seconds
    OpenCL activated 	0.11 seconds

This would be the typical delay, if you change a parameter or if you pan or zoom into the image.

With the same image and the same settings, I profiled the export pixelpipe when generating a JPEG file with full resolution. Here are the results:

    OpenCL not activated 	25.2 seconds
    OpenCL activated 	6.5 seconds

sdio ★★★★★
() автор топика
Ответ на: комментарий от Jurik_Phys

Не.

Работа с равами это далеко не только конвертация. Это подготовка к ней. Что бы выгнать картинку после масок\фильтров\подстроек

dk-
()

А где взять darktable-cli, если я использую OS X? У меня есть только гуевый бинарь :(
Хотел померять на i5-2500S

xtraeft ★★☆☆
()
./run.sh 
test1
[defaults] found a 64-bit system with 16138828 kb ram and 4 cores (0 atom based)
34.15user 1.16system 0:17.56elapsed 201%CPU (0avgtext+0avgdata 1315968maxresident)k
10552inputs+27520outputs (74major+552006minor)pagefaults 0swaps
test2
33.40user 1.13system 0:16.34elapsed 211%CPU (0avgtext+0avgdata 1315948maxresident)k
0inputs+27520outputs (0major+552060minor)pagefaults 0swaps
model name      : Intel(R) Core(TM) i5-4200U CPU @ 1.60GHz
MemTotal:       16138828 kB
Linux version 3.14.4-200.fc20.x86_64 (mockbuild@bkernel02) (gcc version 4.8.2 20131212 (Red Hat 4.8.2-7) (GCC) ) #1 SMP Tue May 13 13:51:08 UTC 2014
novitchok ★★★★★
()
Ответ на: комментарий от sdio

сорри, забыл по железу и версии darktable:

grep -i 'model name' -m 1 /proc/cpuinfo && sudo dmidecode -t 2 &&  rpm -qa darktable
model name      : Intel(R) Core(TM) i5-4200U CPU @ 1.60GHz
# dmidecode 2.12
SMBIOS 2.7 present.

Handle 0x0002, DMI type 2, 15 bytes
Base Board Information
        Manufacturer: LENOVO
        Product Name: Lenovo IdeaPad S510p
        Version: Not Defined
        Serial Number: WB12749776
        Asset Tag: No Asset Tag
        Features:
                Board is a hosting board
                Board is replaceable
        Location In Chassis: Part Component
        Chassis Handle: 0x0000
        Type: Motherboard
        Contained Object Handles: 0

darktable-1.4.2-1.fc20.x86_64

Интерсно почему на 4 корах только 211%

ахз, никогда не задавался вопросом.

novitchok ★★★★★
()
test1
[defaults] found a 64-bit system with 16451892 kb ram and 8 cores (0 atom based)
[defaults] setting high quality defaults
25.06user 1.98system 0:12.84elapsed 210%CPU (0avgtext+0avgdata 1340380maxresident)k
73936inputs+27744outputs (323major+555035minor)pagefaults 0swaps
test2
24.81user 1.77system 0:10.69elapsed 248%CPU (0avgtext+0avgdata 1316272maxresident)k
0inputs+27520outputs (0major+549064minor)pagefaults 0swaps
model name      : AMD FX(tm)-8350 Eight-Core Processor
MemTotal:       16451892 kB
Linux version 3.12-1-amd64 (debian-kernel@lists.debian.org) (gcc version 4.8.2 (Debian 4.8.2-14) ) #1 SMP Debian 3.12.9-1 (2014-02-01)

dmidecode 2.12
SMBIOS 2.5 present.

Handle 0x0002, DMI type 2, 15 bytes
Base Board Information
        Manufacturer: MSI
        Product Name: 890FXA-GD70 (MS-7640)  
        Version: 1.0
        Serial Number: To be filled by O.E.M.
        Asset Tag: To Be Filled By O.E.M.
        Features:
                Board is a hosting board
                Board is replaceable
        Location In Chassis: To Be Filled By O.E.M.
        Chassis Handle: 0x0003
        Type: Motherboard
        Contained Object Handles: 0

aptitude show darktable
Пакет: darktable                                 
Новый: да
Состояние: установлен
Автоматически установлен: нет
Версия: 1.4.2-1

ptah_alexs ★★★★★
()
Последнее исправление: ptah_alexs (всего исправлений: 2)
Ответ на: комментарий от sdio

Нашелся в /Applications/darktable.app/Contents/MacOS/darktable-cli

/run.sh
test1
       14.08 real        22.61 user         1.35 sys
test2
       14.09 real        22.63 user         1.25 sys
grep: /proc/cpuinfo: No such file or directory
grep: /proc/meminfo: No such file or directory
cat: /proc/version: No such file or directory
i5-2500s, 16гб памяти

xtraeft ★★☆☆
()
Ответ на: комментарий от sdio
./run.sh 
test1
24.43user 2.49system 0:11.38elapsed 236%CPU (0avgtext+0avgdata 5445184maxresident)k
8inputs+36424outputs (0major+666384minor)pagefaults 0swaps
test2
24.03user 2.38system 0:10.75elapsed 245%CPU (0avgtext+0avgdata 5340384maxresident)k
0inputs+36424outputs (0major+653476minor)pagefaults 0swaps
model name      : AMD FX(tm)-8350 Eight-Core Processor           
MemTotal:       20506452 kB
Linux version 3.2.0-4-amd64 (debian-kernel@lists.debian.org) (gcc version 4.6.3 (Debian 4.6.3-14) ) #1 SMP Debian 3.2.41-2+deb7u2
Jurik_Phys ★★★★★
()
Ответ на: комментарий от kraftello

Зависит от размера raw и производителя видеокарты.

В общем случае необходими чтобы OpenCL было доступно примерно 768Мб памяти видеокарты.

Как минимум AMD бОльшую часть видеопамяти оставляет под «внутренние нужды» (OpenGL ?), так что к примеру из моих 3Гб видеопамяти для OpenCL доступен только 1Гб, которого хватает абсолютно для всех работ над снимками с Canon EOS 5D Mark III

LebedevRI
()
Ответ на: комментарий от devl547

tile-based?

Это поддерживается, но зачастую видеопамяти достаточно для обработки полных изображений.

LebedevRI
()
Ответ на: комментарий от LebedevRI

Расскажи за опенцл?

Мне впервые в жизни нужно покупать видяшку. Именно ради ОперЦЛ. Для панорамного софта. На что обращать внимание?

Учитывая, что шить гигапиксели (видяха для них), то важно количество рамы в видяшке (разраб пишет, что лучше побольше).

Ширина шины в битах. Стоит ли надрачивать на максимальную (и самую дорогую)?

Правильно понимаю, что квадра и файрпро это, скорее, маркетинговое, чем железное различи.

Есть разница в реализациях зеленого и красного производителя?

Что еще важно?

dk-
()
Ответ на: комментарий от dk-

Это я к тому, что amd fx сильно выигрывает от оптимизации под него. К сожалению, я ближайшую неделю не дома и не смогу прогнать влияние настроек на скорость.

devl547 ★★★★★
()
Последнее исправление: devl547 (всего исправлений: 1)

Я ведь правильно понимаю - меняю настройки в gui они применяются к cli опцией --core?

28 потоков

test1
29.30user 2.18system 0:11.33elapsed 277%CPU (0avgtext+0avgdata 1340616maxresident)k
0inputs+21912outputs (0major+650077minor)pagefaults 0swaps
test2
29.67user 1.97system 0:11.15elapsed 283%CPU (0avgtext+0avgdata 1316508maxresident)k
0inputs+21688outputs (0major+643853minor)pagefaults 0swaps
model name      : AMD FX(tm)-8350 Eight-Core Processor
MemTotal:       16451892 kB
Linux version 3.12-1-amd64 (debian-kernel@lists.debian.org) (gcc version 4.8.2 (Debian 4.8.2-14) ) #1 SMP Debian 3.12.9-1 (2014-02-01)

48 потоков

test1
29.38user 2.12system 0:11.17elapsed 281%CPU (0avgtext+0avgdata 1340596maxresident)k
0inputs+21912outputs (0major+650093minor)pagefaults 0swaps
test2
29.47user 2.10system 0:11.12elapsed 283%CPU (0avgtext+0avgdata 1316520maxresident)k
0inputs+21688outputs (0major+643816minor)pagefaults 0swaps
model name      : AMD FX(tm)-8350 Eight-Core Processor
MemTotal:       16451892 kB
Linux version 3.12-1-amd64 (debian-kernel@lists.debian.org) (gcc version 4.8.2 (Debian 4.8.2-14) ) #1 SMP Debian 3.12.9-1 (2014-02-01)

16 потоков
test1
29.64user 2.01system 0:11.26elapsed 280%CPU (0avgtext+0avgdata 1340612maxresident)k
0inputs+21912outputs (0major+650080minor)pagefaults 0swaps
test2
29.44user 2.11system 0:11.11elapsed 283%CPU (0avgtext+0avgdata 1316524maxresident)k
0inputs+21688outputs (0major+643851minor)pagefaults 0swaps
model name      : AMD FX(tm)-8350 Eight-Core Processor
MemTotal:       16451892 kB
Linux version 3.12-1-amd64 (debian-kernel@lists.debian.org) (gcc version 4.8.2 (Debian 4.8.2-14) ) #1 SMP Debian 3.12.9-1 (2014-02-01)


ptah_alexs ★★★★★
()
Ответ на: комментарий от dk-

Амд, таки, для крутых вычислений, и правда говно.

AMD FX при нормальном распараллеливании годятся для поставленной задачи.

tommy ★★★★★
()
Ответ на: комментарий от tommy

Что там с плавающей точкой? (я сейчас вообще, а не про фото конкретно)

dk-
()
Ответ на: комментарий от sdio

11% это и есть хвалённый Hyper-Threading так необходимый для Фотошопы.

pony
()
test1
7.20user 0.85system 0:04.35elapsed 185%CPU (0avgtext+0avgdata 1071104maxresident)k
0inputs+27744outputs (0major+294546minor)pagefaults 0swaps

test2
24.61user 2.25system 0:12.69elapsed 211%CPU (0avgtext+0avgdata 1194252maxresident)k
0inputs+27536outputs (0major+468515minor)pagefaults 0swaps

model name	: Intel(R) Xeon(R) CPU E3-1270 v3 @ 3.50GHz

MemTotal:        3993612 kB

Linux version 3.13.0-24-generic (buildd@batsu) (gcc version 4.8.2 (Ubuntu 4.8.2-19ubuntu1) ) #47-Ubuntu SMP Fri May 2 23:30:00 UTC 2014
Версия: 1:1.4.2-0pmjdebruijn1~trusty

Но это виртулака под Xenserver'ом, отдано 6 ядер, 4Gb памяти.

cleroz
()

$ darktable
darktable darktable-cltest

cli - это из какого пакета?

А, понял, в Wheezy его нет. Сейчас FX 8320 попробую, если не выкинут :)

YAR ★★★★★
()
Последнее исправление: YAR (всего исправлений: 2)
time darktable-cli nikon_d7100_01.nef nikon_d7100_01.nef.xmp  nikon_d7100_01.jpg --core --disable-opencl >/dev/null
output file already exists, it will get renamed
[defaults] found a 64-bit system with 16432848 kb ram and 8 cores (0 atom based)
[defaults] setting high quality defaults

real	0m7.248s
user	0m20.776s
sys	0m2.020s
processor	: 7
vendor_id	: AuthenticAMD
cpu family	: 21
model		: 1
model name	: AMD FX(tm)-8120 Eight-Core Processor           
stepping	: 2
microcode	: 0x6000623
cpu MHz		: 4000.000

OpenCL нет.

anonymous
()
Ответ на: комментарий от YAR

cli - это из какого пакета?

Читай выше - это из бэкпортов.

Jurik_Phys ★★★★★
()
Ответ на: комментарий от dk-

ssd хорош для операционки, для обработки фото он монопенихренов, исключение - твоя специфика с панорамами из мульена тайлов,

для обработки надо дофига оперативы

а проц выбирать исходя из софта - умеет ли софт многопоточность, идет ли работа под линуксом и т.п.

при прочих равных для этих целей лучше взять интел (как amd-фанат говорю)

Deleted
()
Ответ на: комментарий от anonymous

real 0m7.248s
user 0m20.776s

Мне бы хотелось увидеть загрузку 8 ядер. Иначе западло иметь восьмиядерный процессор и работать на 3х. Может как-то darktable/rawtherapee можно настроить? Иначе реально надо брать меньше ядер, но чтобы быстрее были.

Очень я в таком параллелящемся деле расчитывал на AMD FX-8ххх

sdio ★★★★★
() автор топика

Вот немного другая настройка BIOS:

time darktable-cli nikon_d7100_01.nef nikon_d7100_01.nef.xmp  nikon_d7100_01.jpg --core --disable-opencl >/dev/null
output file already exists, it will get renamed
[defaults] found a 64-bit system with 16432848 kb ram and 8 cores (0 atom based)
[defaults] setting high quality defaults

real	0m6.426s
user	0m18.424s
sys	0m1.534s
steemandlinux ★★★★★
()
Ответ на: комментарий от dk-

что разрабы того же адоба надрачивают в первую очередь штеуд.

Не сказал бы. Они сейсас вместе с AMD активно свой софт пилят для поддержки OpenCL с прицелом на APU.

devl547 ★★★★★
()
Ответ на: комментарий от steemandlinux

Те два потока не в тему. Они для генерации превьющек при открытии директории с файлами.

sdio ★★★★★
() автор топика
Ответ на: комментарий от YAR

На дебиане он как-то криво собран я заметил. Видно в gcc 4.8 производительность в darktable сильно выросла. Ну и плюс у меня FSB 270 Mhz, DDR 1800 mhz 9-9-9-27-1T, AMD FX-8120 CPU 4180 mhz.

steemandlinux ★★★★★
()
Ответ на: комментарий от sdio

Заметил, что на дебьяне слишком медленно тест идёт. У меня на убунте 14.04 18-19 секунд. У людей на более быстром FX-8350 - 29 сек. Я даже попробовал сбросить разгон и всё равно 24 сек получается (3100 Mhz)

steemandlinux ★★★★★
()

Update:

вот более загруженный тест: nikon_d7100_01.nef.xmp

Теперь мой i5 на работе выдает загрузку на 319%, т.е. 4 ядра работают

test1
464.43user 5.94system 2:27.01elapsed 319%CPU (0avgtext+0avgdata 2071464maxresident)k
34704inputs+4400outputs (304major+2908606minor)pagefaults 0swaps

model name : Intel(R) Core(TM) i5 CPU 650 @ 3.20GHz

Хотелось бы увидеть результаты на FX-8xxx

sdio ★★★★★
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.