Достал внешний usb-винт toshiba, в котором сидит 2-терабайтный винт от них же. Раньше такого ещё не наблюдал: отправил винт в длинный смарт тест, и через минуты 3 он пошёл спасть! hdparm -S не лечит. В логе: тест прерван хостом. Пришлось читать регулярно рандомный сектор, но хотелось бы решить это культурно.
Кто-нибудь пользуется?
Интересно следующее:
Почему при пережатии репозиториев такой разный расход памяти, что на это влияет, и существует ли правило хорошего коммита в контексте эффективности хранения?
Вот для первой репы одной конторы:
$ du -sh .git && time git gc --aggressive && du -sh .git
106M .git
Counting objects: 85507, Fertig.
Delta compression using up to 8 threads.
Compressing objects: 100% (83185/83185), Fertig.
Writing objects: 100% (85507/85507), Fertig.
Total 85507 (delta 48961), reused 34092 (delta 0)
real 5m5.723s
user 16m53.928s
sys 0m11.548s
78M .git
$
top:
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
8739 gag 20 0 21,663g 0,015t 13192 S 200,0 95,26 16:03.76 git
Для пережатия 106MB --> 78 MB понадобилось 15+ GB памяти!!!
А вот для второй:
du -sh .git && LC_ALL=C time git gc --aggressive && du -sh .git
370M .git
Counting objects: 441196, done.
Delta compression using up to 8 threads.
Compressing objects: 100% (435440/435440), done.
Writing objects: 100% (441196/441196), done.
Total 441196 (delta 340323), reused 98133 (delta 0)
Checking connectivity: 441196, done.
1033.24user 3.64system 3:37.37elapsed 476%CPU (0avgtext+0avgdata 13100464maxresident)k
0inputs+566784outputs (0major+2111645minor)pagefaults 0swaps
282M .git
top:
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
15726 gag 20 0 12,640g 0,012t 337564 S 100,3 76,19 16:57.23 git
Понадобилось 12+ GB. Причём расход резко растёт с всего 1 GB на 99% (~434000 объект).
А если пережимать ванильный linux.git, который весит 860+ MB, то хватает и 4 GB оперативки.
$ du -sh .git && LC_ALL=C time git gc --aggressive && du -sh .git
862M .git
Counting objects: 4147770, done.
Delta compression using up to 8 threads.
Compressing objects: 100% (4116901/4116901), done.
Writing objects: 100% (4147770/4147770), done.
Total 4147770 (delta 3484456), reused 663280 (delta 0)
Checking connectivity: 4147770, done.
4777.02user 31.57system 11:38.36elapsed 688%CPU (0avgtext+0avgdata 4787684maxresident)k
0inputs+1698728outputs (0major+20081695minor)pagefaults 0swaps
862M .git
$
top:
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
12637 gag 20 0 5148492 4,555g 852956 R 100,0 29,11 79:15.25 git
Как смотреть эти объекты по номеру, который выдаёт git в процессе пережатия?
И где формула для total <-> compressing <-> delta <-> reused объектов?
Перехватить вызов функции из .so не проблема, если эту функцию дёргают за пределами самой либы. А кому-то удавалось так проманипулировать загруженный elf(?) got(?)/.., чтобы можно было сохранить и подменить адрес на свой?
Можно под gdb. Разумеется только если функция предварительно не инлайнена. Но думаю, если я в дизассемблере вижу тело функции, вызовы с её именем, значит, она там целиком.
С захватом всё просто:
# modprobe usbmon
$ wireshark
А вот как его «воспроизвести»? Т.е. нужно посылать то, что OUT, потом читать и сверять с тем, что IN. Кстати, нужен только payload, т.е. можно использовать libusb.
Цель: находясь онлайн быстро выкачать изменения для склонированных репозиториев, а потом оффлайн обновить их (что длится дольше из-за обычного hdd).
Вроде как
git pull --rebase
git fetch
git rebase
Но есть и другое мнение.
По крайней мере о 100% эквивалентности точно говорить не приходится:
$ diff -rq 1-fetch-rebase/some-repo.git 1-pull-rebase/some-repo.git
Files 1-fetch-rebase/some-repo.git/.git/index and 1-pull-rebase/some-repo.git/.git/index differ
Files 1-fetch-rebase/some-repo.git/.git/logs/HEAD and 1-pull-rebase/some-repo.git/.git/logs/HEAD differ
Files 1-fetch-rebase/some-repo.git/.git/logs/refs/heads/master and 1-pull-rebase/some-repo.git/.git/logs/refs/heads/master differ
Files 1-fetch-rebase/some-repo.git/.git/logs/refs/remotes/origin/some-branch and 1-pull-rebase/some-repo.git/.git/logs/refs/remotes/origin/some-branch differ
Files 1-fetch-rebase/some-repo.git/.git/logs/refs/remotes/origin/master and 1-pull-rebase/some-repo.git/.git/logs/refs/remotes/origin/master differ
$
И это в простом случае, а если действительно upstream чего-то намудрит?
Кстати, а кто-нить встречал тесты для подобных хитрых изменений? Т.е. хэлпе и на stackoverflow встречаешь диаграммы коммитов, а есть ли готовые тестовые репозитории с этими коммитами?
Или если команды неэквивалентны, то это баг?
Так clang (3.4, 3.5) умеет OpenMP через libgomp или нет? Добавляю -fopenmp. Всё успешно собирается, хотя _OPENMP и не определено. Запускаю, omp_get_max_threads() реагирует на изменения OMP_NUM_THREADS, но используется всё равно только один поток. Такое впечатление, что clang просто проигнорировал все pragma, но слинковал omp_ функции к libgomp. Но кому такое нужно?
Есть ssh доступ к небольшому кластеру (где-то дюжина ПК). Как бы не заморачиваясь запустить рендеринг анимации?
Нащупал 2 варианта.
- network render. Но можно ли подключить этот addon просто из командной строки?
- совсем просто:
blender -b animation.blend -a >log.txt 2>&1
Вот только в последнем варианте надо:
И всё это из скрипта, а не вручную для каждого.
Вроде, напрашивается само собой - может кто-то видел готовый скрипт? Или есть ещё вариант получше?
Никак не пойму, как заставить rsync справиться с обрывом связи. Во-первых, он, кажется, вообще этого не замечает. После ctrl-c есть два варианта: или использовать уже синхронизированный кусок, но тогда игнорируется наличие оригинального файла, который следовало бы использовать. Наоборот: игнорируется уже синхронизированное. Я проглядел какой-то подходящий ключик или rsync до сих пор так не умеет?
Необходимо заменить (sed, awk, perl,..) «long», но игнорируя комментарии, строки ("...") и т.п.
/*
(...) long comment (...)
*/
// not so long comment
long l = 0;
/*
(...) long comment (...)
*/
// not so long comment
printf("long message");
При портировании на си понадобилось поменять тип данных с long на, скажем, int32_t.
Регулярка для комментариев выглядит понятно:
(\/\*([\s\S]*?)\*\/)|(\/\/(.*))
s/?!(\/\*([\s\S]*?)\*\/)|(\/\/(.*))long/int32_t/g
Ищу вариант, на чём можно быстро написать код, использующий MPI. В идеале - octave, т.к. код - алгоритмы из вычислительной линейной алгебры. Но octave-mpi не поддерживает даже broadcast. Остаётся pmatlab, который якобы должен работать и с octave. Кто-то пробовал (в частности с 3.6 и 3.8)?
Следующее, что приходит в голову - numpy и mpi4py. Я не фанат питона, но есть ли выбор?
Запускаю mpi-прогу в 2 процесса на одном хосте. Смотрю wireshark'ом - каждый процесс открыл сокет к mpirun (мастер/сервер-процессу?), и он в свою очередь пооткрывал соединения к каждому процессу. Не ожидал. Коммуникация такая дорогая, а здесь появляется посредник на ровном месте. В обычном кластере ПК подключены к одному роутеру, т.е. топология - обычная звезда. Или необходимо явно указать топологию (MPI_Graph_create,..) и тогда процессы установят необходимые прямые соединения?
Ищу народные 10, 20, 40 Гб/с решения. Особенно в свете объявления 10-Гб апдейта USB так хочется если не 10-Гб-инфинибанда, то хотя бы эзернета.
А тем временем уже есть открытый SATA Groundhog: вся логика! А вот перейти дорогу всяким Mellanox, QLogic, HP,.. пока никто не осмеливается. Или кто-то уже встречал такое?
Например, Mellanox требует символической платы, которую, правда, надо им послать спецпочтой да ещё и в виде спецчека. А ещё нужно указать точно, какой именно «компонент» нужен, а если нужны несколько, то...
Не противоречит, конечно, требованиям лицензий, но какие ещё фирмы такое практикуют?
И сколько же они там ГПЛя использовали, что на одну/две «компоненты» им целый CD нужен...
В мае должно было выйти новое издание книги: 10 мая в Западной Европе по цене 63 евро и 19 мая в США по цене... 55 долларов. При этом в Европе книга «вышла» уже как неделю назад, но её до сих пор могут выслать лишь через 9-12 дней! А в штатах она как бы прямо сейчас ещё не должна была выйти (у них там сейчас всё ещё 18 мая), но тем не менее она уже на складе и готова к отправке.
Вопросов 2: что это за несправедливость касательно цены!? И знают ли обитатели Западной Европы, нет ли возможности получить её там по цене из штатов?
Ищу подход, как с наименьшими усилиями портировать код под архитектуру, где sizeof(char)=sizeof(int_8t)=2. Проблема: обмен данными с хостом, у которого привычный размер char, равный 1.
Обычные объявления
typedef struct foo {
char f1;
char f2;
};
typedef struct foo {
char f1 : 8;
char f2 : 8;
};
typedef struct foo {
char f[6];
};
Можно зайти на оба адреса:
http://www.linux.org.ru/forum/xxx/yyy
http://www.linux.org.ru/forum/xxx/yyy/
И так по всему сайту.
P.S. Может, кто видел официальные рекомендации на этот счёт?
По мотивам решения для git.
При переносе только .hg рабочий каталог можно восстановить вот так (многословно по сравнению с git, можно короче?):
mkdir ../tmp
hg archive ../tmp
rm ../tmp/.hg_archival.txt
mv ../tmp/* .
mv ../tmp/.hg* .
rmdir ../tmp
Склонировал большой репозиторий, хочу его скопировать на другой ПК: для этого копирую только .git, потом необходимо checkout'нуть локально всё.
Пока нашёл только
git reset --hard
git checkout
.git/ORIG_HEAD
.git/index
Что изменилось в qt5, чтобы так разрослись зависимости? Может, кто знает ссылку на точное объяснение?
| ← предыдущие | следующие → |