Метапрог-прототип, версия 11 + бенчмарк

Я угадаю эту мелодию с трёх нот. Вступление к Санта-Барбаре?

Это же беспонтовый пирожок!

https://www.youtube.com/watch?v=1Qw0qSIBKN0 :D Да

Ну мотив наложить можно, но нет :3

Каждый день я мета-тредик
мета-тредик охранял
Месяц, два, и год, мета-тредик охранял

А на ЛОРе и на Хабре
выбирают лишь говно
любит наш народ
скриптушное говно

Была ли сделана там демка о которой мы говорили?

Честно признаюсь, я забил. Вернее я попытался котеечка, но заявленного уровня который я обещал у меня не вышло. Считай что ё слилсо =) Я всё ещё хочу что-то просто красивое сделать. Но пока я продолжаю больше сам двиг колупать чем иное так и буду просто хотеть =) А дров наломал внутри ого-го короче ой, пока разгребу пенсионерами станем.

P.S. Но если таки рожу, я отпишу =) Отпишу я у себя в профиле ибо ты раз в полгода реинкарнацию делаешь.

Я на ютабе подписан.

А, ну тогда если сделаю то выложу в любом случае там.

Смотрю, в треде были видосы, но автору стало стыдно, и он их удалил

ТС тупо нагло врет, что его бенчмарк по скорости как бенчмарк на плюсах (который лишь слегка уступал бенчмарку на сишке)…

Ослоумие антиметапрогеров удивляет. Они сами себя множат на ноль.

Итак, на основании измерения времени выполнения бинарника и питоноскрипта

Метапрог-прототип, версия 11 + бенчмарк (комментарий)

ты утверждаешь, что метапроговский бенчмарк медленнее питона. Врешь. Да, полное время выполнения метапроговского бенчмарка больше (40 секунд против 33), но это время включает в себя 10 (ДЕСЯТЬ) повторений теста, что было прямо оговорено в изначальной задаче:

Метапрог-прототип, версия 6 + будильник на Метапроге (комментарий)

Для чистоты эксперимента запускаете тест 10 раз

Во всех тестах на питоне - только ОДНО повторение вместо десяти. Если считать по одному повторению теста, а не десяти, на ОДНО повторение у метапроговского бенчмарка 4 (ЧЕТЫРЕ) секунды, но чтобы это понять надо уметь смотреть диаграммы, читать описание теста и делить на 10 - видимо, это ядреный матан, непостижимый уму антиметапрогеров.

Сишный бенчмарк у тебя занял 10 секунд, но он тоже включает 10 повторений теста, то есть на одно повторение - одна секунда, в 4 раза быстрее. Да, бенчмарк на Метапроге не помешало б еще доработать, о чем я прямо написал в заголовке темы.

Но если сравнивать с плюсами, то метапроговский бенчмарк находится примерно на равных. У меня одно повторение теста с генерацией случайных числе на rand тоже занимает примерно 4 секунды, а повторение бенчмарка на С++ занимает около 7-8 секунд. Я не говорю об опережении С++, поскольку сравниваю с плюсовым бенчмарком без хешей (а у меня хеши). Плюсовый бенчмарк на хешах мне собрать еще не удалось ( fsb4000 или кто еще дайте плиз командную строку для компиляции под линуксом либо скомпильте у себя метапроговский бенчмарк и сами сравните с плюсами), но есть сведения, что он быстрее только в 2 раза: Метапрог-прототип, версия 7 + графические диалоги на Метапроге (комментарий)

То есть, плюсовый бенчмарк на хешах должен брать 3,5-4 секунды, примерно как метапроговский. Так что врут как раз антметапрогеры и им лучше вовремя покаяться, пока весь мир не засмеялся над их невежеством.

докажи, что твоя имплиментация в точности выполняет условия задачи, а не просто рандомно что-то проверят с чем-то, или ты банальное трепло.

У тебя даже будильник валится и течет, и ты утверждаешь, что у тебя там что-то работает. «не верю» (с)

докажи, что твоя имплиментация в точности выполняет условия задачи, а не просто рандомно что-то проверят с чем-то

Есть тесты с меньшей длиной подстроки 3 и 5, они показывают что если вхождения есть - они выводятся корректно.

нарисованные тобой же в той же корявой метапроге? кулстори

У тебя даже будильник валится и течет

Утечки-то еще могут быть, но что надо делать, чтобы он именно валился?

Использовать будильник в качестве блокнота для хранения книг.

сделай fuzz-testing, узнаешь

Трансляции тестов выложены вместе с бенчмарком, так что не перди.

Я таки подумываю закрывать свои темы от анонов. поскольку они вообще не отвечают за базар. Хотя ладно, аноны-антиметапрогеры - все же забавные зверьки.

а ты сам то отвечаешь за базар, бестолочь? ты не осилил простые задачи решить, но при этом рассказываешь сказки про то, что ты где-то там кого-то обогнал.

Трансляции тестов выложены вместе с бенчмарком

И что думаешь кто-то будет эту фекаль разбирать?

Я таки подумываю закрывать свои темы от анонов

правда неудобная, да? молодец, обдристал портки и типа незаметно.

fuzz-testing, узнаешь

щас ему его пiдсрачнiк расскажет что это такое. посмотрит в вики и расcкажет, но хений один хрен этого ниосилит.

Выпущена 9 версия прототипа, которая содержит хотфикс: в 8 версии были проблемы со скачиванием проектов через Метапрог онлайн. В остальном различий в сравнении с описанием 8 версии нет.

Как? По какой методике? Какой программой?

И не забудь ответить на это: Метапрог-прототип, версия 11 + бенчмарк (комментарий)

Странный у тебя подход к версионированию. Ладно, если б 8.0.1 было, а так…

Как? По какой методике? Какой программой?

Fuzz-testing это и есть методика. Программу оставляю на твое усмотрение.

И не забудь ответить на это

Твой самый быстрый бенчмарк с «ненастоящими» случайными числами (rand.c) сливает сишке в ЧЕТЫРЕ раза. Ты сам это признал. Ок.

Да, я завтыкал и не заметил, что в питоне только один проход. Прошу прощения, был недостаточно внимателен.

Еще я пропустил момент, что в питоне и си реализация без хешей. То есть, твоя реализация с хешами сливает в РАЗЫ самой стрейтфорвард реализации на С. Но обгоняет совершенно неоптимизированную программу на питоне, ок.

При этом, твоя программа некорректна, так как не освобождает память. Это как бы неявно подразумевается в условии.

Я понял.

Радужно-бабочково-единорожная кошка - вначале это детям показывают, а потом из них вырастают метапрогеры.

тест получился в целом неважнецкий, где-то на уровне С++.

Это просто праздник какой-то…

однопоточная питоновская (python2) реализация с хэшами

#!/usr/bin/python

import sys, random, time
s0 = ''.join(map(chr, range(97,123)))

r100, r20, r80 = range(100), range(20), range(20, 100)

t0 = time.time()
stable = [''.join(s0[int(random.random()*26)] for j in r100) for i in xrange(100000)]
t1 = time.time()
print 'generate strings', t1-t0

htable = {}
for I in xrange(len(stable)):
    s, h = stable[I], 0
    for k in r20: h |= ord(s[k])%2<<k
    for i in r80:
        htable.setdefault(h, []).append((I, i-20))
        h >>= 1; h |= ord(s[i])%2<<19
t2 = time.time()
print 'generate hash', t2-t1, len(htable), 0xfffff

matches = 0
for i in range(1000):
    h, s = 0, ''.join(s0[int(random.random()*26)] for j in r20)
    for k in r20: h |= ord(s[k])%2<<k
    for k, off in htable.get(h, []): matches += s==stable[k][off:off+20]
t3 = time.time()
print 'search time', t3-t2
print 'total time', t3-t0

print  'matches', matches

проц Intel(R) Core(TM) i5-6200U CPU @ 2.30GHz

$ ./bench.py
generate strings 2.64825701714
generate hash 9.09323906898 1048093 1048575
search time 0.0179228782654
total time 11.7594189644
matches 0

один проход. Т.е. метапроговская реализация обгоняет мерррскую скриптуху всего лишь в три раза?! Ща на плюсах сделаю, если не лень будет.

и тут кора? Да штотыбудешь делать! Это наверняка SDL виноват. Или rand() или вообще ядро, потмоу что на старом Си написано каким-то студентом. точно-точно, что ж ещё то! Не метапрог же.

А с clang? Поддерживается только он то.

и ты конечно же можешь рассказать, что вы там такого нагенерили, что компиляция шлангом и гццой дает различные результаты? наверное какие-то хитрые шланг-специфик конструкции, а?

лол.

real	0m12.247s
user	0m11.802s
sys	0m0.368s

них себе.

Ничего, можно собрать и gcc, но нужен incl.xml сгенерированный под gcc.

У меня даже под WSL заработало.

$ time ./rand
real    1m9.472s
user    1m6.031s
sys     0m3.266s

$ python2 ./rand.py
generate strings 2.79490804672
generate hash 13.7305169106 1048066 1048575
search time 0.0243940353394
total time 16.5498189926
matches 0

Это из за Nuklear.

однопоточная версия

$ g++ -std=c++11 -O3 -Wall -o bench -fopenmp bench.cpp
$ ./bench
generate strings 0.10222 sec
generate hash 1.13756 sec
search time 0.00106369 sec
total time 1.24084 sec
 matches 0

и многопоточная версия

$ g++ -std=c++11 -O3 -Wall -o benchP -fopenmp benchP.cpp
$ ./benchP
generate strings 0.0304989 sec
generate hash 0.627052 sec
search time 0.00173967 sec
total time 0.659291 sec
 matches 0

в четыре потока, один проход и там и там.

Генерация строк ожидаемо ускоряется почти на 100%, а вот генерация хэшей memory bound судя по всему, и при распаралливании накладные расходы на блокировки (я честно говоря сделал ооочень грубо, в лоб), поэтому ускорению чуть больше чем вдвое. Я гонял на Xeon E5-2690 v4 в 28 (не уверен) тредов - там общее время полсекунды, ускорение чуть лучше чем вдвое по сравнению с одним потоком. Можно попробовать каждому треду дать свою таблицу на заполнение и потом их слить, или заюзать какую то блочную оптимизацию, только я не соображу какую - поганая задача для распараллеливания.

fsb4000, я забыл сколько у Вас получалось на Ъ плюсах с unordered_set. Но то что метапрогомать Диана чуть выше запостила - ихняя жгутиковая метапрога с хэшами на Ъ сях ожидаемо слила богомерзким плюсам в ПЯТЬ раз (на самом деле больше - у Дианы проц похоже медленнее).

Перефразируя Коровьева: «Читаемость кода хрясь в никуда, производительность хрясь в пять раз, закачка почитай сотни метров весит - вот до чего эти СУВТ-ты доводят!»(c) ;-)

ТС, я не буду приводить Ваш предыдущий бред о плюсах, но если будете убиваться - делайте это об угол шоб сразу.

Для референса на моей машине (Core i7 8700K):

Однопоточная реализация на хешах от АнтонИ:

~/tmp/mp » time ./test-cpp                                                                                     
generate strings 0.0480122 sec
generate hash 0.10188 sec
search time 0.000468725 sec
total time 0.150361 sec
 matches 0
./test-cpp  0,14s user 0,02s system 99% cpu 0,159 total

rand.c от ТСа:

~/tmp/mp » time ./rand                                                                                         
0
205
10
3742
1
194
9
3772
2
194
9
3796
3
194
10
3779
4
194
10
3763
5
197
10
3755
6
193
10
3762
7
192
10
3775
8
194
9
3756
9
195
10
3741
./rand  39,16s user 0,52s system 99% cpu 39,739 total

Итого 0.159s vs 3.973s или практически ровно 25 раз. Я не буду торопиться с ироничными комментами, может в бенче Антона найдется бага (я слишком хочу спать чтоб ревьюить код прям сейчас).

Кстати, хотел спросить, почему в метапроговской реализации такой хреновый вывод? Куча цифр без описания. Это ж сколько жгутиков и квадратиков нужно в метапроге чтоб сделать принтф, что ТСу было лень добавить описание каждого выводимого значения?

Это не мой ресурс так-то. Да и мне кажется идеологически неправильным заводить какие-то помойки. Этот сайт сейчас отражает всю суть данного прожекта, пусть так и остается.

Но вообще надо признать, что по метапроговским меркам даже такая реализация бенчмарка - это большой успех (без подколок). Это как удалить гланды через задний проход. Совершенно бессмысленно, куча побочных эффектов, но сделать может только истинный мастер-левша. Котечка и ТС явно не без талантов ребята.

Херасе, что у Вас за машина?:-)

может в бенче Антона найдется бага

А в коде ТСа багов нет?:-)

Херасе, что у Вас за машина?:-)

Intel(R) Core(TM) i7-8700K CPU @ 3.70GHz, 32GB RAM, частоту оперативки не помню. Другие части вроде не задействованы?

А в коде ТСа багов нет?:-)

Как вы посмели :/

Там доступ к памяти задействован, интересно что за память. Но в общем да, понятно, спасибо… я то на ноуте считал.

Я щас понял как это можно ускорить поменяв структуру данных что бы по всей памяти не скакать бешеным сайгаком, но уже завтра с утреца займусь.

Как вы посмели :/

Виноват. Диаграмм-ревью проводится исключительно членами союза художников (DELIRIUM молчать!:-)) исключительно с эстетической точки зрения.

Там доступ к памяти задействован, интересно что за память.

Память Kingston DDR4 SDRAM, 3200Mhz, две планки по 16ГБ.

Там СУВТ не используется. И OpenMP.

Кстати, Мегапрог, создавать виртуалов в каждом треде (котечка, стасолох и проч.) - моветон, палишься

Причем, всегда одинаково. Типо гордый Мегапрог и чел. который его защищает-помогает-рассказывает юзерам-как-правильно-все-делать

Nick: stasolog ID: 174922

Дата регистрации: 31.01.20

Это вместе с притащенным SDL, Nuklear и libevent?

В данном случае лямбды позволяют избежать бессмысленного копирования диаграмм. Если есть метапрограммирование, то почему оно не использовалось?