как такое может быть?

Когда у тебя данных хотя бы петабайт, становится важным всё.

Да, и кроме того, распределенные системы более надежны и отказоустойчивы, eg если все приложение работает на одном компе, сбой питания или фатальная ошибка приведет к падению всей системы.

Это только так кажется :) «Натягивание» задачи на кластер - та ещё песня. И пока она заработает более-менее, можно сто раз упавшую однохостовую систему восстановить. И не факт, что кластер ещё и быстрей будет. It depends.

гугл не нанимает вебмакак почему-то. а нанимает программистов на С/C++. и мне лично от них предложение поступало. как и от многих других крупных корпораций. гугл как раз очень умеет экономить. если в их масштабах обрабатывать данные как попало, то это можно влететь на очень неслабые бабосы с серверами и их поддержкой. и чем больше данных - тем важнее реализация их обработки.

я ничего не говорю против распределённых систем. я даже лично писала распределённые системы на С и C++. хотя, как выше справедливо заметили, это не обязательно быстрее. но иногда, когда можно выделить отдельные, относительно независимые блоки данных, это можно использовать.

наверное, поэтому большие и серьёзные компании, у которых дофига серверов, нанимают хороших программистов на С, а мелкие и дешёвые - вебмакак с кулинарного техникума.

В таких компаниях опытные С/С++ инженеры занимаются в основном инфраструктурой, т.е. разрабатывают софт управления распределёнными вычислениями. Вся полезная нагрузка выполняется в специальных изолированных средах код под которые пишут в большинстиве обыкновенные макаки, пусть даже на том же с++, это не сильно влияет на качество. Никакой борьбы за такты нет, уже хорошо если удаётся достичь стабильности пользовательского кода, т.е. он не часто падает вылезая за лимиты cpu/памяти.

борьба за такты иногда тоже есть. и использование С++ - это уже намного дороже, чем всякие говноскрипты. потому что С++ по дефолту быстрее, даже если код пишет макака. но я лично не видела «С++ макак». плюсы требуют мозга, иначе там не выжить. и я лично писала вставки на ассемблере для оптимизации работы с юзерскими сессиями в LTE для телекома. потому что место было слишком критичным. и таки выжимание тактов оправдалось общей производительностью. понятно, что так оптимизируют не всё, но есть узкие места, где это необходимо.

опять же, если у тебя есть молотилка данных, то надо ёё писать оптимально. например, встречались с таким, когда программисты верхнего уровня требовали дополнительный сервер для вычислений (не могли вписаться в существующие мощности), а мы (т.н. железячники, программисты нижнего уровня) взяли их код и методом простой рукопашной оптимизации улучшили его производительность на 30%. просто из ничего, «ловкость рук и никакого мошенства» :) так что макаки не нужны нигде, по сути. и чем больше данных - тем критичнее скорость их обработки. а это затраты на электроэнергию, это время работы серверов, это их количество и бабло, в конечном итоге.

у приложений, написанных на С++ нет никакого выигрыша в скорости, это миф. Выигрыш есть только на синтетических тестах и в небольших кусках кода. Из-за неуклюжести и кривого дизайна языка, на плюсах невозможно написать ничего сложного, таким образом, чтобы это было не через глубокую жопу, поэтому, в целом, приложения на плюсах всегда проигрывают в скорости даже таким языкам как похапе. В целом, та же ситуация что и с JAVA наблюдается, недаром говорят, что история повторяется дважды, первый раз как трагедия(С++), второй как фарс(Java). Никто из уважаемых программистов никогда не называл С++ чем то хорошим. Страус — прекрасный маркетолог, но программист из него никакой. B C++ не язык, по-сути дела. Если си — это макроассемблер, который обеспечивал абстракцию над разным железом, то C++ это макро-си, который вообще непонятно о чем. Просто выехал на том же маркетинге, в свое время, когда на волне смоллтока все пытались навесить ярлык «ООП» на что не попадя. «Мой кот объектноориентированный, а твой попугай нет!»

Ну давай, пиши браузер на похапе.

потому что С++ по дефолту быстрее, даже если код пишет макака.

Это только если макака хотя бы напишет всё без сегфолтов и утечек.

и я лично писала вставки на ассемблере для оптимизации работы с юзерскими сессиями в LTE для телекома. потому что место было слишком критичным.

И какое это отношение имеет к большим компаниям с гигантским парком вычислительной техники? Не стоит переносить свой страдания из embedded и системщины на всё подряд...

чем больше данных - тем критичнее скорость их обработки. а это затраты на электроэнергию, это время работы серверов, это их количество и бабло, в конечном итоге.

До тебя всё никак не доходит очень простая вещь - много данных можно ~перекладывать с места на место, это задачи инфраструктуры, и можно превращать их в новые производные данные. К последнему, например, относится data science.

Компаниям давно уже не нужно просто заниматься передачей данных и сейчас, в т.н. эру big data, востребованы производные данные. Эти самые кадры обладают около нулевыми инженерными навыками, редко умеют больше SQL + питона и даже таких ещё нужно найти. Электричество, железо и прочие расходники вторичны, превична только возможность таким пользователям хоть как-то работать с данными с учётом всей их невменяемости.

на С и С++ всё зависит от программиста. и если программист нормальный, то и приложения можно большие писать (лично такое много раз писала), и оптимизировать можно так, что всякие жабки нервно курят в сторонке. но я не говорю, что макака на это способна. для этого нужно учиться и иметь за плечами много лет опыта программирования. это именно программирование в полном объёме, с алгоритмами, паттернами, знанием внутренних механизмов работы системы для лучшей оптимизации и настроек компиляторов, а не «изучение программирования на С за 15 дней».

Это только если макака хотя бы напишет всё без сегфолтов и утечек.

очень спорное утверждение. одна возможность устроить сегфолты и утечки в С - это уже преграда для макак в профессии. нет их там. потому что надо понимать, что ты делаешь. и понимать головой, а не задницей. копипаста не канает.

я прекрасно знаю, что такое дата сайенс, и даже знаю, какие алгоритмы там используются. правда, мне это не было нужно, но у меня были случаи, когда данные надо было обрабатывать будь здоров (распознавание образов, суровая математика) и всё это на С/C++ прекрасно работает. правда, там ещё больше надо оптимизировать. потому что математика всегда процессороёмкая штука и надо экономить такты, чтобы вписаться в требования по скорости.

производные данные тоже нужны не через год. чем быстрее ты получаешь данные - тем выгоднее ты отличаешься от конкурентов. в этом бизнесе актуальность ещё как важна. и скорость, соответственно. никому не нужны данные, которые были актуальны неделю назад. а чтобы не обсчитывать статистику неделями, нужно оптимизировать код.

в общем, вывод такой: как ни крути, а получить данные быстрее и с меньшим количеством железа всегда выгоднее, чем медленно и при огромных затратах на закупку серверов. это создаёт конкурентоспособность. небольшая разница в цене или скорости может стать решающей в выборе клиента.

и проблема кадров тут ничего не оправдывает. нет смысла нанимать десять макак вместо одного профессионального программиста. и когда манагеры это поймут своим хилым мозжечком, наступит всеобщее благо для компаний и их клиентов. в программировании арифметика жопочасов не работает. десять хреновых программистов не равны одному хорошему.

Лет двадцать назад встречал прикол, что код на forth вместе с интерпретатором получался компактнее ассемблерного. Но это приколы форта, да.

Основная причина медленной загрузки - счетчики, партнерки и CDN-ы.
Я вообще хочу делать страницы, на которых весь контент был бы встроен в base64. Один запрос, одна страница. Ну и текст подгружать ajax-ом.

base64 - жирно слишком. придётся его тоже c cdn тащить, однако :)

счётчики, партнёрки и т.д. элементарно отрубаются при отключении скриптов и явными запретами на проксе. чтобы мусор не болтался. но всё равно ведь тормозит!

про форт мне один немец-программист знакомый рассказывал. вроде как говорил, что стоит его посмотреть. но у меня пока времени не было. возможно, он стоит внимания.

Зачем ты кормишь anonimous'а?

Ну давай, пиши браузер на похапе.

Давай, напиши браузер на цепепе :-)

(распознавание образов, суровая математика) и всё это на С/C++ прекрасно работает.

Как раз суровой математики там не так уж и много. Да и время там экономят покупкой GPU.

я прекрасно знаю, что такое дата сайенс, и даже знаю, какие алгоритмы там используются.

Громко.

Как раз суровой математики там не так уж и много. Да и время там экономят покупкой GPU.

не всё можно засунуть в GPU. хотя GPU покупали для экспериментов (какой-то кирпич от NVidia, если не ошибаюсь, ценой в несколько десятков килобаксов), но до него так и не дошло. интегрировать такие решения в автоматизацию довольно дорого даже для крупных проектов. плюс в распознавании нужно ещё работать с тем, с чем ты сравниваешь. это были не стандартные библиотеки и не стандартные задачи, а запатентованные алгоритмы для специфических задач.

Громко

достаточно, чтобы понимать, что там происходит, какие там есть проблемы и как ужасно криво там реализован почти весь софт на данный момент. там всё печально и пистоны и скалы вокруг. проблема в том, что обработкой занимаются в основном учёные. а они не программисты ни разу. а программисты туда не лезут, потому что им там с математикой ковыряться неохота. вот и получается, что висит это всё в виде кучи неструктурированных библиотек, написанных на разных языках, в которых про оптимизацию не слышали. и всё это разрозненно и мало меж собой стыкуется. возможно, крупные компании для себя пилят что-то проприетарное, более консистентное. но не публикуют это в опенсорце.

Непризнал спросоня. ;)

не всё можно засунуть в GPU.

Ок, а какие задачи в компьютерном зрении сейчас невозможно решить на GPU?

а запатентованные алгоритмы для специфических задач.

Патенованные алгоритмы? В computer vision? Очень странно, область любит открытые статьи.

какие там есть проблемы и как ужасно криво там реализован почти весь софт на данный момент. там всё печально и пистоны и скалы вокруг.

Да там кучи всего, хоть на Java, хоть на C++, к тому же почти любого качества. Код местами говно, но области математики двигаются куда быстрее инженерии.

Ок, а какие задачи в компьютерном зрении сейчас невозможно решить на GPU?

ну, я бы не назвала промышленную автоматизацию «компьютерным зрением». это сканирование в разных спектрах, и выделение определённых дефектов. при этом есть база по эталонам, с которыми сравнивают. и всё это нужно делать в риалтайме, потому что после этого ещё нужно принять решение и послать управляющие сигналы на железяки. скажем так, на принятие решения есть пара миллисекунд. а в GPU это ещё и передать надо, для начала. снять с датчиков, оцифровать, передать в комп, а потом загружать в GPU, обсчитывать, получать результат и слать обратно? как-то сложно. и дорого дофига. так 72 компа в параллели считали разные изображения. графики там не было, естественно. дороговато покупать 72 видеокарты.

Да там кучи всего, хоть на Java, хоть на C++, к тому же почти любого качества. Код местами говно, но области математики двигаются куда быстрее инженерии.

в том и проблема, что опенсорцной реализации актуальных на данный момент математических моделей нет, по сути. и даже по алгоритмам мало статей. есть старьё, которое не шибко эффективно. есть отдельные библиотеки. которые делают конкретные задачи. но если данных дофига и надо всё это размазывать в параллель, то встаёт вопрос, как всё это запускать параллельно. и начинаются проблемы синхронизации обработки и многое другое. и всё очень плохо меж собой склеивается.

в том и проблема, что опенсорцной реализации актуальных на данный момент математических моделей нет, по сути. и даже по алгоритмам мало статей. есть старьё, которое не шибко эффективно.

Не знаю закрытых алгоритмов ML/DS, которые были бы эффективнее нынешних state of art алгоритмов, реализованных в куче либ (как пример - всякие Faster R-CNN).

ну, я бы не назвала промышленную автоматизацию «компьютерным зрением».

Ты сама выше об этом говорила. Ну да ладно, я понял, что мы о разных вещах.

одна возможность устроить сегфолты и утечки в С - это уже преграда для макак в профессии. нет их там.

Сама дойдёшь до CVE и прекратишь чушь нести или нужно мордой потыкать?

я прекрасно знаю, что такое дата сайенс, и даже знаю, какие алгоритмы там используются ... и всё это на С/C++ прекрасно работает.

Как обычно, обобщаешь свой разовый ничтожный опыт на целые сферы разработки о которых вообще не имеешь понятия.

нет смысла нанимать десять макак вместо одного профессионального программиста

Ну конечно, работу лютого алгоритмиста легко выполнит шалупень из embedded помойки.

не, реализации есть. но.... на пистоне. и кому это нужно? то есть, для экспериментов учёных на коленке это подходит: проверили теорию, написали диссер - и забыли. а для работы это не подходит. когда данных реально много, весь этот зоопарк из разных библиотек становится адом. я, к счастью, с этим дел не имела, но наблюдала, как мучились другие. как они немыслимыми способами склеивали разные обработчики данных, чтобы применять разные методы. всё это пока очень сырое и мутное, одним словом. мне туда лезть не то, чтобы не хочется, но не хочется иметь дело с неоптимальными реализациями. а писать всё с нуля, в единой концепции и с оптимизацией - это весьма нехилая задача. и мне её пока применить негде. хотя чисто теоретически это всё занятно.

опять же, по отзывам тех, кто в этом колупался (а ребята были неглупые, все выпускники нашего матмеха), я так поняла, что с публикациями алгоритмов по обучающимся системам обработки данных всё плохо: их очень мало, найти трудно.

Сама дойдёшь до CVE и прекратишь чушь нести или нужно мордой потыкать?

а меня-то чего тыкать? у меня нет таких проблем. не нанимайте левых программистов без фундментального образования - и проблем не будет. а то такое ощущение, что набрали индусов и теперь возмущаются, что, видите ли, С/C++ плохие!

Как обычно, обобщаешь свой разовый ничтожный опыт на целые сферы разработки о которых вообще не имеешь понятия.

опыт в 20 с лишним лет - не «разовый и ничтожный», однако. плюс я математик по образованию. кое-что понимаю. и многое видела если не у себя в коде, то на примере других.

Ну конечно, работу лютого алгоритмиста легко выполнит шалупень из embedded помойки.

я про ваши помойки не в курсе. как-то не лазаю в помойках, извините. не могу спорить со знатоком помоек. но так как я математик, то про алгоритмы я знаю немало и мне частенько приходилось их реализовывать и даже планировать архитектуру.

а меня-то чего тыкать? у меня нет таких проблем.

Ниже рассуждаешь о профессии целиком, причём тут твои проблемы? Давай напомню на счёт чего нужно отрезвиться и восстановить связь с реальностью.

одна возможность устроить сегфолты и утечки в С - это уже преграда для макак в профессии. нет их там.

опыт в 20 с лишним лет - не «разовый и ничтожный», однако. плюс я математик по образованию ... я математик, то про алгоритмы я знаю немало и мне частенько приходилось их реализовывать

Мы уже как-то не один раз обсуждали твои 20 лет и можно было уже понять, что просто число в годах не имеет никакого значения. Чтобы рассуждать о стоимости и важности ресурсов нужно иметь представление о продуктовых задачах и как в них вовлечён труд специалистов разного рода. В масштабе всего пайплайна твой опыт настолько ничтожный и фрагментальный, что его экстраполяции выливаются в слишком комичные обобщения.

особенно в долговременной эксплуатации. одна макака написала дешёвый код, а потом десять лет админы матерятся и перезагружают сервера. офигенно экономично. и потом говнокод множится, усугубляется и всё это едва ворочается и требует постоянного обслуживания. а у юзеров тормозит и вызывает ненависть.

Ты сейчас описала картину эксплуатации говнокода на C++. Я такое много раз наблюдал.

криворукость, рукозадость и прочие эпитеты не очень корректны, если учесть, что людей, которые способны нормально писать на асме под современные процессоры можно пересчитать по пальцам.

Лисп там даже не оптимизировали, руки видать кривые.

Отсюда, наверное, и ответ на твой вопрос.

Обычно асм подключают, когда уж совсем деваться некуда: низкоуровневая часть драйверов и др.

Да, как средство саморазвития язык хорош. Но не следует забывать, что используя его, ты прибиваешь свою программу к конкретной процессорной архитектуре. Лично для меня это как-то стало решающим фактором, отбивающим интерес к ассемблеру. Хотя в 18, 21 и даже 24 года я на нём писал. Первые разы - for fan, последний - уже по работе. Но и это было уже ОЧЕНЬ давно.

Это, по разным оценкам 5-10 раз, а в некоторых случаях выигрыша вообще нет.

5-10 раз - это офигенный выигрыш, вообще-то. В некоторых задачах людям за проценты приходится биться.

влезать в низкоуровневое дерьмо

Полегче с такими оценками, если не хочешь получить холивар. Для меня вот например, интерпретируемые языки без типизации куда больше похожи на дерьмо, чем Си (хотя дерьмовые моменты есть и в нём).

интерпретируемые языки без типизации

что значит «без типизации». Ты о статической типизации что-ли?

Ну да.

за статическую типизацию приходится платить слишком большую цену: типы перестают быть первоклассными объектами языка.

не, реализации есть. но.... на пистоне. и кому это нужно? то есть, для экспериментов учёных на коленке это подходит: проверили теорию, написали диссер - и забыли. а для работы это не подходит. когда данных реально много, весь этот зоопарк из разных библиотек становится адом. я, к счастью, с этим дел не имела, но наблюдала, как мучились другие. как они немыслимыми способами склеивали разные обработчики данных, чтобы применять разные методы. всё это пока очень сырое и мутное, одним словом. мне туда лезть не то, чтобы не хочется, но не хочется иметь дело с неоптимальными реализациями. а писать всё с нуля, в единой концепции и с оптимизацией - это весьма нехилая задача. и мне её пока применить негде. хотя чисто теоретически это всё занятно.

Ну вот, сама привела типичный пример: налабать кое-как работающий код специалисту-непрограммисту (возможно с привлечением питоно-макак) и потом трахаться с его поддержкой группе дешевых питоно-макак-админов с пачкой серверов - дешевле и выгоднее, чем после обкатки алгоритма (т.е. половину пути таки придётся пройти) заставить того-же специалиста написать внятное описание задачи и нанять коллектив профессионалов, которые в связке с этим-же специалистом напишут хороший код за неизвестные, но большие деньги, и неизвестное, но обязательно с нарушением всех сроков, время. Конечно, в итоге возможно, что чисто экономически второй вариант станет резко выгоден, и к нему придут, но скорее всего весь этот бардак будет медленно эволюционировать с приемлемым результатом за приемлемую цену.

Некорректно сравнивать си и асм - это языки разных уровней.

Мне лично асм пригодился лишь однажды, в качестве вставки в сишный код. Нужно было реализовать умножение для переменных с фиксированной точкой для AVR. В си для этого приходилось использовать переменные двойной длины, а в асм можно было обойтись без этого и плюс задействовать специальную инструкцию FMUL, которая одновременно умножает и сдвигает разряды за один такт - как раз то, что нужно для умножения с фиксированной точкой. Выигрыш был почти в 10 раз.

не дешевле и не выгоднее. просто у них нет выбора. а платят за это безобразие конечные юзеры. поэтому говнокод приводит к удорожанию услуг и себестоимости любого продукта, а не к удешевлению.

Если бы говнокод был не востребован рынком, его бы не было. Ты думаешь ты грамотней экономистов и маркетологов? Тогда почему ты на этом задроцком сайтеге, а не в собственном замке в монако?

безусловно, грамотней. они ищут выгоду для себя, а не для людей. не надо путать интересы людей в Монако со своим карманом.

рассуждения на уровне детсада. кэп намекает нам, что на рынке есть конкуренция, что поразумевает удовлетворение потребностей(читай «интересов») потребителя.

я как потребитель сейчас не вижу на рынке веб-приложений чего-нибудь достойного. поэтому не потребляю ничего, не плачу за это гуано ни рубля. всё катится в одно место и от выбора потребителя ничего не зависит.

ты не видишь, другие видят. один потребитель погоды не делает, производитель всегда ориентируется на массовый спрос

[qoute]гугл не нанимает вебмакак почему-то. а нанимает программистов на С/C++.

почему-то с tensorflow он поступает иначе, даже граф без пистона не сгенерить...

ну, видимо, денег нет нанять программистов. наняли макак :) я-то тут при чём? я про крупные компании и критический для работы компании софт говорю. на серверах-то у них такого гуано нет.

я-то тут при чём?

это у меня наболевшее. намучался я с этими базелями и пистонами - все желание отбило работать с этой либой.

я наблюдала почти год, как другие очень сильно мучились. сначала у меня к питону вообще не было никакого отношения. но посмотрев на то, как неэффективно на нём работает софт (а софт писали не дураки, не говнокодеры) и послушав от разработчиков на питоне о его неразрешимых внутренних проблемах, я поняла, что я это в жисть ни разу не трону руками. ну его нафиг. если очень хочется скриптов - лучше уж lua заюзать, на крайний случай.

но реальность такова, что студентов обучают питону. и проблема неэффективности софта усугубляется.

если бы была такая потребность, я бы, может, и села писать математику и алгоритмы обработки на С, но пока что потребности нет. у меня нет бигдаты и нечего обрабатывать, чтобы заморачиваться так мощно.

С tensorflow совсем засада - ядро написано на C++, но полноценный API предоставлен только для питона. Все туториалы на питоне, все модели на питоне... Приходится исхитряться, чтобы получить более менее работующую so'шку и набор заголовочных файлов. Google сделал все, чтобы усложнить использование этой либы в продакшене. Да что там гугл, вся отрасль ML болеет питоном. А у меня, как назло, стойкое неприятие этого языка. Даже не языка, а то, как на нем пишут.

я про крупные компании и критический для работы компании софт говорю. на серверах-то у них такого гуано нет.

Ты же не работаешь в этих компаниях, откуда тебе знать? Если в компании и нет бигдаты, то внутренние CI, облака и прочий софт управления с большой вероятностью будет сделан полностью на py или ruby.

это не так. я много работала в других крупных компаниях. не с биг-датой (хотя она там тоже была, но я с ней дел не имела). и софт управления там везде был написан на плюсах.

это не так. я много работала в крупных компаниях.

Значит, уборщицей работала раз такую чушь несёшь.