Про оптимизацию по RAM

Тем более что оперативки сейчас всё равно гигабайтами

Гигабайты-гигабайтами, а на массовых ноутбуках всё равно 4ГБ стоит. Да и на серверах она далеко не бесконечная.

ну на серверах-то вообще всё приятно. Можно всё толкнуть в какой-нибудь Hazelcast или Apache Ignite (которые можно лехкто растянуть на кластер вплоть до 2000 серверов), чем разгрузить локальную RAM от необходимости быть хранилищем данных). А рантайм программы, ну сколько он там сожрет? Если запросы к БД правильные, там может быть, 4GB ноутбука хватит =)

Можно всё толкнуть в какой-нибудь Hazelcast или Apache Ignite

и умереть в лагах NUMA. збс.

стойстой, но ведь это ты сам разложил данные в памяти, ты знаешь на каких она серверах и какой структуры, поэтому можешь умно их запросить. Т.е. чтобы твой запрос совпадал с физической структурой расположения данных, обращался только к правильному сегменту (в данном случае - к правильынм серверам и кэшам внутри них), и так далее. Не?

Внатуре. Есть же уже платы, в которые можно 128 гигов впихнуть, а с русским изобретением энергонезависимой памяти скоро вся система там будет и винт будет нужен только для чтения/записи файлов пользователя.

стойстой, но ведь это ты сам разложил данные в памяти, ты знаешь на каких она серверах и какой структуры, поэтому можешь умно их запросить

юзеру это расскажи. понимаешь какая шняга - кривой алгоритм сожрет всю память сколько дашь, и все равно в malloc'ах утонет. или ты думаешь в жабке malloc'а нет?

Стиви, радуйся что ты далеко - треснул бы тебя стулом по голове и заставил бы тебя сначала раскуривать все с самых физических принципов, а потом пересадил бы на ассемблер - писать продакшн на 8086, до самого обретения просветления.

Ты такую техноересь предложил что даже слаанешиты в страхе убежали. А они, между прочим, сделали ноду!

на любой тип при изначальной разметке RAM можно выделять в 2 раза больше памяти

Нечто подобное давно уже во всю применяется для типов которые могут расширяться в памяти - всякие там списки, хеш-таблицы\словари и прочее. По крайней мере примерно так оно работает в средах вроде джавы или дотнете.

А зачем для других типов выделять память с запасом ? Особенно для типов, для которых потребление памяти заранее определено ?

Держать всё в памяти может и имеет смысл при HDD, но если SSD, то оптимизация по RAM внезапно позволяет запустить всякого софта побольше одновременно.

Мне показалось, что он предложил обычный оверкоммит (кажется не тот термин), который и так уже применяется везде где это имеет смысл. Нет?

Он предложил без особого смысла раздуть все до охренительных размеров. Профита с этого будет мало (и то не везде), зато жор памяти взлетит в разы. Впрочем я не сильно удивлюсь если и веб макаки начнут применять такой подход - занимать памяти больше чем надо на самом деле в несколько раз (даже если использована будет только её часть, причем с гарантией).

ну я вот сижу смотрю, как у нас джависты отчаянно байтики считают, как бы лишний байтик не потратить. А потом запускаешь тесты, и на реальных машинах, все это байтоебство заканчивается обычно только тормозами.

и вот терзает меня совесть. Ну да, с одной стороны, приложуха начала весить со старта не 1Gb в RAM, а 300 мегабайт. Но на эти триста мегабайт были ухлопаны полгода, а могли бы в это время что-нибудь полезное запилить... И код теперь весь в костылях и копипасте из библиотек..

Байтолюбство на языках с реализацией рантайма в VM это как плакать над убежавшим молоком.

После прочтения всего заглавного поста можно предложить только уйти из профессии, такое мышление уже ничем не исправить и оно принесёт только вред самому и окружающим.

в RAM

Медленно.

о да, детка, горение! :)

теперь следи за руками: практически где угодно можно написать такой код, и никто тебя не побьет. У ревьюеров просто не будет достаточно информации, чтобы понять, что происходит (особенно если нет финального аудита, а только выборочное чтение кусочков на геррите).

где теперь твой бог? Ты хочешь побить меня, но не знаешь, кого именно бить!

Но зачем так делать? Это охренительно неоптимальные затраты на получение мизерного профита. Мало того что на жабе, которая просто уже стала божеством в мире производителей памяти, так ещё и специально раздувать код - за такое надо на грушу садить, не меньше (хотя с маководами это не работает).

Ты хочешь побить меня, но не знаешь, кого именно бить!

А зачем мне знать? I have a cyclonic torpedo. I have a planet. Oh! EXTERMINATUS!

ну вот давай начнем с малого. В Эрланге нет переменных вообще. Хочешь поменять что-то - создавай новую переменную. Очевидно что существует момент, перед проходом GC Эрланга, когда память как минимум задвоена. И тем не менее, этот язык придумали заюзали при царе горохе, когда с памятью всё было очень плохо. Не находишь ли ты тут какие-то неувязки со своей позицией? :)

Могу только предположить, что если они этим занимаются, значит есть потребность, это как-то экономически обосновано что-ли, и никуда не деться. А если нет, то проблема уже скорее не техническая.

В остальном мне не очень понятен посыл. Пост начинается с идей для борьбы с количеством аллокаций: ну там коллекции памяти дать навырост, арены, пулы объектов - все это как бы не ново и применяется, а заканчивается предложением просто купить больше памяти.

Ну начнем с того что эрланг придумали уже нифига не при горохе, а несколько позже, да пользовать его начали вообще в середине 90-х, когда памяти уже хватало. Во вторых за каким хреном была сделана неизменяемость никто особо и не понял. Ну и в третьих он так и не взлетел для широкого применения.

А при царе горохе придумали фортран и кобол. А там байтики вообще на вес золота были, так что их дрочили как могли.

ведь это ты сам разложил данные в памяти

Кто-то давным-давно все выдумал, сложил все в ящик, провертел в крышке дыру и ушел… Ушел спать… Тогда что? Приходит отец Кабани, закрывает глаза, с-сует руку в дыру. — Отец Кабани посмотрел на свою руку. — Х-хвать! Выдумал! Я, говорит, это вот самое и выдумывал!.. А кто не верит, тот дурак…

> ведь это ты сам разложил данные в памяти
Кто-то давным-давно все выдумал, сложил все в ящик, провертел в крышке дыру и ушел… Ушел спать… Тогда что? Приходит отец Кабани, закрывает глаза, с-сует руку в дыру. — Отец Кабани посмотрел на свою руку. — Х-хвать! Выдумал! Я, говорит, это вот самое и выдумывал!.. А кто не верит, тот дурак…

В моём понимании примерно так мыслит напильник.

Да так мыслит любой разраб, которого лид не пинает ногами в череп. Ты такой красиво все выдумал, а он взял и запихал все в один жаваскрипт размером с Луну.

Java головного мозга.

Вот IDEA отжирает кучу ОЗУ и всё равно тормозит.

я не сильно удивлюсь если и веб макаки начнут применять такой подход - занимать памяти больше чем надо

Успокойся и вернись в палату. Никто твою память не занимает, скриптовые языки вообще ничего не знают ни про память ни про потоки.

Cache is the new RAM. Если в раме сидит что-то большое и сильно нелинейное, оно будет тормозить.

При изменении значений полей в объектах, можно не изменять сами поля, а делать полную копию объекта в эту свободную память с изменением этого одного поля

Я наверное не потребляю нужных веществ чтобы это понять.

Объясните суть профита? Что у нас улучшается? Скорость обработки объекта? Освобождается памяти больше?!

Что именно улучшает это «нововведение»?

Про оптимизацию по RAM

von Neumann bottleneck -> Intel -> concurrency -> Carl Hewitt -> fail
нечего оптимизировать то, что сломано by disign
в прошлом твоём треде я писал про плот, который все усилено чинят, чтобы он не потонул.
поздравляю, ты принёс новых заплаток — прибей вон там.
www.linux.org.ru/search.jsp?q=Bret Victor&range=ALL&interval=ALL&...

И если всё равно фиг догадаешься, какая оптимизация реально оптимизирует, а какая «тормозит»,

ну...планировать/проектировать пробовал?

ну на серверах-то вообще всё приятно.

мэээ, у меня гениальная идея. А давайте переносить обработку веба с клиента на сервер!?

значит не умеет. или не может