[noob] вопрос о потоках

> Вот я сейчас все брошу и буду на десять страниц давать описание системы. Посреди ночи. Да даже если и полудня. Нет уж, извините, я не стану этого делать. Не вижу в этом ни малейшего смысла. Вполне достаточно указанных граничных условий. Если вы не в состоянии с ними справиться - ничего страшного. Другие люди вполне в состоянии и у них все работает и все счастливы безмерно :)

http://www.linux.org.ru/jump-message.jsp?msgid=4678585&cid=4678830 Тут я описал граничные случаи. КПД - 0. Опровергнете?

Меня флаги смутили Про адресное пространство Вы и сам уже ниже написали

«my bad» (c) спать хочеццо :)

Так мы про процессы или треды?

> Так мы про процессы или треды?

Про over 9000 потоков и майонезег

Мужик, не парься, это вообще мой виртуал. Или я его виртуал.

так я и не парюсь, мне с виртуалами не влом общаться :)

> так я и не парюсь, мне с виртуалами не влом общаться :)

Я не виртуал! В интернете есть жизнь! Пыщпыщ

Я знаю один постулат. Портированых приложений нет.

это всё неправды :) портированние приложения есть

другой вопрос что изначально by design сделать портированное приложение далеко не всегда удаётся :)

Иногда hello world перенести нельзя.

иногда - да :)

чоткие пацанчики на районе сидят уже в своих шалашиках, а их чоткие подруги делают им яйишницу

жёсткие у них подруги :)

> Вот я сейчас все брошу и буду на десять страниц давать описание системы. Посреди ночи. Да даже если и полудня. Нет уж, извините, я не стану этого делать. Не вижу в этом ни малейшего смысла. Вполне достаточно указанных граничных условий. Если вы не в состоянии с ними справиться - ничего страшного. Другие люди вполне в состоянии и у них все работает и все счастливы безмерно :)

вы слили и убрали майонезиг?

> жёсткие у них подруги :)

Ещё они умеют писать на Лиспе!

> Вот я сейчас все брошу и буду на десять страниц давать описание системы. Посреди ночи. Да даже если и полудня. Нет уж, извините, я не стану этого делать. Не вижу в этом ни малейшего смысла. Вполне достаточно указанных граничных условий. Если вы не в состоянии с ними справиться - ничего страшного. Другие люди вполне в состоянии и у них все работает и все счастливы безмерно :)

вы слили и убрали майонезиг?

Так мы про процессы или треды?

про наследование

под майонезигом!

Слишком абстрактный вопрос, тут нет однозначного ответа.

Я не виртуал! В интернете есть жизнь! Пыщпыщ

это не ко мне, ддось «кацапа» :)

> Слишком абстрактный вопрос, тут нет однозначного ответа.

Какой? Про майонезег?

> это не ко мне, ддось «кацапа» :)

Моя жена успешно это делала всю вчерашнюю ночь =)

Ну да, у тебя Жена есть!

Не хотел бы я переходить на личности, но хочется увидить какие портируемые приложения сделали вы!

Нет

> это не ко мне, ддось «кацапа» :)

Моя жена успешно это делала всю вчерашнюю ночь =)

похоже теперь твой черёд :)

> Нет

Про over 9000 потоков?

> похоже теперь твой черёд :)

Она спит, и я наконец-то могу вылезти в интернеты!

Мне показалось ты все понял.

Не хотел бы я переходить на личности,

не хотел бы - не перешёл бы :)

но хочется увидить какие портируемые приложения сделали вы!

хорошие :) работают, есть не просят

ЗЫ сил нет, уползаю «всю ночь успешно ddos'ить жену» :)

> ЗЫ сил нет, уползаю «всю ночь успешно ddos'ить жену» :)

Вы будете есть суши, пить ликер и болтать всю ночь напролёт?

>read нужно переключиться в kernel space что бы вызвать syscall который

и скопирует данные из буферов сокета в выделеную тобой память. В момент

переключения будут сброшены все-все-все кеши.

Это какие кеши, например?

Я не трогал вчера ночью его жену! Он подвердит!!!!

Хм. А как влияет документированость API на совместимость по ABI?

Напрямую. Внося те или иные вещи в официальную документацию разработчики подписывают со мной, как пользователем, контракт о том, что в тех то и тех то пределах указанная ф-ть будет гарантированно доступна. Ни битом больше ни битом меньше. Если же я пытаюсь вызывать из libmysqlclient нечто, что явным образом не описано в док-и или же лезу в неописанные явным образом публичные поля структур - это сугубо мои сложности. И если завтра что-то в них поменяется (а поменяется) претензии я смогу предъявить сугубо себе. А оно мне надо?

    for (i = 0; i < connections->len; i++) {
            MYSQL *m = connections->pdata[i];
......            
            event_set(ev, m->net.fd, EV_READ, read_result, m);

За такое в industrial grade системах нужно бить по рукам. Просто необходимо. Больно.

MYSQL

This structure represents a handle to one database connection. It is used for almost all MySQL functions. You should not try to make a copy of a MYSQL structure. There is no guarantee that such a copy will be usable.

Думаю, идея должна быть более чем понятна.

Впрочем, судя по PRу уважаемый товарищ catap должен быть чрезвычайно продвинут в промышленных системах баз данных. Мне удивительно, почему ему приходится указывать на столь банальные вещи.

Вообще, любая система, пишется под конкретные версии програм. Под них прогоняются перфоманс тесты и пишется для отдела эксплуатации книжечка, как это все трахать...

Но нельзя же доводить этот подход до абсурда! Только 5.0 вышло AFAIR больше 50ти минорных версий. И в каждой из них разработчики MySQL AB имели полное моральное право сломать нафик весь этот хак с обращением ко внутренним полям структуры MYSQL. Прикажете сидеть жестко на 5.0.123? Или руками бекпортить в свою ветку багфиксы? Или как жить то? Чтобы было спокойно за указанное в таймфрейме мажорного релиза будущее.

Вот вы хотите обновить libmysqlclient, вы верите что он станет лучше? А вы верите что там багов новых не будет? А что регрессий?

С таким подходом, наверное, вообще не стоит обновляться. Сел скажем на 5.0.43 и живешь. Хотя почему на 43? Ведь там между ним и 53 было пофикшено N весьма неприятных багов включая переполнение буфера (допустим). Бэкпортить будем?

Мне показалось ты все понял.

На счёт чего?!

Я не трогал вчера ночью его жену! Он подвердит!!!!

Ну суши мы ели не всю ночь, не надо Грязи. А бар надо обновить, это да.

> Я не трогал вчера ночью его жену! Он подвердит!!!!

Тебе тут про mysql нагружают, кыш тут её поминать.

L1, L2...

И все что напредсказывал предсказатель переходов и разместил в кеше, что бы не лазить за данными, уйдет в никуда.

Это есть в свежих ядрах. В rhel 5 этого нет. я с этого горько плачу и жду rhel 6!

.27? Жди-жди.. Все ждут. Но работать нужно здесь и сейчас. И даже после его выхода все вот так вот по волшебной палочке на 6 не переедет. Ещё там с годик-два а кто-то и больше. Так что долго придется ждать..

Есть два пространства выполнения. User space и kernel space. Твой любимый браузер сидит в user space. Когда он читает данные из сокета, он вызвает read. read нужно переключиться в kernel space что бы вызвать syscall который и скопирует данные из буферов сокета в выделеную тобой память. В момент переключения будут сброшены все-все-все кеши.

Даже page cache? Shit! Как знал, что нельзя так опрометчиво связываться с линуксой :(

> for (i = 0; i < connections->len; i++) {

MYSQL *m = connections->pdata[i];
......
event_set(ev, m->net.fd, EV_READ, read_result, m);
За такое в industrial grade системах нужно бить по рукам. Просто >необходимо. Больно.
MYSQL
This structure represents a handle to one database connection. It is used for almost all MySQL functions. You should not try to make a copy of a MYSQL structure. There is no guarantee that such a copy will be usable.
Думаю, идея должна быть более чем понятна.
Впрочем, судя по PRу уважаемый товарищ catap должен быть чрезвычайно продвинут в промышленных системах баз данных. Мне удивительно, почему ему приходится указывать на столь банальные вещи.

А вы отличаете структуру от указателя? Где тут она КОПИРУЕТСЯ?

>L1, L2

Тогда зачем сбрасывать их полностью, когда можно делать это по необходимости?

> Впрочем, судя по PRу уважаемый товарищ catap должен быть чрезвычайно продвинут в промышленных системах баз данных. Мне удивительно, почему ему приходится указывать на столь банальные вещи.

Откуда в production mysql?

> Напрямую. Внося те или иные вещи в официальную документацию разработчики подписывают со мной, как пользователем, контракт о том, что в тех то и тех то пределах указанная ф-ть будет гарантированно доступна. Ни битом больше ни битом меньше. Если же я пытаюсь вызывать из libmysqlclient нечто, что явным образом не описано в док-и или же лезу в неописанные явным образом публичные поля структур - это сугубо мои сложности. И если завтра что-то в них поменяется (а поменяется) претензии я смогу предъявить сугубо себе. А оно мне надо?

Документированость API не влияет на ABI. Функция на бинарном уровне есть но не описана. Как измениться функция когда ее опишут?

Но нельзя же доводить этот подход до абсурда! Только 5.0 вышло AFAIR больше 50ти минорных версий. И в каждой из них разработчики MySQL AB имели полное моральное право сломать нафик весь этот хак с обращением ко внутренним полям структуры MYSQL. Прикажете сидеть жестко на 5.0.123? Или руками бекпортить в свою ветку багфиксы? Или как жить то? Чтобы было спокойно за указанное в таймфрейме мажорного релиза будущее.

В команде должен быть человек, который будет в состояние проанализировать изменения в открытом компоненте и сделать ряд тестов, которые покажут, изменится ли поведение системы и если измениться сделать backport нужных кусокв, которые закрывают проблемы которые есть у вас.

С таким подходом, наверное, вообще не стоит обновляться. Сел скажем на 5.0.43 и живешь. Хотя почему на 43? Ведь там между ним и 53 было пофикшено N весьма неприятных багов включая переполнение буфера (допустим). Бэкпортить будем?

Если они внесут при этом не приятный баг, то да, будем.

На счет главного ответа на главный вопрос!

Научи!

[noob] вопрос о потоках (комментарий) Тут я описал граничные случаи. КПД - 0. Опровергнете?

Давай так. 1) Пусть запросы тяжелые. Каждый сервер будет тащить максимум 2-3 тяжелые таски. Нахуй 100 подключений до сервера? 2) Пусть запросы лёгкие. 10 000 лёгких запросов через TCP/IP стек устанут продираться - не проще повесить морду на каждый сервер, и делать тупой редирект запросов?

Запросы в пределах одного конкретного сервера - самые разные. И тяжелые и легкие. Даже если все тяжелые, с учетом того, что сервер БД - это минимум 16 а обычно 32 ядра - вот тебе уже умножай на 1.5 рабочих соединения. Эмпирическим же путем после нудного ряда тестов на конкретном железе/сети/звездах/среднем потоке запросов была выведена конкретно для него цифра в ~100 постоянных подключений. Ниже - явно недогребает. Выше - уже просто бестолку, никакого прироста, только память жрет.

В итоге я не понимаю, нахера нам ОДНОВРЕМЕННО 100 подключений к КАЖДОМУ серверу

См. выше.

и 100 серверов воткнутых в один.

А это уже выходит за рамки задачи. 'Нужно!' (tm).

> За такое в industrial grade системах нужно бить по рукам. Просто необходимо. Больно.

Можно раскрыть тему, за что?

При одном frontend для них? шардин руками? У вас что-то не так в консерватории!

> См. выше.

А это уже выходит за рамки задачи. 'Нужно!' (tm).

Какие задачи нужно запускать, чтобы ОДИН сервер смог раздавать по 10 000 ТЯЖЕЛЫХ запросов на 100 других?

Я что-то не понимаю

1) OLAP. На MYSQL? Бгг Не поверю! Плюс тяжелую аналитику один фиг нужно запускать по одному запросу на сервак + хинтовать + тюнить, иначе сдохнет.

2) OLTP. Узким местом будут не CPU, memory, IO, узким местом на таком железе станет сеть.

Какой канал от этого одного сервера до 100 других?

10 гигабит канал, не меньше!

> 10 гигабит канал, не меньше!

10 гигабит, по 32 ядра на сервер - и mysql? Да ты наркоман что ле?

>Научи!

Страницы будут вытесняться по необходимости. Полностью сбрасываются в специфических
случаях, типа соблюдения когерентности кеша. L1 и L2 линукс не различает.

> Страницы будут вытесняться по необходимости. Полностью сбрасываются в специфических случаях, типа соблюдения когерентности кеша. L1 и L2 линукс не различает.

У меня чисто теоритические знания по данному вопросу, но тем не менее - а как с security быть? Ушлый тред сможет прочитать данные другого процесса!