LINUX.ORG.RU

Пятница кончается в понедельник

 , , ,


0

1

Новое/старое железо, трое суток треша, угара и кутежа, а также поиска блуждающей проблемы со стабильностью. А вся суть была в микрокрошке термопасты под первым камнем, сборка на пакетах, временные кулера и прочая жесть, всё как мы любим, теперь всё стабильно, можно возвращать всё в корпус, всем добра. :)



Проверено: dataman ()
Последнее исправление: dataman (всего исправлений: 1)

Щас кстати будет полный вынос для тех кто интересовался потреблением, и кто платит за Свет, при хорошем нагрузе на БД данная сборка отжирает до почти 900вт, живите с этим)))

zasyadko
() автор топика
Последнее исправление: zasyadko (всего исправлений: 1)
Ответ на: комментарий от LINUX-ORG-RU

К слову, как там 1 терабайт DDR5 поживает у sudo H2S04 + @annulen = получилось?

Ну мы пару заявок на гранты написали, если что-то дадут, то будем уже окончательно решать)

annulen ★★★★★
()
Ответ на: комментарий от kirill_rrr

Ну это не аргументы, а аргумент, и не аргумент совсем в данном случае. Там уже писали выше про raidz, как минимум. А это не только надёжность, но и скорость. Энергопотребление здесь уходит на второй план.

zasyadko
() автор топика
Ответ на: комментарий от BceM_IIpuBeT

Если посмотреть и сравнить с Оспреем - как раз чтобы не падать так часто. Ну ещё конечно для мощости и экономичности, но в основном чтобы было проще управлять и не падать.

kirill_rrr ★★★★★
()
Последнее исправление: kirill_rrr (всего исправлений: 1)
Ответ на: комментарий от kirill_rrr

Я понял. Ты у нас квасной патриот. Чтобы не падал, для экономичности. Управлять проще... Авиация у тебя в крови, я смотрю XD

BceM_IIpuBeT ★★☆☆☆
()

Почитал я тред… В линуксах есть cgroups, который позволяет принудительно загнать память отдельного приложения в своп.

steemandlinux ★★★★★
()
Ответ на: комментарий от steemandlinux

А теперь посчитай tbw своих nvme, и старой памяти того же объёма. А также посмотрел бы как ты будешь в своем nvme крутить виртуалки по 100-200 гигов памяти:)

zasyadko
() автор топика
Ответ на: комментарий от BceM_IIpuBeT

А ты видимо неудавшийся разработчик би-коптеров? А чо, модное и перспективное направление! Просто они все закостенели и не понимают!

kirill_rrr ★★★★★
()
Последнее исправление: kirill_rrr (всего исправлений: 1)
Ответ на: комментарий от steemandlinux

Минимум 300% оверхеда по цпу, без учёта латентности. Что уже само по себе сожрёт все бонусы от современного цпу и озу. И кстати, а разве подсистему свопинга уже распаралелили достаточно хорошо? А как много nvme выдают свои пиковые храрактеристики в хаотичном чтении-записи на достаточно большом объёме?

kirill_rrr ★★★★★
()
Ответ на: комментарий от zasyadko

А теперь посчитай tbw своих nvme, и старой памяти того же объёма. А также посмотрел бы как ты будешь в своем nvme крутить виртуалки по 100-200 гигов памяти:)

пингвин-луддит, кек.

мимо обезъян, сидящий 3+ лет на 4Тб (2+1+1) nvme гоняющий более 100 Гб в сутки туда сюда (включая бекапы и тд). О ошибок, самсунговские 980/990 Pro-шки.

Obezyan
()
Ответ на: комментарий от zasyadko

при хорошем нагрузе на БД данная сборка отжирает до почти 900вт

наверно это из-за количества дисков?
Память наверняка и 10% от этого не отжирает

superuser ★★★★☆
()
Последнее исправление: superuser (всего исправлений: 2)
Ответ на: комментарий от kirill_rrr

Тут либо его калькуляторы вместо процессоров просто не смогут хаотично обрабатывать столько памяти, либо после настройки swappiness для cgroup, вся тяжелая нагрузка будет в оперативной памяти, а на накопителях редкоизменяемые данные.

Я почти три года работал с mmap и могу сказать, что условие хаотичного чтения записи для такого количества памяти на таких процессорах чисто теоретическое.

steemandlinux ★★★★★
()
Ответ на: комментарий от steemandlinux

Я просто фигею с бессмысленных оскорблений в адрес чьего то железа. Хотя там 14нм, что даже тоньше чем некоторые выпускающиеся сейчас цпу. И ядра быстрее некоторых современных. И прочие характеристики превосходят некоторых. Ну аналогично тому, что ни одна Тэсла, даже Кибертрак, вот ни разу не в состоянии заменить ражвую карбюраторную Газель.

По поводу памяти - да, у кого то можно больше, лучше, быстрее. Но 1,5Т это тоже весомый аргумент. Наверняка есть сценарии, где важен именно объём а не гигабайты в секунду на 1 канал. Проблемы с доступом к некоторым областям? Предложите тесты!

Вот кстати, zasyadko, может сделаешь дисковый тест хаотичного чтения-записи по рам-диску/тмпфс?

И ещё, тут светилась тема «хочу 1Тб оперативки, но желательно дешевле ляма рублей, у меня рассчёты тяжёлые». Удачи ему в поисках, но вот допустим не найдёт ни ляма, ни подходящей железки. По вашему эти рассчёты быстрее провернутся «быстрыми» ядрами через своп при 128Гб оперы? Ой не уверен... Я знаю как свопятся браузеры, как свопится генту при компиляции фокса и как вообще никак не свопится 7-зип. В последнем случае глубоко насрать какой там поток цпу - он всё равно не работает 99,99% времени.

З.Ы. А ещё я тут бенч увидел. 18-ядерная версия v4 имеет 75% производительности ризена 7800Х3Д, а это второй по скорости проц в игровом классе. v2 соответственно 50%, а 2 таких 100%. Что совсем не мало.

kirill_rrr ★★★★★
()
Последнее исправление: kirill_rrr (всего исправлений: 1)
Ответ на: комментарий от steemandlinux

Да пусть хоть крипту майнит, хоть торренты качает. Там была кстати какая то крипта, упирающаяся в скорость диска. Если не сдохло - можно ещё и затраты отбить.

kirill_rrr ★★★★★
()
Ответ на: комментарий от kirill_rrr

Плоскость формируют не две точки, а три. Т.е. для коптера нужно минимум 3 движка, но используют парное колличество для упрощения.

BceM_IIpuBeT ★★☆☆☆
()
Ответ на: комментарий от kirill_rrr

18-ядерная версия v4 имеет 75% производительности ризена 7800Х3Д, а это второй по скорости проц в игровом классе.

Гениально, 18 ядерный процессор отстаёт в многопоточном тесте от 8 ядерного.

steemandlinux ★★★★★
()
Ответ на: комментарий от zasyadko

при хорошем нагрузе на БД данная сборка отжирает до почти 900вт

Я угадал )

Pohmetolog
()
Ответ на: комментарий от BceM_IIpuBeT

Но трикоптеры на пактике не использутся! Я почти уверен что для того, чтобы проще было управлять по оси камеры и перпендикуляру к ней. А если надо добавить мощности мы получаем 6 и 8 движков. И аналогично наращивают движки на всяких гибридных самолётах и аэротакси.

kirill_rrr ★★★★★
()
Ответ на: комментарий от steemandlinux

Нет, ты не понял. Процессор 2015 года выжимает 75% от производительности предтопового. Или для прикола сравни их цены. я даже гуглить не полезу, тут и так понятно кто эффективней на рубль.

kirill_rrr ★★★★★
()
Ответ на: комментарий от kirill_rrr

«Вот кстати, zasyadko, может сделаешь дисковый тест хаотичного чтения-записи по рам-диску/тмпфс?»

Чем/как сделать? Могу попробовать

zasyadko
() автор топика
Ответ на: комментарий от steemandlinux

Для неигровых задач маловажно. И кстати в 3 раза это относительно ИГРОВЫХ цпу, а не серверных.

Я кстати могу даже предложить энтерпрайзную задачу, где эта железка будет коммерчески очень эффективна: хостинг крупных сервисов с пиками нагрузки. 90% времени сидим на дорогом ультрасовременном Эпике с максимальной энергоэффективностью, а в 10% пиковых часов запускаем дешёвых жручих старичков и балансируем избыточную нагрузку на них.

kirill_rrr ★★★★★
()
Последнее исправление: kirill_rrr (всего исправлений: 1)
Ответ на: комментарий от zasyadko

Я вообще не знаю как делаются дисковые тесты под линем и не вырезали ли из ядра классический ram-диск в пользу zram. Но если соединить их - будет симуляция ворочания больших объёмов данных в памяти.

kirill_rrr ★★★★★
()
Ответ на: комментарий от kirill_rrr

Если это кому-то что-то даст/интересно, сегодня отрезали на виртуалку вин10 24 потока и 900гиг оперативы, в ней запустили аиду64, по ее тестам чтение памяти 36-38ГБ/с, запись 23-24ГБ/с, копирование 27-28ГБ/с, задержка около 149-150нс

zasyadko
() автор топика
Последнее исправление: zasyadko (всего исправлений: 1)
Ответ на: комментарий от zasyadko

А также кристал марк на виртуальном диске, который на raidz3 (HDD):

ReadWrite
SEQ1M Q8T1607.31 MB/s561.62 MB\s
SEQ1M Q1T1486.44 MB/s502.92 MB\s
RND4K Q32T110.47 MB/s10.34 MB\s
RND4K Q1T14.33 MB/s4.8 MB\s
zasyadko
() автор топика
Ответ на: комментарий от zasyadko

Ну и хз что там не нравится медленная память. Рзница +/- 2 раза с Ризен 7000/интел13 и всего 30% от ризен 5000. А ведь платформе 10 лет уже.

kirill_rrr ★★★★★
()
Ответ на: комментарий от kirill_rrr

Вот и я о том же. Так это не на голом железе даже. Вот эти вот комментаторы….. не будем ругаться… фантазируют на темы о которых мало имеют представления

zasyadko
() автор топика
Ответ на: комментарий от zasyadko

Предыдщее сообщение сэмпл задан был на 32 гига, текущий на 1 гиг еще интересней

ReadWrite
SEQ1M Q8T1914.81 MB/s877.19 MB\s
SEQ1M Q1T1862.89 MB/s742.64 MB\s
RND4K Q32T116.73 MB/s15.21 MB\s
RND4K Q1T18.09 MB/s4.44 MB\s
zasyadko
() автор топика
Последнее исправление: zasyadko (всего исправлений: 1)
Ответ на: комментарий от kirill_rrr

Я просто фигею с бессмысленных оскорблений в адрес чьего то железа.

Что такое «оскорбления в адрес железа»? Железо не может оскорбиться.

Я кстати могу даже предложить энтерпрайзную задачу, где эта железка будет коммерчески очень эффективна: хостинг крупных сервисов с пиками нагрузки. 90% времени сидим на дорогом ультрасовременном Эпике с максимальной энергоэффективностью, а в 10% пиковых часов запускаем дешёвых жручих старичков и балансируем избыточную нагрузку на них.

Никто так не делает. Просто потому что эти «старички» не стоят даже места в стойке. Тащемта, если ты посмотришь на текущие тренды в серверном железе, там идёт максимальная упаковка количества ядер в юнит, иногда таки в ущерб производительности на одно ядро (но не сильно). Новые эпики позволяют всунуть 384 ядра (Zen5c) в 1U сервер. Когда стоит выбор между 384 ядрами и 24 ядрами, результат такого выбора как бы очевиден.

hateyoufeel ★★★★★
()
Последнее исправление: hateyoufeel (всего исправлений: 1)
Ответ на: комментарий от hateyoufeel

Что такое «оскорбления в адрес железа»? Железо не может оскорбиться.

В точку! Поэтому оскорбление очевидно адресовано его владельцу. И оно тупое и бессмысленное, то ли от недостатка мозга то ли от зависти.

Новые эпики позволяют всунуть 384 ядра (Zen5c) в 1U сервер. Когда стоит выбор между 384 ядрами и 24 ядрами, результат такого выбора как бы очевиден.

Очевидным он может стать только если взглянуть на цифры стоимости и наличия этих самых ядер Zen5c. Боюсь тут могут быть нюансы. А вот насчёт стоек... Я как строитель хорошо умею расширять доступный объём. Это не дорого. И я вижу на примере вот этой фотки что серверная стойка с юнитами не так уж строго необходима.

kirill_rrr ★★★★★
()
Ответ на: комментарий от kirill_rrr

Поэтому оскорбление очевидно адресовано его владельцу.

Не очевидно. Возможно, оно адресовано Аллаху или Будде.

Очевидным он может стать только если взглянуть на цифры стоимости и наличия этих самых ядер Zen5c.

С наличием проблем нет. По стоимости, они отбиваются за пару лет, если мы говорим о нынешних облаках, являющихся основными потребителями этого железа.

Я как строитель хорошо умею расширять доступный объём.

Нет, не умеешь.

Это не дорого.

Датацентры – это очень дорого. И это вопрос не самого объёма, а питания, охлаждения и каналов связи. Объём – херня, надстроить лишний этаж не то чтобы проблема. Проблема в том, где взять ещё сотню мегаватт чтобы это всё запитать и охладить.

И я вижу на примере вот этой фотки что серверная стойка с юнитами не так уж строго необходима.

Мы уже из других тредов поняли, что ты не шаришь. Представь, что у тебя не один юнит, а пара миллионов, и на всё про всё у тебя 800 мегаватт питания, которые идут не только на само железо, но и на его охлаждение. Просто потому что больше в данном месте в данное время нету, электростанций не построили. Соответственно, чем больше вычислений ты впердолишь в энергетический бюджет без увлечения расходов на охлаждение, тем больше профита выйдет.

Вот этими факторами и диктуется спрос на серверные процессоры сегодня.

hateyoufeel ★★★★★
()
Последнее исправление: hateyoufeel (всего исправлений: 2)
Ответ на: комментарий от hateyoufeel

Нет, не умеешь.

Нет, умею. Причём по цене в 2-4 раза ниже рыночной и без потери ключевых характеристк, за счёт внешнего вида и второ- и -третьестепенных.

Проблема в том, где взять ещё сотню мегаватт чтобы это всё запитать и охладить.

Очевидно в соседнем (с точки зрения пинга) датацентре, расположенном там где есть легкодоступные мегаватты. Охлаждение вообще штука растяжимая.

Представь, что у тебя не один юнит, а пара миллионов

А представь что я - владелец Яндекса! Тогда да, у меня может быть пара милионов юнитов.

А с сотней я вполне смогу разобраться. Насчёт тысячи тут подумать надо.

И вообще, имея энергопотребление в 800МВт нужно задуматься о собственной электростанции. На одном только НДС будешь иметь 20% прибыли. Причём ещё вопрос, что дороже - милион новых юнитов или электростанция.

kirill_rrr ★★★★★
()
Последнее исправление: kirill_rrr (всего исправлений: 2)
Ответ на: комментарий от hateyoufeel

Не очевидно. Возможно, оно адресовано Аллаху или Будде.

Ну да, ну да, мы все именно так и поняли.

kirill_rrr ★★★★★
()
Ответ на: комментарий от kirill_rrr

Причём по цене в 2-4 раза ниже рыночной и без потери ключевых характеристк, за счёт внешнего вида и второ- и -третьестепенных.

Тогда почему ты не строишь датацентры?

Пока что это звучит как «я написал хелловорлд на пердоне, поэтому точно знаю как проектировать распределённые хранилища управления данными».

Очевидно в соседнем (с точки зрения пинга) датацентре, расположенном там где есть легкодоступные мегаватты.

Чо? Уже представляю, как Microsoft слёзно упрашивает дать им поставить пару стоек в ДЦ гугла.

Охлаждение вообще штука растяжимая.

Нет, охлаждение – штука не растяжимая. На типичную стойку подводят 15-25 киловатт энергии. При загрузке 80% это будет 12-20 киловатт тепла, которые надо куда-то девать. При том, что рядом стоят такие же стойки.

А с сотней я вполне смогу разобраться. Насчёт тысячи тут подумать надо.

Не сможешь, я гарантирую.

Плюс, ради сотни 1U серверов никто датацентр строить не будет. Сотня серверов – это 20-30 стоек всего.

У тех же Selectel по 1000 стоек на датацентр, и это считается маленьким ДЦ.

https://selectel.ru/about/data-centers

И вообще, имея энергопотребление в 800МВт нужно задуматься о собственной электростанции.

https://www.technologyreview.com/2024/09/26/1104516/three-mile-island-microsoft/

hateyoufeel ★★★★★
()
Последнее исправление: hateyoufeel (всего исправлений: 3)
Ответ на: комментарий от hateyoufeel

Тогда почему ты не строишь датацентры?

Потому что мне есть что строить, а у желающих построить датацентры уже расписаны контракты.

Чо? Уже представляю, как Microsoft слёзно упрашивает дать им поставить пару стоек в ДЦ гугла.

И та, и другая контора вполне в состоянии самостоятельно оплатить свои собственные центры. А кто то из них даже экспериментировал с охлаждением за счёт морской воды и в чём то эксперимент оказался успешным.

На типичную стойку подводят 15-25 киловатт энергии. При загрузке 80% это будет 12-20 киловатт тепла, которые надо куда-то девать.

Да, да, какой кошмар... Как будто я не видел систем охлаждения на 15-25 МВт. Есть простой и понятный способ помножить проблему на ноль или вообще рекуперировать с пользой. Очевидно проблема не стоит того, чтобы обслуживающему персоналу пришлось пройти лишних пару сотен метров.

Не сможешь, я гарантирую.

С теплотехнической и энергитической частью - точно смогу.

https://www.technologyreview.com/2024/09/26/1104516/three-mile-island-microsoft/

Ой, надо же, они не только задумались, но и выбрали самую экономически эффективную электростанцию! Невероятно!

kirill_rrr ★★★★★
()
Ответ на: комментарий от kirill_rrr

Потому что мне есть что строить, а у желающих построить датацентры уже расписаны контракты.

То есть, слив.

И та, и другая контора вполне в состоянии самостоятельно оплатить свои собственные центры.

Конечно могут. Более того, оплачивают.

А кто то из них даже экспериментировал с охлаждением за счёт морской воды и в чём то эксперимент оказался успешным.

ичо?

С теплотехнической и энергитической частью - точно смогу.

Тогда почему ты не строишь датацентры? #2 Там бабла дохрена платят. Ты не любишь деньги?

Но это всё не важно. Суть в том, что, как я уже упомянул, старые ксеоны вот ровно по тому списку причин, которые я перечислил, никому нахрен не всрались. Собрать наколеночный сервер ради непонятно чего – да, норм. Собирать их сотнями и тысячами делать из этого бабло в промышленных масштабах – нет, потому что конкуренты с современным железом сделают лучше, быстрее и дешевле.

hateyoufeel ★★★★★
()
Последнее исправление: hateyoufeel (всего исправлений: 2)
Для того чтобы оставить комментарий войдите или зарегистрируйтесь.