LINUX.ORG.RU
ФорумTalks

Какой брать? Что на него ставить?

 ,


0

1

http://ru.hetzner.com/hosting/produktmatrix/rootserver-produktmatrix-ex «новые» (цены без ндс)

https://robot.your-server.de/order/market «аукцион б\у» (из цен еще не вычтен ндс)

Задача:

Хостить 2-3 гигапиксельных панорамы. Сырье - около 500к файлов на старте проекта (и около 1М позже) размером от 10кб до 100кб. Отдача по хттп. Общий объем файлов начнется с 30гб, затем их будет под 50-60гб.

Прогнозировать трафик не берусь вообще. Ну текущую панорамку ебурга за этот (13й) год посмотрело всего 4500 уников, что нагенерило за этот период несчастные 17гб входящего и 240гб исходящего. Но это без учета статистики с основного места размещения панорамы (сайт администрации заказчика). За 12й год трафика 600гб вышло.

А под планируемый проект хоститься будет только у меня.

Сейчас стоит минимальный дебиан и вебмин. Тупо апача хватит, или что-то другое лучше сделать?

Как дела с надежностью «б\у серверов» (их рассматриваю, если не увидите смысла гнаться за большим количеством рамы)? Ведь маловероятно быстро огрести смерть обоих винтов?



Последнее исправление: dk- (всего исправлений: 2)
Ответ на: комментарий от dk-

Сложно сказать. Посмотри сколько сейчас потребляется памяти и на основании этого принимай решение. Кроме того всегда сможешь увеличить, ведь тупо перенести по-сути статичный проект с одного сервера на другой особых проблем не представляет.

PS: По нынешним меркам 32Gb это всего-то одна планка LRDIMM.

soomrack ★★★★★
()
Ответ на: комментарий от soomrack

Это ты немного заблуждаешься. Кешировать в данном случае нужно не файлы, а ответы на запросы. Nginx позволяет обрабатывать существенно большее кол-во запросов к статике, чем апач. У меня, например, на дешевеньком vps, 4 ляма запросов в сутки выносило апач

он не заблуждается, а всё правильно написал: у тебя разве были картинки в несколько Гб? Нет, ты отдавал Over9000 страничек в 10К сразу. Это совсем другая задача.

drBatty ★★
()
Ответ на: комментарий от dk-

Я думал, что нужно ее всю в дисковый кэш засунуть.

если не засунуть, то вангую тормоза и жалобы клиентов.

drBatty ★★
()
Ответ на: комментарий от dk-

Винты в зеркало и на них копия, а ссд все жрется в раму (много рамы) для отдачи.

наверное. По моим опытам использование ssd без должного количества памяти не даёт профита. Но много панорам ты всё равно не закешируешь, и потому профит с SSD должен быть(SSD очень хорошо работает для рандомного _чтения_). 1Гб SSD всяко дешевле, чем RAM, и всяко быстрее HDD.

drBatty ★★
()
Ответ на: комментарий от dk-

Чудно блин. А мне всегда казалось, что апач это такой столп в мире веб-серверов. И вообще круче ничего нет.

так и есть. Но для статики как раз лучше что попроще.

drBatty ★★
()
Ответ на: комментарий от soomrack

У тебя же не чтение кучи мелких файлов, а чтение больших — тут обычные винты будут даже быстрее ссд.

файлы не настолько большие. Это вот если файлы в 300..700Гб отдавать, тогда — да. А тут файлы в ~1Гб, но нужны они СРАЗУ. Т.е. закачка должна _сразу_ начинаться. И вероятен вариант, что нужно будет одновременно сливать два файла, попробуй так использовать свой HDD, там ведь одна головка всего...

И да, тормоза тут всё равно будут, и лишнее дёрганье будет заметно невооружённым глазом. Это не вебстраничка, где нет роли, 1мс, или 100мс.

drBatty ★★
()
Ответ на: комментарий от dk-

Так нужно ли гнаться за мега количеством рамы? Вон дают с 32гб.

дык ЦЕНУ смотри. Ясное дело, что RAM быстрее всего. Но она ещё и дороже всего.

drBatty ★★
()
Ответ на: комментарий от drBatty

42 евро (уже без налогов) за 32гб рамы и винты, и 50 евро за 32гб рамы и ссд.

http://ru.hetzner.com/hosting/produktmatrix/rootserver-produktmatrix-ex

имхо дешевле такое не найти. ну и устраивает, в принципе. хотя и жалко почти 2к\мес отдавать.

dk-
() автор топика
Ответ на: комментарий от soomrack

Ну планки по 32гб жутко дороги. Не думаю, что их ставят в такие простые серваки:) Экономия электричества хрен когда окупится.

Так у меня вся суть в том, что на старте нагрузка будет куда больше, чем потом, когда насмотрятся после анонсов.

Я думаю наборот купить сначала самый жирный какой потяну, а потом даунгрейд.

Но блин, 2 раза платить за сетап сервера по 80 евро - уже жалко очень.

Проект то некоммерческий.

dk-
() автор топика
Ответ на: комментарий от dk-

42 евро (уже без налогов) за 32гб рамы и винты, и 50 евро за 32гб рамы и ссд.

я-бы с SSD взял. Разница по деньгам небольшая, но профит в твоём юзкейсе будет (если конечно всё влезет на SSD, они маленькие обычно).

drBatty ★★
()
Ответ на: комментарий от dk-

Панорама весит десятки гб. Я думал, что нужно ее всю в дисковый кэш засунуть.

ыыы! охренеть не встать

200 Мегабит/с, которые гарантирует хетцнер, это всего лишь 25 Мбайт/с, и эту скорость (в случае последовательных нефрагментированных файлов) потянет самый дерьмовый из наидерьмовейших винтов

правда, если файлы сильно фрагментированы, может и не потянуть — худший случай это 10 мс сика на 4кб, т.е. 400 кбайт/с

что-то более реалистичное из страшилок — это 5мс сика на каждый файл в 100кб, т.е. 20 Мбайт/с

если это страшно — бери где-нить дешевенький vps с ssd

(и вероятно не путай веб-сервер и workstation)

www_linux_org_ru ★★★★★
()
Последнее исправление: www_linux_org_ru (всего исправлений: 1)
Ответ на: комментарий от www_linux_org_ru

А откуда последовательность то? Сотни тысяч мелких файлов могут всяко разно лежать на винтах.

Я на ноуте своем (в нем и ссд и хдд) ставил опыт. Запускал офлайн показ панорамы (куда меньшего размера). «На глаз» на ссд все плавно, а с винта - явные лаги подгрузки бывали.

Тест не самый чистый (нет лага на передачу по сети, и винт медленный), но заставляет задуматься.

Вот мне и казалось, что лучше как можно больше файлов в дисковый кэш в раму засунуть. Оно же все само и прозрачно? т.е. не надо никаких специальных кэшировщиков?

dk-
() автор топика
Ответ на: комментарий от dk-

Панорама весит десятки гб. Я думал, что нужно ее всю в дисковый кэш засунуть.

а (последовательная) скорость обмена с оперативкой даже с одного ядра — это не меньше 5Гбайт/с, т.е. 40Гбит/с

где, интересно, ты найдешь хостинг с такой сетью?

www_linux_org_ru ★★★★★
()
Ответ на: комментарий от www_linux_org_ru

(и вероятно не путай веб-сервер и workstation)

да я хочу на 300мб рамы в виртуалке запустить венду. и выставить ее в интернеты. нужна для нескольких штук. правда надо над авторизацией секьюрной подумать нужно.

dk-
() автор топика
Ответ на: комментарий от www_linux_org_ru

Да не знаю я как лучше. Потому и завел тему.

Мне казалось, что даже утилизировать по полной 200мбит (ну в дни анонса), лучше пожирнее все иметь.

dk-
() автор топика
Ответ на: комментарий от dk-

А откуда последовательность то? Сотни тысяч мелких файлов могут всяко разно лежать на винтах.

это от *тебя* зависит — последовательно или всяко разно

если не чувствуешь способностей расположить правильно — бери ssd и не парься

www_linux_org_ru ★★★★★
()
Ответ на: комментарий от dk-

да я хочу на 300мб рамы в виртуалке

я подумал, судя по твоим прошлым запросам, что ты собрался пускать виртуалку с 32Гб

а на 300мб никаких возражений нет

www_linux_org_ru ★★★★★
()
Ответ на: комментарий от dk-

Мне казалось, что даже утилизировать по полной 200мбит (ну в дни анонса), лучше пожирнее все иметь.

ssd потянет 200мбит при непоследовательном чтении и фрагментированных файлах — кстати, для выбора хостинга эту скорость стоило бы померить — скорость рандомного чтения с диска блоками по 4кбайт и 100кбайт

(а твоя идея может иметь смысл, если ты будешь сдавать в аренду кому-то свои гигабайты оперативки не-в-дни-анонсов, но будет ли достаточно у тебя клиентов?)

www_linux_org_ru ★★★★★
()
Ответ на: комментарий от dk-

Оно же все само и прозрачно? т.е. не надо никаких специальных кэшировщиков?

бери ssd такого объема, чтобы все твои панорамы туда поместились, и там тоже не надо никаких специальных кэшировщиков

www_linux_org_ru ★★★★★
()
Ответ на: комментарий от dk-

в виртуалке запустить венду. и выставить ее в интернеты

тут, если ты не хочешь, чтобы винда светилась на жестком диске сервера, вполне возможно надо выделить гигабайтов 4 ... 6 памяти под диск в оперативке

но может быть дешевле будет найти провайдера, дающего в аренду впс-ки с лицензионной виндой

www_linux_org_ru ★★★★★
()
Ответ на: комментарий от www_linux_org_ru

В общем мысль была какая:

Несколько зрителей смотрит одновременно разные части панорамы. Браузер каждого дергает параллельно десятки кусков. Все они размазаны как попало.

Ты хоть в алфавитном (хоть в ином другом) порядке разложи файлы - толку не будет. Все равно чтение из разных мест. (Уточню: речь не о фрагментации, а о, именно, разных файлах в разных местах.). Оттуда и мысли про дисковй кэш в раме.

Ну никаких клиентов я и не жду. Какой мне смысл ради «окупить 2к\мес за сервер» искать соарендаторов. На лоре объявление потом кину, если кому-то зачем-то понадобится - отрежу ресурсов.

Ну вот хетцнер за 50-55 евро дает 32гб рамы и 2х240гб ссд в зеркале. Вот их и брать, походу. Надо будет только с сервером-генератором-«405 ошибка» разобраться.

А что с вендой какие проблемы? Они что ее ищут что ли?

dk-
() автор топика
Ответ на: комментарий от dk-

ВАЖНО: я тут дальше спорю только из любви к искусству (не изобразительному, а искусству оптимизации) — практически я бы *просто* взял ssd

Ты хоть в алфавитном (хоть в ином другом) порядке разложи файлы - толку не будет. Все равно чтение из разных мест. (Уточню: речь не о фрагментации, а о, именно, разных файлах в разных местах.). Оттуда и мысли про дисковй кэш в раме.

гы-гы

1. их нужно разложить на рядом лежащие цилиндры, где seek на соседнюю дорожку порядка 1мс, и заставить ядро юзать elevator algorithm — т.е. я оцениваю скорость рандомного чтения блоками по 100КБ с винта в районе 50 МБайт/с, а то и 100 МБ/с

2. и даже эту скорость можно увеличить, если разложить файлы в z-кривую, т.к. юзера панораму смотрят довольно локально

Ну никаких клиентов я и не жду. Какой мне смысл ради «окупить 2к\мес за сервер» искать соарендаторов. На лоре объявление потом кину, если кому-то зачем-то понадобится - отрежу ресурсов.

я именно объявление на лор-е и имел в виду

так что обещать не обещаю, но вполне возможно че-нить у тебя и арендую — правда по нынешним временам 32ГБ очень дешево можно дома собрать

а если бы мне был *нужен* сервер, я бы давно его арендовал — а мне он только на поиграться время от времени, и то, может я дома себе монстрика соберу

А что с вендой какие проблемы? Они что ее ищут что ли?

не знаю, винду никогда не пускал на сервере, но афайк клиентскую (домашнюю) винду, даже если у тебя есть лицензия на нее, в виртуалке пускать незаконно, и то же самое может быть с программами

а еще я написал свое мнение с той точки зрения, что все-таки оперативка — хотя бы 6ГБ — тебе может пригодится, даже если не нужна собственно под веб-сервер

www_linux_org_ru ★★★★★
()
Последнее исправление: www_linux_org_ru (всего исправлений: 2)
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.