LINUX.ORG.RU

Как правильно это захостить? (1М файлов, десятки гб размера)


1

1

В этом году я для теста снимал очень большую панораму. Она не особо интересная по контенту и снята слишком поздно (в августе, а не мае). Т.е. большого трафика и постоянных восторженных зрителей не будет.

Но цель была и не в этом, а в том, что бы отработать технологии перед следующим годом. В т.ч. нужно правильно захостить это дело. Что бы потом не мучаться. Еще важно сильно не тратиться. Некоммерческое оно.

Сейчас глянул конкретные цифры: 881к файлов, 38гб размера. Соответственно, средний размер файла около 50кб (минимум 2-4кб, максимум до 80-100кб). Там 9 уровней детализации.

Хочется, что бы при просмотре подгрузка шла максимально возможно быстро.

Если смотреть хетцнер, то там гарантируется 200мбит на порт. Если я не сильно тупой, то получается, что это примерно 25мбайт\сек. Т.е. винт такое переваривает спокойно. Но файлов то много. И они распределены по нему. На поиске головками проблем не вылезет? Или этим можно пренебречь и дальше не париться? А на всем гигабите? (пока квоту трафика не выбрал) Это уже до 100+мбайт\сек.

Нереально, что такой поток зрителей будет, но предположим.

Планируется в паре к моей впске взять сервачок у немцев. На аукционе. Там есть конфиги до 32гб рамы, но их мониторить надо. Чаще рамы 16 (чаще всплывают).

Стоит ли взять два сервачка попроще и распределить нагрузку между ними? Можно разные группы уровней детализации грузить с разных машин, это легко позволяется, софту об этом и знать не обязательно. Браузер сам тянет тайлы с указанного адреса. Вообще мне эта идея только сейчас в голову пришла. Надо ее проработать.

Какой мне софт нужно поставить в дополнение к обычной лампочке на дебиане? Про nginx говорили. А делать с ним что-то нужно?

Просьба учитывать, что я даже путти.ехе считай не знаю.

Касательно облаков:

Мои коллеги один свой коммерческий проект (очень много обычных мелких панорамок) перевели на облако - стало на глаз шустрее грузиться все. Но цифр по суммам (оплаты) и трафику я пока не знаю. Меня в облаках смущает непрогнозируемость расходов. Да и хотелось именно свой сервак небольшой, на что нужно еще других ништяков положить 2-3 десятка гб (но почти без трафика).


Ничего бесплатного не нужно. Нужно не слишком дорогое (хочу уложиться в 50 еров в месяц) и с прогнозируемыми расходами.



Последнее исправление: dk- (всего исправлений: 1)

заработай денег и купи сервера, попробуй амазон, говорят хороший. бесплатно много и быстро не будет нигде.

trashymichael ★★★
()
Ответ на: комментарий от trashymichael

ты можешь написать небольшой скрипт который будет при нагрузке подмать серваки в облаке))

trashymichael ★★★
()

если серьезно то я бы не маялся херней и шел по пути наименьшего сопротивления. ниодну из мыслей нельзя принять на веру, все нужно тестировать и начинать с наиболее простого, приемлемого и приятного варианта. думать типа мне сервака не хватит глупо. жать десятку на хостинг тоже, тогда лучше и не начинать. возьми сервак, все подыми, посмотри как в реале работает. начинай нагонять людей, думаю 99% тебя устроит такая конфигурация. если вдруг начнет тупить, будешь думать куда копать и пробовать на готовом. возьмешь для статики с3 например, попробуешь сделать балансировку, почему нет. думаю это типичная задача и есть масса готовых решений. прогнозируемость оплаты облаков устанавливается лимитами, переживать не о чем.

trashymichael ★★★
()
Ответ на: комментарий от trashymichael

Не надо ничего бесплатного. 50 евро в месяц хоть сейчас. Или и этого мало?

Я просто не хочу потом получить счет на 100-200+ евро.

Что такое cdn? (пополз в гугл)

dk-
() автор топика
Ответ на: комментарий от trashymichael

если хорошо все настроить сработать. люди видео хостят на впсах, а на панораму же смотреть будут, паузы в разных клиентах будут складываться, короче начинай и решай конкретные проблемы а не гипотетические вопросы что бы сделать что бы не тормозило то чего еще нет

trashymichael ★★★
()
Ответ на: комментарий от dk-

content delivery network, вроде с3 так и работает, сервера на разных континентах, качается с ближнего свободного от клиента

trashymichael ★★★
()

Может, мое предположение глупо, я не знаю. Заодно раскритикуйте. Как насчет пожать все это во что-то типа squashfs, чтобы оно на диске лежало одним файлом? Если я не сильно туплю, это поможет снизить беготню головок.

KendovNorok
()
Ответ на: комментарий от trashymichael

и он был виртуальный, возьми физический уж точно хватит, но это перебор я думаю, у тебя уже есть трафик, замеры какие-то? сэмулируй активность юзеров на локальном апаче, посчитай показатели

trashymichael ★★★
()
Ответ на: комментарий от dk-

есть рзные инструменты нагрузочного тестирования, например tsung на ерланге, его сначала как проксю ставишь, ходишь по сайту, он пишет лог запросов, потом запускаешь с этим сценарием в Х потоков, увеличиваешь нагрузку, смотришь как работает, прикидываешь

trashymichael ★★★
()
Ответ на: комментарий от dk-

врятли дельный совет тебе дадут тут, это будет пальцем в небо как ни крути, либо делай сам либо бери виртуалку и думать нечего

trashymichael ★★★
()
Ответ на: комментарий от dk-

Могу дать тебе виртуалку, если все устроит - заплатишь.

kukara4 ★★
()

тоесть,у вас стоит проблема раздачи статики на максимальной скорости?

l33tdr4go
()
Ответ на: комментарий от dk-

но я бы не парил со старта 50 евро в сервер, лучше взять два маленьких. начни с одного, на нем будет типа точка входа, а допольнительные мощности в любой момент подключишь и перенаправишь на них юзера с основной страницы

trashymichael ★★★
()
Ответ на: комментарий от trashymichael

Каждая картинка на мониторе (в конкретный момент времени, до следующего зума\смещения камеры) - это несколько десятков жипегов. Они вполне могут быть из разных мест.

Ок, пасиба за мысли, сижу перевариваю. Слишком усложнять тоже не хочется. И да, мега трафика не будет никогда.

dk-
() автор топика

Касательно облаков:

Немножко не в тему, но попробуй потом туда еще peerCDN добавить.

devl547 ★★★★★
()
Ответ на: комментарий от trashymichael

http://storage.selectel.ru/stoimost/

интересно, как у них с доступностью. всмысле больше ли чем один порт будет будет отдавать мое барахло.

dk-
() автор топика
Ответ на: комментарий от trashymichael

Есть уже. Но он битком забит. Под хранение один фиг нужен либо их максимальный впс (а он стоит уже как сервер) либо сервер.

dk-
() автор топика

Хм... А чего там столько всего-то, в панораме?
Что-то я как-то даже и не думал, что это тысячи файлов и гигабайты памяти.

nightingale
()
Ответ на: комментарий от nightingale

две простыни по 450к рх по длинной стороне. Нарезанные на 9 уровней детализации.

dk-
() автор топика

cast nixit, доступ к серверу можно на пару недель выделить мне, в тест под сабж, для нагрузки :)

правда я хз как правильно эмулировать «100500 клиентов тянут жипеги»

dk-
() автор топика
Ответ на: комментарий от trashymichael

Какой cdn надо брать?)

Если «быстрее», то надо брать.

(Ведь быстрее, в смысле отдачи контента клиентам, в т.ч. и каждому конкретному зрителю?

У меня коллеги говорят, что после переезда в облако стало на глаз заметно быстрее грузиться.

dk-
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.