LINUX.ORG.RU

Архитектура Twitter

 , , flockdb, , , , , , , ,


0

2

Подробности о технической реализации и внутренней архитектуре одного из самых быстроразвивающихся интернет-проектов.

Среди используемых технологий:

  • Apache + mod_proxy
  • Ruby on Rails + Unicorn
  • FlockDB + MySQL
  • Cassandra
  • Hadoop

>>> Подробности



Проверено: svu ()
Ответ на: комментарий от anonymous

> Не всем позволяют каналы и провайдеры. Последние так вообще режут 80 порт почти всегда.

Про такое к счастью только слышал. Тогда уж нат не позволяет, ipv6 ждать надо. Но и после этого ничерта такого не будет. Уровень знаний и усилий, нужных для осуществления описанного, уходит далеко за границу приемлемого для абсолютного большинства людей.

anonymous
()
Ответ на: комментарий от anonymous

> Тоже мне уязвимость. Дефолтный view для logout работает через GET. Как будто кто-то заставляет пользоваться им. Свой пишется в момент, джанго (да и рор) - это вам не CMS, где всё гвоздями прибито.

1.

а ещё core-разработчики могут просто навсего засунуть в этот view — *только_одну* строчку — проверяющщую HTTP_REFERER

(и при этом пусть этот logout может так и оставаться работать в их любимом методе GET)

но почему они написали что «wontfix»? только лишь потомучто «маленькая вероятность что ктото будет делать эту \„слепую\“ атаку»?

(вообще core-разработчики очень любят ставить «wontfix» — для тикетов, которых исправить не составляет вообще труда... и ты хоть патчи посылай, хоть что... «wontfix» и всё тут!)

2.

сколько ещё таких маленьких «wontfix»-уязвимостей осталось в Django?

...каждая из которых исправляет за мега-короткое время... но тем-не-менее о каждой из которых нужно хотябы знать, чтобы можно было исправить :-)

обидно же.. ведь хороший фраймворк :-(

user_id_68054 ★★★★★
()
Ответ на: комментарий от anonymous

Какой уровень знаний? Покупаешь коробочку, втыкаешь провод, и сразу получаешь бложек, фоточки и почту. Новые приложения ставятся одной кнопкой. У нас в линуксе так.

vasilenko ★★
()
Ответ на: комментарий от anonymous

> Не всем позволяют каналы и провайдеры. Последние так вообще режут 80 порт почти всегда.

У меня в доме штук 10 провайдеров, например. «Эта не хочет - другую найдём.»

vasilenko ★★
()

Спасибо за статью, интересно было почитать.

gray ★★★★★
()
Ответ на: комментарий от anonymous

>> режут 80 порт

Про такое к счастью только слышал.


самый популярный провайдер в москве — Стрим кажется называется

не думаю что ктото не слышал про Стрим :-)

user_id_68054 ★★★★★
()
Ответ на: комментарий от vasilenko

> У меня в доме штук 10 провайдеров, например. «Эта не хочет - другую найдём.»

у меня в доме только один провайдер... «не хочешь им пользоваться? может не использовать интернет! или седи через сотовый телефон» :-)

user_id_68054 ★★★★★
()
Ответ на: комментарий от user_id_68054

>а ещё core-разработчики могут просто навсего засунуть в этот view — *только_одну* строчку — проверяющщую HTTP_REFERER

HTTP_REFERRER - тоже несерьёзно. Если делать по-человечески, то нужен POST и джанговская защита от csrf. Полумеры неинтересны.

обидно же.. ведь хороший фраймворк :-(

Да не спорю, обидно.

Впрочем, для мелких и средних сайтов с джангой вполне можно работать, а для крупных и толстых проектов она местами тяжеловата и гвозди тоже присутствуют.

anonymous
()
Ответ на: комментарий от user_id_68054

>Самый популярный провайдер в москве — Стрим кажется называется

Хы, да стрим может и не резать, всё равно работать ничего не будет. С upload в 512 или 768 кбит сервер не развернёшь, а больше нельзя из-за ADSL.

anonymous
()
Ответ на: комментарий от Xellos

>В техническом смысле?

не в техническом. Просто пример сайта с динамическим континентом обновляемым автоматически или пользователями и при этом не использующий СПО (включая апач, вебязыки и тд)

DNA_Seq ★★☆☆☆
()
Ответ на: комментарий от anonymous

Проблемы со стабильностью - они, в первую очередь, от кривых рук, а потом уже от языка.

Ага. Конечно. Пишите исчо. Если Язык с его VM падает в  сегфолт и имеет утечки памяти, то тут никакие прямые руки не помогут.

Korwin ★★★
()
Ответ на: комментарий от DNA_Seq

>не в техническом. Просто пример сайта с динамическим континентом обновляемым автоматически или пользователями и при этом не использующий СПО (включая апач, вебязыки и тд)

http://stackoverflow.com/

Там ASP.NET.

anonymous
()
Ответ на: комментарий от Korwin

....

потомучто у остальных (на GNU/Linux.... или на GNU/Linux-хостингах) — таких проблем не заечалось :-)

ну развишто такое могли видеть владельцы OpenVZ VPS/VDS (но вобщемто OpenVZ ничуть не лучше FreeBSD :))

user_id_68054 ★★★★★
()
Ответ на: комментарий от anonymous

>а зачем нужэн twitter?

Чтоб Медвед не дремал... Надо ж президенту чем-то заниматься на работе.

slackwarrior ★★★★★
()

>blinkov (06.03.2011 3:44:12)

Опубликовано 5 марта 2011, автор: Иван Блинков

Кому ты пиздишь?

anonymous
()
Ответ на: комментарий от DNA_Seq

> Просто пример сайта с динамическим континентом обновляемым автоматически или пользователями и при этом не использующий СПО

IIS, ASP.NET. не?

Komintern ★★★★★
()
Ответ на: комментарий от user_id_68054

> пахнет FreeBSD хостингом (с жутким ограничением привелегий пользователей)

что вы имеете против FreeBSD, какое ограничение жуткое? а какое нежуткое?

привелегий


пахнет школотой

Komintern ★★★★★
()
Ответ на: комментарий от dk-

ага ,причем без «504 что-то там таймаут»

Rost ★★★★★
()
Ответ на: комментарий от Komintern

> что вы имеете против FreeBSD, какое ограничение жуткое? а какое нежуткое?

такое что на таких хостингах (через доступ по через SSH) — не получается используя GCC скомпилировать толком ниодну нормальную утилиту/программу...

...он тоже (как и программы на критикуемом ЯП и VM) — вываливается (нехватка виртуальной памяти, или лимил открытых файлов — вобщем это садизм над пользователями!)

в итоге — единственное что можно использовать на FreeBSD-хостингах — это ПэХэПэ :-D [оно не вываливатеся, да!]

anonymous
()
Ответ на: комментарий от Komintern

> пахнет школотой

вы мне льстите! :-)

anonymous
()
Ответ на: комментарий от DNA_Seq

IS, ASP.NET. не?



Ну это же дерьмо жуткое которое выпиливают везде где выпилить могут

Видимо напильники свои они о дебияна сточили, так как что-то слабовато выпиливается.

А на место выпиленного они, судя по всему, PHP кладут ложут.

anonymous
()
Ответ на: комментарий от vasilenko

> Какой уровень знаний? Покупаешь коробочку, втыкаешь провод, и сразу получаешь бложек, фоточки и почту. Новые приложения ставятся одной кнопкой. У нас в линуксе так.

Вах. У вас там в 2030-м майкрософт это захудалая контора по производству мышек?

anonymous
()
Ответ на: комментарий от user_id_68054

> не думаю что ктото не слышал про Стрим :-)

Так вот и грю — слышал :) К счастью лично мне есть из чего выбирать, без подобных ограничений.

anonymous
()

* Apache + mod_proxy * Ruby on Rails + Unicorn * FlockDB + MySQL * Cassandra * Hadoop

Прибавит к этому большое количество пользователей - получаем падения каждые 10 минут

sgne
()
Ответ на: комментарий от Komintern

>> привелегий

пахнет школотой


Ты еще сомневаешься? :)

yaws
()
Ответ на: комментарий от sgne

коллекция размышлений школоты.. большинство которых вообще не смыслит о том что тут написано.

новость не о чем.. давно уже известно о используемых технологиях. и чему тут удивляться.

DILIN ★★★★★
()

По ссылке не ходил. Какой дистрибутив GNU/Linux юзает Твиттер?

ns_ramesses
()

Спасибо всем за отзывы, приятно и местами забавно было почитать:)

blinkov
() автор топика
Ответ на: комментарий от DNA_Seq

>Ну это же дерьмо жуткое которое выпиливают везде где выпилить могут

Хм, а я тебя считал более адекватным.

YogSagot ★★☆
()

Спасибо за интересную статью.

А твиттер по функции бестолков. Отсутствует комментирование конкретного сообщения, есть только обращение к пользователю (от этого бывает трудно понять на какое именно тебе отвечают) и требуется всегда быть онлайн, чтобы «быть в теме». Поэтому твиттер не микроблог, а коктейль новостной ленты с чатом. И ограничение 140 символов, с учётом того, что чуть ли не в каждом посте ссылка, часто недостаточно (особенно если по русски писать). Это сподвигает писать на хромом сленге. Другое дело, что твиттер офигенно раскручен. И folowers/folowings удобней для блогов, чем friends, imho.

P.S. С удовольствием бы почитал хорошую статью про Juick.

Stolzium
()
Ответ на: комментарий от Stolzium

> Отсутствует комментирование конкретного сообщения

да вы эксперт, я смотрю

И ограничение 140 символов, с учётом того, что чуть ли не в каждом посте ссылка


Сокращалки были ещё в IRC

bobrik
()
Ответ на: комментарий от anonymous

Жуйк уже тоже не нужен (спасибо Угничю), нужен бээнвачь (bnw.im)

anonymous
()
Ответ на: комментарий от vasilenko

Уже есть проект распределённого жаббер-микроблога: bnw.im

anonymous
()
Ответ на: комментарий от anonymous

> С upload в 512 или 768 кбит сервер не развернёшь, а больше нельзя из-за ADSL.

Даже в замкадном мухосранске давно тянут волокно в квартиры.

anonymous
()
Ответ на: комментарий от Stolzium

Как я уже говорил, жуйк не нужен. Нужны два его ближайших аналога: psto.net (проприетарщина на текущий момент) и bnw.im (опенсурсное говно).

Анонимус – инсайдер второго и имеет крайне положительные впечатления. Несмотря на наличие отсутствия некоторых важных фишек, которые есть на жуйке, бээнвач вполне успешен среди целевой аудитории: десяток адекватных писателей и примерно столько же содержательных постов в день при полном отсутствии рака и спама я считаю вином.

Кроме того, имеются киллер-фичи: кривая веб-морда отпугивающая блондинок и всякий рак (с возможностью припиливать свои стили), красноглазый жаббер-интерфейс а-ля линуксовая консоль, отпугивающий тех, кого не напугала веб-морда (есть и жуйк-лайк, для неосиляторов), клубы (что-то среднее между коллективными блогами, коммунити и тэгами).

Подробности на http://wiki.bnw.im/

anonymous
()
Ответ на: комментарий от DNA_Seq

Ну фиг знает, датирован 2003 годом против 2006 у твиттера. Причем, что примечательно они плакали и кололись с самого начала, но до сих пор жрут кактус из недотехнологий Microsoft.

BigAlex ★★★
()
Ответ на: комментарий от thevery

попробовал хеши твиттера. Они вообще не работают. Полная туфта.

AVL2 ★★★★★
()
Ответ на: комментарий от BigAlex

>против 2006 у твиттера

В 2006м как раз всплеск был свободных движков на пых-пыхе, своего рода вспышка сверхновой

датирован 2003 годом


странно, по дизайну и подходу к интерфейсу год так 1999-2001й смотрится

DNA_Seq ★★☆☆☆
()
Ответ на: комментарий от q11q11

> таки «ЛИЦОКНИГА» будет более правильно

«МОРДОКНИГА» же :)

sS ★★★★★
()
Ответ на: комментарий от bobrik

Не эксперт, но юзаю, будучи ведомым новомодными веяниями. :)

Если про сокращалки ссылок, так это одно дело (эстетически приятное, к слову). Другое дело, в одном посте сделать адекватное описание информации и дать ссылку, и 140 символов очень часто нехватает. Особенно для русского языка.

Stolzium
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.