LINUX.ORG.RU

Twitter открыл исходные тексты своих модификаций СУБД MySQL

 ,


0

0

Twitter открыл исходные тексты модифицированной версии MySQL, которую используют в компании для хранения текстов твитов, timeline и данных пользователей.

Исходники включают большое количество изменений, в том числе:

  • дополнительные статусные переменные для мониторинга состояния InnoDB;
  • оптимизацию распределения памяти для больших NUMA-систем;
  • возможность отмены долго выполняющихся запросов по таймауту с миллисекундным разрешением;
  • выгрузку и восстановление буферов InnoDB, позволяющую производить быструю перезагрузку СУБД;
  • оптимизации для SSD.

Исходные тексты доступны на github.

>>> Подробности

★★★★★

Последнее исправление: post-factum (всего исправлений: 3)

Оптимизации для SSD
Оооо, будет полезно для нагруженных zabbix- систем

Sheridan
()

Отличный пример качественно выполненого стартапа, не боятся открыть инфраструктуру, ибо они лучшие.

a931bw
()

#спасибоTwitterуЗаЭто

dotbg ★★★★
()

Не хочу показаться толстым, но в этих исходниках видно где растут ноги у тормозов твиттера?

buddhist ★★★★★
()
Ответ на: комментарий от AEP

Будет что сказать противникам MySQL.

то что где-то на github можно найти форк MySQL? таких форков еще минимум два есть, а толку для самого MySQL немного от этого

vaino
()
Ответ на: комментарий от BattleCoder

Разве? У меня не наблюдается тормозов. Наоборот, он просто реактивен. Может дело не в их серваках, а в медленном канале? Или старом железе(левом браузере)?Я с моими скромными тридцатью мигабитами внешки не наблюдаю тормозов на твитере. Может, дело в браузере?

lucentcode ★★★★★
()
Ответ на: комментарий от BattleCoder

тогда почему твиттер такой тормозной?

Потому что он был написан на руби, а теперь ещё и на джаве. Уникальная концентрация быстрых языков в одном проекте.

anonymous
()
Ответ на: комментарий от BattleCoder

На хакер.ру была статья про вес страниц у популярных сервисов, помнится, что страница твиттера весит более 2мб. Думаю в этом дело.

gh0stwizard ★★★★★
()

пацаны ваще ребята.

TDrive ★★★★★
()
Ответ на: комментарий от tazhate

вот именно, жирнота. медленно. думаю, дело не в БД, а в интерфейсе, он попросту ужасен

BattleCoder ★★★★★
()
Ответ на: комментарий от belous_k_a

Эти «эксперды» замеряли вес того что загружается один раз в тысячелетие и обитает вечно в кеше?

Нормально они все замеряли. Фишка в том, что сейчас на всех сайтах заметен перегруз по js, при этом все что можно скинуть в кэш: разметка + картинки весят намного меньше.

gh0stwizard ★★★★★
()
Ответ на: комментарий от gh0stwizard

Фишка в том, что сейчас на всех сайтах заметен перегруз по js, при этом все что можно скинуть в кэш: разметка + картинки весят намного меньше.

Дело в том что на современных сайтах кешируется _все_ кроме пары килобайт новой информации и твиттер тому прекрасный пример.

Для осознания сего рекомендую вам, взять и измерить самому, а не полагаться на чужие маразмы.

belous_k_a
()

в апстрим это надо же!

anonymous
()
Ответ на: комментарий от belous_k_a

Изменить размер можно с помощью расширения Google Pagespeed, он отдельно считает что в кеше, а что каждый раз грузится. Только на твиттере он падает, по крайней мере тот что для хрома

maxcom ★★★★★
() автор топика
Ответ на: комментарий от BattleCoder

тренируй эго, бро.

это лишь представление без б-гомерзкого жабаскрипта
только картинки всё равно ведут на полную версию

wxw ★★★★★
()
Ответ на: комментарий от belous_k_a

Дело в том что на современных сайтах кешируется _все_ кроме пары килобайт новой информации

Замерил в через опера драгон-флай. Если включено даже кэширование, то почти на любой чих грузится свой мелкий json-скрипт, за'gzip'ованный, но тем менее грузится около 1 секунды всегда. Канал у меня довольно шустрый.

gh0stwizard ★★★★★
()
Ответ на: комментарий от gh0stwizard

Речь не про скорость, а про размер в 2мегабайта которые «намеряли специалисты».

А скорость твиттера у меня 5секунд, на 6 мегабитах буквально из-за пары запросов.

belous_k_a
()
Ответ на: комментарий от belous_k_a

Речь не про скорость, а про размер в 2мегабайта которые «намеряли специалисты».

Зря вы так ругаете старейший ит-портал, сами они измерений и т.п. фигней не занимаются в 99% случаев, статья была иностранная. Как только хацкер.ру восстановит работу скину линк на статью.

gh0stwizard ★★★★★
()
Ответ на: комментарий от gh0stwizard

Зря вы так ругаете старейший ит-портал, сами они измерений и т.п. фигней не занимаются в 99% случаев, статья была иностранная.

«Мопед не мой, я просто разместил объяву» ©

Уважающий себя портал не будет размещать заведомо ложные материалы.

belous_k_a
()
Ответ на: комментарий от lucentcode

Подтверждаю, даже на 20 Мбитах не тормозит ничего.

anonymous
()
Ответ на: комментарий от lucentcode

Я с моими скромными тридцатью мигабитами внешки не наблюдаю тормозов на твитере.

Посмеялся, спасибо.

PS. Иногда и на сотне мегабит заметно, я серьезно.

Igron ★★★★★
()

Есть вопрос к знающему населению. С базами данных работал крайне мало, но сейчас на меня взвалили задание сварганить базу, где будут храниться тексты(тексты могут быть как маленькие(~5 символов), так и достаточно большие по моим меркам(~1000 символов)) и даты их создания. Как лучше такую базу организовать? Какие типы данных лучше выбрать?

deterok ★★★★★
()
Ответ на: комментарий от deterok

Капитан Очевидность намакеает, что ответ зависит от того, что нужно с сохраненным текстом потом делать.

theos ★★★
()

там и репликация есть. Надо будет потыкать, спасибо.

xpahos ★★★★★
()
Ответ на: комментарий от theos

Его будут достаточно часто читать, изредка перезаписывать.

deterok ★★★★★
()
Ответ на: комментарий от deterok

Есть вопрос к знающему населению. С базами данных работал крайне мало, но сейчас на меня взвалили задание сварганить базу, где будут храниться тексты(тексты могут быть как маленькие(~5 символов), так и достаточно большие по моим меркам(~1000 символов)) и даты их создания. Как лучше такую базу организовать? Какие типы данных лучше выбрать?

Ты уже придумал 7500 вариантов структур базы из одной 'таблички'? Все типы у тебя стандартные и почти везде есть.

Лучше спроси какую СУБД использовать и вот тебе ответ - Postgres :)

mashina ★★★★★
()
Ответ на: комментарий от mashina

СУБД использовать и вот тебе ответ - Postgres :)

Человек же ничего не сказал про поиск - а, значит, очевидно, нахрен реляционку => Redis ;)

theos ★★★
()
Ответ на: комментарий от gh0stwizard

о у них одна проблемма есть когда в фоксе читаешь твиттер и вниз листаешь на неделю то фаерфокс с такой страницы забьёт всю память и повиснет

ЗЫ однажды долистал страницу до 4 гигабайт трафика полученного из твиттера и похоже фаерфокс всё это в памяти хранил... дома то ничего а вот на работе уже на 5 странице глохнет твиттер..

Thero ★★★★★
()
Ответ на: комментарий от vaino

то что где-то на github можно найти форк MySQL? таких форков еще минимум два есть, а толку для самого MySQL немного от этого

немного толку нынешнему владельцу MySQL. Это по причине его лицензионной политики и способу общения с комьюнити и другими компаниями.

сменит политику - может получить больше бонусов от форков... хотя это вряд ли ;)

VoDA ★★
()
Ответ на: комментарий от AEP

Дооо, майсиквель настолько хорошЬ, что его нужно форкать чтобы он работал нормально. Отличный аргумент!

zz ★★★★
()

Красавы. Твиттер определенно торт. Правда подтормаживать немного начал в последнее время, но не страшно.

/* подозрительно прищурившись */
А что это они так расщедрились?

HerrWeigel ★★★★
()
Ответ на: комментарий от HerrWeigel

Ну они и граф бд свою открыли где фоловеры хранятся и бутстрап пилят. Функционала не так много - инженеры развлекаются как могут.

zz ★★★★
()

твитор нинужен

anonymous
()
Ответ на: комментарий от VoDA

тыц там постепенно пересматривают политику, однако наследие прошлого наплодило уже форков... и лет 5 всё врятли устаканится.

Thero ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.