Концептуальный вопрос о технологическом прогрессе в разрезе БД.

Обычно у режущих инструментов она тоже есть. И даже класс защиты на ней написан, до 1000В или сколько там.

А в чём смысл протестовать против цен? Как протест поможет их вернуть взад?

А в чём смысл протестовать против цен? Как протест поможет их вернуть взад?

Никак. Зато можно поменять говорящие головы в телевизоре.

Обычно у режущих инструментов она тоже есть. И даже класс защиты на ней написан, до 1000В или сколько там.

Мамкины революционеры, как правило, не читатели. Они писатели - пишут историю. Во всяком случае, они так думакют

Уменьшать ячейки флеш-памяти, ширину затвора транзисторов, домены на HDD до бесконечности нельзя. Количество слоёв/блинов тоже не безгранично. Т.е. с одной стороны, мы подходим к завершению роста производительности/объёмов

Не «подходим», а «давно подошли». НЖМД не развиваются уже десять лет, ТТН не развиваются лет пять. «Развитие» сейчас идет в сторону перехода на хранение данных в ОЗУ в распределенной сети ЭВМ.

Телеметрия с самолёта измеряется терабайтами на каждый полёт

Откуда инфа? Мне кажется, что ты перепутал с общим объемом по всему земному шарику.

В современных БД никакие данные вообще не удаляются - лишь помечаются на удаление

СУБД Oracle выпущена в 1979 году, и это была первая СУБД с многоверсионностью, которая не удаляла данные, а лишь помечала их.

Скорее рано, чем поздно, две эти тенденции встретятся и начнут конфликтовать. Мир опять вернётся к эффективному программированию и оптимизации хранящихся данных. Производительности процессоров станет не хватать для обработки всех данных, даже если их накопить. Как думаете, к чему это приведёт?

Проблема нехватки объемов носителей актуальна только для АНБ. которая гребет тоннами развединфу по всему миру. Не собирай инфу — не будет проблемы. Или можно собирать более полезную инфу, а не всю подряд.

Не думали почему облачные компании трясутся за каждый процессор в любом облачном провайдере? А с другой сторны сервисы-помойки экзабайтов всяких видео с котами до сих пор вполне покрываются рекламой? Файл лежащий на диске, который никто никогда почти не читает и не пишет - самое дешевое что может быть

Нужно все-таки разграничить помойки для файлов, которые никто никогда не читает, и помойки для файлов, которые активно читаются, вроде youtube. Во втором случае затраты на чтение с диска этого контента внезапно становятся ощутимыми.

в чём эффективность NoSQL

Я бы задал вопрос иначе: в чем неэффективность SQL. Это старый язык, разработанный под специфичные СУБД, которые существовали еще до многоверсионностей со снимками версий БД. Не говоря уже о том, что сами инструменты обработки данных в SQL крайне куцые, из-за чего возникло кучу расширений самого SQL, и даже независимые SQL-подобные языки, вроде MDX. Теперь же возникает вопрос — а зачем вообще SQL нужен? А незачем. Когда у тебя данные разбросаны по шардам/кластерам, то SQL теряет фундамент, вокруг которого он строился — это операция соединения, необходимая для восстановления требуемой формы данных из нормализованных таблиц. Без соединения SQL превращается в банальную выборку выражений по условиям, и не более того — даже группировочку ведь по шардам особо не поделаешь.

не всем нужны шарды и кластеры

не всем нужны шарды и кластеры

Даже с SQLite на локальном узле приятнее работать, чем с SQL сервером, потому что можно тупо сканировать довольно компактный файл БД, хранящий двоичные данные, и реализовывать произвольную логику обработки этих данных. Как делает, например, fossil. MySQL так-то возник до SQLite, да и более-менее удобным SQLite стал только с появлением упреждающей журнализации (УЖ), до появления которой операции записи блокировали чтение (механизм журнала транзакций).

А как только ты выходишь в клиент-сервер, то очень быстро упираешь в плохую масштабируемость и надежность SQL. Именно SQL, как способа работы с данными, а не конкретной реализации, которая неизбежно будет втиснута в ограничения SQL.

Ютуб - это в основном помойка файлов которые никто не читает. Там смотрят 1% (хз сколько, но мало) и именно они в сателитах сидят

А когда и где народ не сносил повышение цен? Что делал?

Нельзя всех посадить, нужно, чтобы кто-то демонстрировал успешное государство.

Омоновцы в гражданском

Но в 2014 те же авто тупо на ровном месте подорожали вдвое

1. Не только авто, а весь импорт и частично - всё что производное от импорта (включая хлеб, ага)
2. лада тоже подорожала

Откуда инфа? Мне кажется, что ты перепутал с общим объемом по всему земному шарику.

Вот отсюда Ок, не терабайтами, а сотнями гигабайт.

Проблема нехватки объемов носителей актуальна только для АНБ. которая гребет тоннами развединфу по всему миру.

Это пока. Инфу собираются грести все кому не лень

Или можно собирать более полезную инфу, а не всю подряд.

Ага. Интересно, когда это начнётся

Не собирай инфу — не будет проблемы.

ИМХО, до этого вообще не дойдёт.

А когда и где народ не сносил повышение цен? Что делал?

Или бунт(если подавили), или переворот(если не смогли подавить). Да много где.

Толчком к Жакери́и послужили новые денежные обложения

По данным департамента полиции, составленным в октябре 1916 года, за предшествующие два года заработные платы увеличились в среднем на 100 %, тогда как цены на товары первой необходимости — на 300 %

И где переворот устраивать? Коронавирус зог устроило

Боюсь, в сложившихся обстоятельствах целесообразно задуматься о мировой революции

крым забыл

Уже вернулся. NoSQL - первый шаг, эффективное масштабирование и запросы. Возможно не самое эффективное по дисковому пространству, но это самый дешевый ресурс.

А разве NoSQL не переводится как «No’t only SQL»(«Не только SQL»)? То есть эта технология как бы предполагает дополнительный уровень связывания данных, например ORM на стороне клиента.

Ха! Вы в курсе, что БС операторов связи обладают и аккумуляторами, и резервными дизелями?

Почти 16 лет назад «чубайс» доказал, что это не так, во всяком случае то что касается дизелей. И так, что бы два раза не вставать, простите а у бэски висящей на столбе куда дизель запрятан?

Например откуда-то пошла мода даты текстом хранить,

Зачем? С ней же вычисления не удобно производить, типа 40 дней назад/вперед и т.п.

чую чтоб одним полем жсона зону передать

Поясните плиз.

Аккумулятора надолго не хватит, дизель должен быть исправным и кто-то регулярно должен подвозить ему топливо

За этим следят.

Знаю одну конторку городского значения, дизель в подвале есть в наличии, но его бояться включать, существует не нулевая вероятность что здание посыпется :)

И даже класс защиты на ней написан, до 1000В или сколько там.

Убивает не напряжение, а ток. Стыдно товарищ.

Поясните плиз

Одним лонгом передать timestamp и часовой пояс не получится

Тенденция как раз писать все.

Только чего то везде пишут опасное напряжение, не разбираются наверное.

Только чего то везде пишут опасное напряжение, не разбираются наверное.

Закон ома напомнить? Ну и вообще, пару десятков киловольт даже при низком токе ожог таки оставит.

Вот отсюда Ок, не терабайтами, а сотнями гигабайт

Большая часть инфы переливается с земли, и лишь малая часть — в полете. Так-то самописцы никуда не исчезали, по сути единственное нововведение — это что информация с диагностических самописцев переливается более резво. Но почему-то 737 Max это не помогло.

Проблема нехватки объемов носителей актуальна только для АНБ. которая гребет тоннами развединфу по всему миру.

Это пока. Инфу собираются грести все кому не лень

В случае маркетинга это просто рыночек, как только перестанет быть выгодно — закроют лавку. Единственные, кто лавку не закроют никогда — это разведка. Она будет просто менять масштабы собираемых данных согласно доступным ресурсам.

Я думаю, это приведет к появлению законов, ограничивающих сбор телеметрии. Разрешить ее только спецслужбам, и всю инфу хранить под грифом. Всякие реклимщики и прочие торгаши перебьются. Во-первых, снизится общее колличество обрабатываемой информации, во-вторых, будет более-менее решена проблема утечек личных данных. Текущая ситуация, когда к информации о достаточно личных вещах имеет доступ практически неограниченный круг лиц, неудобна очень многи людям. В том числе, даже в первую очередь - многим высокопоставленным людям. Потому что для курьера Василия утечка его данных может сулить максимум впертые с карт деньги и последующую смену всех паролей, то для какого-нибудь корумпированного министра какой-нибудь страны это может привести к потере работы, миллионов деньги, репутации и возможно даже свободы. Так что, я уверен, над решением этой проблемы не одна сотня голов думает.

Но в 2014 те же авто тупо на ровном месте подорожали вдвое - и все невозмутимо начали платить вдвое дороже.

Чушь порешь. Цены на авто более-менее догнали курс доллара только к 2020-2021 году.

https://www.autostat.ru/infographics/33175/

Согласно данным аналитического агентства «АВТОСТАТ», с сентября 2014 года по декабрь 2017-го цены на новые автомобили в России выросли на 49%.

Наибольшая динамика изменения стоимости автомобилей произошла с декабря 2014-го по апрель 2015 года (+21%).

+21% — это «вдвое»?

(Так и рождаются легенды. Вдвое, как же.)

Проблема в том, что в экономике нового времени сбор персональных данных является очень важным инструментом для повышения эффективности работы экономики. Без этого куча рекламы станет неэффективной и массово позакрываются мелкие лавочки, что грозит еще большим увеличением безработицы.

будет более-менее решена проблема утечек личных данных. Текущая ситуация, когда к информации о достаточно личных вещах имеет доступ практически неограниченный круг лиц, неудобна очень многи людям

Прежде всего, большую часть личных данных пользователи передают кому попало самостоятельно и добровольно. Так что бороться тут можно только с идиотизмом. По поводу более конфиденциальной инфы, которую не сообщают добровольно, борьба пушек с броней идет уже давно — потому, например, у воров в законе положено не жить по месту прописки. Я не знаю как сейчас, но совсем недавно в России можно было оформить бизнес на псевдоним. Ну а оффшоры и счета в иностранных банках стали уже неотъемлимой частью более-менее крупного бизнеса.

Ну давай напомни, что старина Ом говорил про ток идеального источника напряжения в 200 вольт.

Почти 16 лет назад «чубайс» доказал, что это не так, во всяком случае то что касается дизелей. И так, что бы два раза не вставать, простите а у бэски висящей на столбе куда дизель запрятан?

А что Чубайс? Связь ещё не менее получаса работала, у одних опсосов лучше, у других похуже, да. В целом, при наличии трёх симок всех опсосов без связи люди не сидели. Дык, все ж звонить принялись, ещё и нагрузка возросла.

На столбе, да, дизеля нету. Но аккумулятор есть.

Закон ома напомнить? Ну и вообще, пару десятков киловольт даже при низком токе ожог таки оставит.

А вам напомнить рядовые напряжения статического электричества? Да, чувствуется хорошо, но никаких ожогов.

В случае маркетинга это просто рыночек, как только перестанет быть выгодно — закроют лавку. Единственные, кто лавку не закроют никогда — это разведка. Она будет просто менять масштабы собираемых данных согласно доступным ресурсам.

Вот мне и интересно, когда разведка начнёт подминать под себя все ЦОДы, насколько быстро это произойдёт.

Так думать ошибка. Посмотрите что делает ютуб, они заказывают специальные асики для эффективного кодирования видео, Google меняет инфраструктуру интернета разрабатывая и внедряя http2, а затем quic. Т.е. корпорации платят квалифицированным инженерам хорошие деньги и те помогают им экономить ещё большие деньги. Это выгодно. Аналогично Netflix содержит хороших сетевых специалистов и я полагаю платят им достойно. Т.е. есть компании, для которых не проблема добавить ноликов, проблема в том что не много людей могут предложить компании что-то чтобы получить эти нолики. Талант не масштабируется

Посмотрите что делает ютуб, они заказывают специальные асики для эффективного кодирования видео

Я тебя огрочу, но асики для кодирования много чего самого разного существуют уже десятилетиями и стоят примерно ничего, и гугл тут не уникален.

А вот то, что светлых умов катастрофически не хватает — это правда. И проблема даже не в том, что «не могут предложить», а в том, как ты сможешь понять есть ли человеку что предложить, либо это кретин, который вываливает тебе бессмысленные фантазии? Вот нанял Гугл Гвидо для ускорения работы питона, и что? Гвидо обосрался, как обычно. Вот у меня сейчас проблема с обратной стороны — как показать, что я чего-то стою, но при этом не погружаясь с головой в дерьмище так, чтобы потом от воспоминания о прошлой вони не блевал следующие десять лет.

А что Чубайс? Связь ещё не менее получаса работала, у одних опсосов лучше, у других похуже, да.

Вот! Получаса! А света сколько не было?

В целом, при наличии трёх симок всех опсосов без связи люди не сидели.

Ну да, ну да... Видимо вы на южной части города не обитали.

А зачем всё это говно где-то долго хранить? Map-reduce его и всё.

ЯННП.

Ну да, ну да… Видимо вы на южной части города не обитали.

Каюсь, не обитал. Впрочем, мне как-то сомнительно, что один-единственный диспетчер мосэнергосетей может устроить подобный блэкаут в нужный момент, максимум - часть города обесточить на полчасика. Так что, мамкины революционеры могут не мечтать.

NoSQL

Давайте таки определимся с терминами.
Hadoop+Hive - это SQL или NoSQL, например?

Можно отстреливать, это проще, дешевле, эффективней.

Ви так пишите, будто в децтве книжек про Ленина не читали.

Все полицаи одинаковые.

Вы, простите, таки уточните - имеете ли ввиду ОМОН, вохру/ппс, участковых-оперов-легавых, чиновников... У них у всех разные типажи, разная мотивация...

мода даты текстом хранить

Последний раз это в хадупе видел - просто потому, что, видимо, из источника нечем быстро сконвертировать.

Ну давай напомни, что старина Ом говорил про ток идеального источника напряжения в 200 вольт.

Старина Ом, никогда ничего не говорил про ток источника напряжения, хоть идеального, хоть не идеального, хоть отвратительного.

Электрические висят открыто, оптоволоконные тоже либо на столбах, либо в канализации, режь все - не ошибёшься :)

Резервных дофига. И угадай, что будет, если попытаешься выяснить, где лежат резервные...
Так просто это не делается, при большом количестве головотяпства нормальной охраны хватает.

Хорошее замечание!

даже группировочку ведь по шардам особо не поделаешь

Ну, ты, наверно, знаком с dask - оно группирует по шардам. Правда, индекс строит на одной ноде.

ограничивающих сбор телеметрии

У нас не телеметрия, у нас CDN!

Каюсь, не обитал.

Так вот, рассказываю :) Света к вечеру того дня, на юге как не было так он и не появился. Таксоиды подняли цены до заоблачных высот. Многие пешком домой шли, благо погода позволяла.
А вы про какие-то аккумуляторы :)

Впрочем, мне как-то сомнительно, что один-единственный диспетчер мосэнергосетей может устроить подобный блэкаут в нужный момент, максимум - часть города обесточить на полчасика.

В части диспетчера скорее соглашусь. Хотя хз какое у них там раздолбайство... Вот один-единственный автоматизатор может.