LINUX.ORG.RU
ФорумTalks

AWS и в частности S3 как vendor lock

 , , ,


0

1

N месяцев назад мне ставили в упрек то, что якобы аналоги сервисов AWS есть у кучи других провайдеров. Ну есть же да? Сколько альтернативных реализаций S3, да? Как бы не так. Который месяц ковыря S3, я прихожу к однозначному выводу: интерфейсы AWS определены через реализацию, то есть, нет никаких общих абстрактных протоколов, разработанных для конкретных задач. Вместо этого протекает деталь реализации здесь, протекает костыль тут, здесь устаревший параметр, которым уже давно никто не пользуется, а здесь новый параметры, которым ЕЩЁ никто не пользуется, и по итогу портирование минимально сложной системы на базе S3 с одной площадки на другую требует целой команды макак с напильниками.

Раньше я не решался высказать эту мысль, потому что у меня небыло железных пруфов, но сейчас они есть, по крайней мере по отношению к S3. Даже достаточно продвинутые реализации S3 API в Yandex.Cloud или Ceph имеют огромное число несовместимостей с AWS.

Как бы это не могло звучать странно, тем не менее, эту картину я вижу далеко не первый раз. Это не тупая ошибка, а точный расчет — так развивали свои решения как минимум Oracle, SAP, Microsoft, а именно — холили и лелеяли каждый маленький костыль, для поддержки которого приходилось выделять отдельного программиста, ровно для одной цели — чтобы никто не мог реверс-инженернуть твою софтину и написать альтернативу, таким образом уведя клиентов. IBM сделало независимый от реализации стандарт PC? Intel сказал огромное спасибо и монопольно основался в нише.

К тому же, с маркетинговой точки зрения чем больше пунктов с фичанеймами в брошюрках — тем лучше смотрится продукт. Почесать левой рукой левое ухо — замечательная фича. Клиент приходит с запросом «мне нужно почесать левое ухо правой рукой» — «извините, поддержка такой фичи у нас не планируется».

И только не нужно мне говорить, что вот же есть где-то Джон и Фрэнком, которым позарез нужен ваш костыль 1997 года выпуска, без которого они не могут жить. Могут. Разработчик мог сэкономить на поддержке этого костыля, потеряв лояльность пары клиентов — это допустимая жертва. Однако, фактор vendor-lock-а за счет бесконечной поверхности интерфейса В УСЛОВИЯХ ИЗБЫТКА ФИНАНСИРОВАНИЯ слишком привлекателен. Я хочу подчеркнуть фактор избытка финансирования, потому что при недостатке финансирования клиенты Джон с Фрэнком будут мгновенно посланы, руководство ни одной минуты не будет размышлять про какую-то совместимость, доверие клиентов, и прочие пустые слова, лишь поддержка будет отвечать дежурное «мы работатаем над этим, оставайтесь пожалуйста на связи». Всё, о чем будет думать руководство — это как сократить издержки. чтобы выйти на прибыль.

Мне удивляет только тот факт, что подобные соображения никто не пишет на каждом заборе. Ведь это просто священные заповеди коммерческой разработки, но даже я до недавних пор не рисковал оглашать их публично. Страшно то, что эти заповеди «с молоком матери» впитали многие разработчики, и следуют им, даже не понимая, что эти заповеди существуют. «Я должен поддерживать совместимость ради совместимости. Моя совместимость должна быть совместимой. Даже если я обосрался в минорном релизе, который скачало 10 человек — я буду эту ошибку тащить следующие 10 лет разработки, потому что могу».

Кстати, если вдруг у кого-то есть блоги-книжки-статьи, аналогичные этому сообщению — буду благодарен за ссылку. Заранее хочу иключить из списка благодарности заполеннные водой книжки манагеров, ничего не соображающих в коммерческой разработке — это большая часть массы макулатуры мне совершенно не интересна.

★★★★

Последнее исправление: byko3y (всего исправлений: 1)
Ответ на: комментарий от abcq

Вот подобное еще раз доказывает что вы занимаетесь передергиванием и выдумыванием умышленной сложности как краеугольного камня, а с чего их инструмент хуже того же курла?.. До вас никак не дойдет, что ваш багаж знаний это не какой-то общий стандарт

Вообще-то HTTP — это как раз общий стандарт, который очень широко распространен в готовых решениях. Когда амазон начинает лепить собственные велосипеды с треугольными колесами — это выглядит убого. Меня лишь удивляет, что вижу эту убогость я один.

амазон в виду того что он разрабатывает всю систему в целом будет делать свои инструменты со своими интерфейсами и для этого не надо проводить каких то глубоких изысканий

Это и есть велосипедостроение. Вместо стандартных протоколов и универсальных инструментов — собственные наколеночные. Потому взаимодействие с B2 API пишется по докам с нуля за пару недель, а взаимодействие с S3 API возможно написать только через SDK.

чтобы разобраться в технических деталях устройства надо лишь начать в них разбираться, вы в этом плане не уникальны ни на йоту

Ну как сказать... да, в каком-то смысле ты прав, 95% пользователей AWS не разбираются в технических деталях AWS, и вообще ни в каких технических деталях не разбираются, потому что им это «не надо», у них есть более важные задачи, например — отчитаться перед инвесторами о прогрессе разработки или просто закрыть задачку в Jira.

byko3y ★★★★
() автор топика
Ответ на: комментарий от vinvlad

Переносил кластер с GKE на EKS (AWS) - никаких особых проблем не возникло. Просто в прикладном коде нужно изначально выделить свой собственный абстрактный интерфейс работы с корзинами - так чтобы сверху ничего не менять

Я почитал их доки — у Google Cloud Storege S3-подобные интерфейсы. Тем не менее, ты подтверждаешь, что приходится все равно лепить абсракции. И от них никуда не деться, потому что поверхность у S3 API огромна.

byko3y ★★★★
() автор топика
Последнее исправление: byko3y (всего исправлений: 1)
Ответ на: комментарий от bodqhrohro_is_back

Так это бигдата уже, при чём здесь S3, опять же? Берётся парк серверов и оркестрируется

Ну для пары гигабайт на одном сервере облако не нужно.

На что там месяцы тратить? Сейчас же готовые компоненты на каждый чих, склеиваешь за день соплями и едешь

С резервированием, репликацией, версионированием?

А об этом в описаниях вакансий пишут разве?

Да, по крайней мере косвенно.

byko3y ★★★★
() автор топика
Ответ на: комментарий от byko3y

Берётся парк серверов

на одном сервере

Что за манявры?

С резервированием, репликацией, версионированием?

Бэкапы — это уровень абстракции пониже :P

Да, по крайней мере косвенно.

Ну это уже надо иметь прокачанный скилл чтения между строк, значит. Интересно, а автоматизированный инструментарий для этого есть? Типа Bullshit Revealer.

bodqhrohro_is_back
()
Последнее исправление: bodqhrohro_is_back (всего исправлений: 1)
Ответ на: комментарий от byko3y

Ну опять же очевидно, абстракции и башпортянки врапперы для придания приходилось писать ранее до облаков, гетерогенность придумали не в облаках. Но почему-то вы прицепились именно в облакам что эт все заговор усложнения систем, намеренный их загон под разные интерфейсы, а корпораты кровиночки просто не могут себе позволить даже взять и допилить тот же курл под свои нужды хоть там и as is mit, они панически боятся брать чужой код, да и на чем кстати написано их цли решение? Может они еще и об С не хотели мараться. Причин то помимо того чтобы все завендорлочить может быть не мало.

abcq ★★
()
Ответ на: комментарий от bodqhrohro_is_back

Берётся парк серверов

на одном сервере

Что за манявры?

S3 нужен только для бигдаты. Вообще без вариантов. Если кто-то пытается использовать S3 для хранения своей коллекции ROM-ов Dendi, то он поехавший.

С резервированием, репликацией, версионированием?

Бэкапы — это уровень абстракции пониже

Я разве писал про бэкапы? Я писал про 24/7, чтобы система сама продолжала работать после отказа.

byko3y ★★★★
() автор топика
Ответ на: комментарий от abcq

очевидно, абстракции и башпортянки врапперы для придания приходилось писать ранее до облаков

Что-то я не помню, когда в последний раз мне приходилось писать башпортянка для того, чтобы просто скопировать файл из одной папки в другую. Это стало нормой с распространением облаков.

Но почему-то вы прицепились именно в облакам что эт все заговор усложнения систем, намеренный их загон под разные интерфейсы

Разве не так? Ничего личного — просто бизнес. Или типа сами клиенты захотели переусложненное несовместимое говнище?

byko3y ★★★★
() автор топика
Ответ на: комментарий от byko3y

Веришь-нет, но та информация, которую я публикую, не имеет отношения к моей работе. Потому я ее и публикую. Вот такой вот я, что не могу погрузиться в тему «на полшишечки», и если начинаю в чем-то разбираться, то аж стены трясутся. Ну типа я показал, что могу разобраться во всем известном сервисе до уровня, недоступного подавляющему большинству тех, кто думал, что разбирается в распределенных системах. Проблема тут в том, что по этой же причине никто не может оценить мой уровень погружения, потому что если пытаться статьи читать полностью и понимать целиком — начинают плавится мозги, а если не читать полностью, то получаются потерянные логически связи.

Я уже и с той стороны захожу, и с этой — ну не могут люди понять, о чем я пишу, По крайней мере я не вижу понимания того, почему юниттесты в распределенных и многозадачных системах не работают, почему нельзя вхерячить готовое решение как ни в чем не бывало, мол «ну оно же отлаженное». Говорят, что где-то в силиконовой долине мои навыки могут пригодится, но не знаю, когда я туда доеду и доеду ли вообще.

Хоть одна радость — я внезапно обнаружил еще одну айтишную сферу, которую тоже никто не понимает и даже не понимают, почему не понимают — это криптография. Если делать криптографию по индусски, то поделка будет делаться 8 месяцев и успешно пройдет 8 тысяч тестов, после чего 8-летний школьник случайно взломает ее за 8 минут. Такая вот эта ниша, наряду с распределенными, многозадачными системами, и, внезапно, GUI, что никакая алиге, XP, TDD, DRY, SOLID не смогут заменить просто грамотного тщательного проектирования и реализации.

Блок саморекламы и д’aртаньянства. В какой-то из портянок я вроде видел что вы начали читать доку по s3 и доп ресурсы из рабочих нужд, но теперь уже вроде как нет. Хотя, пусть лучше я ошибся, перебирать портянки мне чет очень лениво. По 10 разу писать что каждый разбирается и погружается в тему по нужде, наверное уже нет смысла, это на вас не действует и не работает, вы принципиально этого не понимаете, так же как и того что не все люди склонны делиться инфой. То что технически сложные темы сложны для того чтобы их объял один человек и при этом не упускал из вида всех ее аспектов наверное тоже очевидно. Криптография чуть более чем полностью состоит из хорошей мат базы, поэтому и людей которые в ней именно разбираются достаточно мало, а еще больше картина когда люди разбираются, но написать ничего нормального не могут, потому что математика на уровне, а как программист не очень, потому что не отрасль человека. Это сопряженная область и там нужны специалисты которые концентрируют свою деятельность именно на стыке математики и условной кибернетики (с вхождением и софтовой и хардварной части), таких еще меньше. Не умоляю ваших достоинств, и того что вы закусив удела можете во всем разобраться (каждый может, было бы желание), но сомневаюсь что вы действительно на данный момент в ней разбираетесь лучше других кому она интересна не на профессиональном уровне.

Как ни странно, у базовых механизмов есть конечная сложность и теоретически непреодолимые ограничения…

Вся проблема этого заявления в том, что сложные системы построены на технологиях и инструментарии который далек от примитивов базовой сложности, и там можно на этих абстракциях бесконечно наворачивать еще большие слои абстракций. И таким образом если даже есть ограничения при разборе на базовые части, то нет никаких ограничений в наворачивании абстрактного слоя говна, на другой абстрактный слой говна, нет никакого ограничения на переливания из пустого в порожнее через сеть проксирующего говна, шин, абстрактных машин, нет никакого ограничения на клей соединяющий все эти разнородные системы, во всем это ворохе информационной мутации из одного сервиса в другой нет никаких ограничений, вы можете их клепать хоть по 10ке на дню и соединять самым причудливым образом. Да каждая из них при разборе на «атомы» будет иметь конечную сложность, но в общем, вас никто не ограничивает, разве что вычислительные возможности.

Справедливости ради, подтолкнуло меня на это исследование не сам S3, а прочтение блогов какого-то «исследователя распределенных систем» из амазона. У меня возникла реакция «этот идиот серьезно работает в амазоне, или просто понтуется?». Оказывается, реально работает в амазоне. Дело осталось за малым — найти конкретную тему, которую можно было бы разобрать и показать, что в амазоне нет людей, способных разрабатывать распределенные масштабируемые системы. Это тоже неочевидный факт для людей, не являющихся мной. Как же у них тогда работает AWS? Как-то. Эту тему я в статье тоже затрагивал, приводя пример отказа, о последствиях которого в амазоне никто не подозревал. Грубо говоря, руководство разработку AWS завалило деньгами, а теперь сидит и молится, чтобы в один прекрасный день у них не посыпалась половина инфраструктуры из-за неожиданного отказа слишком большого числа серверов. В том числе по этой причине у них настолько огромное резервирование мощностей.

Этим вы только докажите, что не понимаете того факта что один человек работающий в амазоне не может отвечать за всю структуру в целом, возможно он там вообще уборщиком работает а блог технический ведет чисто из-за таких же как у вас д’артаньянский настроений. Даже если челик будет главный архитектор какого-то из продуктов, все равно один черт он не может дать объективного непогрешимого ответа за всю экосистему, максимум что можно сделать с технически сложными системами, это покрывать их тестами и надеяться на их положительных результатах, что все работает действительно как надо. И это мы даже не касаемся того, как именно это все работает. Ринат там выше уже высказал дельную мысль о том, что Амазон как и любой другой облачник просто написал морду к свой инфраструктуре, но от этого она не стала волшебной, они пользуются всеми теми же благами что и остальные не стоит от них ожидать что они изобретут какие-то абстрактные протоколы которые каким то волшебным образом будут вязаться с тем что вы называете «протекает реализация».

Давай подумаем. БД на MS Access можно развернуть на локалхосте без доступа к интернету. можно выложить БД в сеть и пользоваться ею с нескольких машин с околонулевыми затратами на обслуживание. Что какой-то там админ борется с ветрянными мельницами, и при этом побеждает — какое дело бизнесу до этого всего? Если тебе нужен просто хостинг с доменным именем и SSL — есть сотни, если не тысячи, провайдеров, которые выдадут тебе подобный хостинг. Лепить систему на касандре, редисе, кролике — это из коробки рецепт проблем на ровном месте. Что какую-то часть из этих проблем решит AWS — ну и что? Остальные проблемы организации распределенных вычислений никто решать за вас не будет.

в вас спуфинг заговорил, давай подумаем тут явно лишнее. Вы видимо достаточно молоды, и не застали таких вот кулибиных с access которые пытались на нем что-то изобразить, но когда бд и колво пользователей разрасталось она становилась колом. Потому что реализация бд не рассчитана на большие объемы данных и их интенсивное использование.

Повторяю: сложность решений амазона не вызвана объективными причинами, а вызвана рукожопостью разрабов

Ого какой прогресс, вы же говорили что это заговор, а теперь банальная рукожопость и эффективный менеджмент, а ведь я выше про это и говорю уже 10 раз, и что это только одни из нескольких причин почему любая крупная система состоит из разного качества по склеенного соплямиными мостиками.

Меня больше смущает почему для вас все эти вещи кажутся такими неочевидными, как будто вы первый день варитесь в ит, которое по сути-то не меняется ничерта, технологие приходят и уходят, а ситуация +/- одинаковая, и подходы соответственно.

В общем-то я устал эти портянки писать однотипные, хорошо что у вас запала явно больше, значит ит еще не совсем захерело раз хоть кому-то не все равно )

abcq ★★
()
Последнее исправление: abcq (всего исправлений: 1)
Ответ на: комментарий от byko3y

если у вас процедура переезда чуть сложнее простого копирования и соответственно работа с самими облаками чуть сложнее этого то проще действительно написать своих башсоплей или других аналогов которым только потом подменяй ниже лежащий интерфейс который у всех облаков будет немного разный, а сами вы будете работать со своим который написали сами и который не меняется. Это же тоже классика унификации, написать враппер для единообразия интерфейса ко всем гетерогенным сервисам. Так что дело не в копировании папок, тут спич был немного о другом.

Разве не так? Ничего личного — просто бизнес. Или типа сами клиенты захотели переусложненное несовместимое говнище?

На манеже все те же. Это не краеугольный камень, это лишь одна его грань, а причин достаточно и без этого.

abcq ★★
()
Ответ на: комментарий от byko3y

S3 нужен только для бигдаты

Так о том и речь, что эту ваша бигдату можно на self-hosted молотить с типовым Hadoop развёрнутым.

Я писал про 24/7, чтобы система сама продолжала работать после отказа

Ага, особенно если этот ваш AWS в очередной раз отвалится в какой-нибудь локации.

bodqhrohro_is_back
()
Ответ на: комментарий от bodqhrohro_is_back

Я не отвалился, я просто отдыхаю (с) aws

abcq ★★
()
Ответ на: комментарий от abcq

В какой-то из портянок я вроде видел что вы начали читать доку по s3 и доп ресурсы из рабочих нужд, но теперь уже вроде как нет

Я прекрасно помню, как это завертелось: в рабочих доках случайно набрел на ссылку про strong consistency в S3, прочитал статью, и понял, что ничего не понял, поскольку там были какие-то абстрактные тезисы про «согласованность, стабильность, надежность, свобода, равенство, демократия». Когда я начал копать, то выяснил, что эта кроличья нора уходит очень глубоко. Настолько глубоко, что до меня ее в публичном пространстве на подобную глубину никто не смог раскопать. Вот и вся предыстория. Аналогичное расследование по Facebook-у я делал полностью по собственной инициативе, оно вообще никак не касалось рабочих тем.

Справедливости ради, я еще несколькими статьями ранее вывел формулу для определения ниш, в которых мои аналитические навыки в хламину укатывают среднего архитектора с рыночка. То есть, фокусируя внимание на отдельных гранях продуктов почти любой фирмы я могу показать, что якобы там работают кретины. Не потому, что они все поголовно бездарны и их подход не работает, а потому, что мейнстримовые подходы к программированию не работают в этих отдельных задачах, и потому с вероятностью 99% они будут выполнены отвратительно. Например, strong consistency database — это стопроцентный вариант, во всём IT считанные единицы умеют их разрабатывать. Справедливости ради, я сам как-то проходил мимо этой ниши и тоже думал «да что там особенного может быть», потом некоторое время испытывал трудности при попытках разобраться в теме, а потом с ужасом увидел, что в во всей индустрии через эти «трудности» почти никто не смог пройти, все так и остались на стороне «да что там особенного, всё и так понятно».

Проблема моего подхода к статьям заключается в том, что описываемые мной логические связи эти самые 99% представителей мейнстрима точно так же не понимают, как и авторы критикуемых продуктов. Это как пытаться рассказывать про недостатки конструкции ракетного двигателя перед инженерами, разрабатывающими бытовые вентиляторы. То есть, вроде как все инженеры, но ниши/уровни совершенно разные. «Ракета — это же как вентилятор, только очень большой. Большие вентиляторы мы тоже могли бы сделать, но нам это не нужно». И в каком-то смысле они правы, ведь большая часть индустрии разрабатывает именно ширпотреб, которому не нужно тщательного проектирования, а нужно снижение себестоимости и сроков выпуска.

То что технически сложные темы сложны для того чтобы их объял один человек и при этом не упускал из вида всех ее аспектов наверное тоже очевидно

Неочевидно. Я понимаю, что это считается нормой, но это на самом деле патология. По крайней мере поверхностное представление можно и нужно иметь, достаточное для того, чтобы сделать реализацию конкретного модуля самому, но всё еще находясь в состоянии, когда ты этой реализации даже не начинал делать. По крайней мере мне легко удается карабкаться по уровням абстракции, агрегируя безумное количество деталей. В этом плане мне очень близки гроссмейстеры, играющие вслепую на трех досках — кого-то это удивляет, но на самом деле это тренируемо и доступно многим. Другое дело, что этот навык не работает на многочисленных мелких коммерческих проектах, типичных для современного массового IT — потому аргумент «зачем мне это нужно» вполне оправдан.

нет никакого ограничения на переливания из пустого в порожнее через сеть проксирующего говна, шин, абстрактных машин, нет никакого ограничения на клей соединяющий все эти разнородные системы

Ты сейчас описал рецепт плохой архитектуры, который гарантирует кучу багов, долгую и сложную поддержку. Не потому, что другие члены команды не смогут понять эту реализацию, а потому, что даже сам автор ее не поймет. Это пугающий тренд плана «я тесты прошел, остальное меня не волнует». И не надо мне рассказывать, что про другому невозможно делать — делают, и очень даже успешно. Так что здесь проблема не в принципиально неподъемной сложности, а в том, что один мудак кривым модулем завалил весь проект, поломав принципы модульности.

Криптография чуть более чем полностью состоит из хорошей мат базы, поэтому и людей которые в ней именно разбираются достаточно мало, а еще больше картина когда люди разбираются, но написать ничего нормального не могут, потому что математика на уровне, а как программист не очень, потому что не отрасль человека

Математиков, по крайней мере в СНГ, жопой жуй, но за математику не платят. Просто посмотри кодерские вакансии, связанные со всякой там наукой, а потом посмотри вакансии по разработке магазинов для продажи бургеров — в последних ЗП в 2-3 раза выше. Экстремальный пример — блокчейны. Сравни, сколько людей на рынке рассказывают про знание блокчейнов, и сколько из них может написать собственную реализацию эллиптической криптографии.

Этим вы только докажите, что не понимаете того факта что один человек работающий в амазоне не может отвечать за всю структуру в целом, возможно он там вообще уборщиком работает а блог технический ведет чисто из-за таких же как у вас д’артаньянский настроений

Иронично, да, блогер тот работает одним из ключевых руководителей разработки AWS, но по содержанию блога он, действительно, похож на дворника «наши ученые за один день сдвинут ось земли, и вся твоя страна окажется под водой».

Даже если челик будет главный архитектор какого-то из продуктов, все равно один черт он не может дать объективного непогрешимого ответа за всю экосистему, максимум что можно сделать с технически сложными системами, это покрывать их тестами и надеяться на их положительных результатах, что все работает действительно как надо

Представь, что так бы строили пассажирские самолеты, на которых ты летаешь. К слову, 737 MAX недавно попытались по этой модели реализовать — мы знаем, чем это закончилось. Без этого понимания рано или поздно поделка ломается, и при этом все оказываются невиновными, мол «к пуговицам претензии есть? — Нет, пришиты намертво, не оторвешь. А костюм кто сшил?». Ты адвокатируешь тотальную бездарность и безответственность, причем, с такой коннотацией, будто «по другому и нельзя» — хотя есть полно софта, написанного людьми, понимающими работу всех подсистем. Далеко ходить не нужно — это Linux.

Вы видимо достаточно молоды, и не застали таких вот кулибиных с access которые пытались на нем что-то изобразить, но когда бд и колво пользователей разрасталось она становилась колом. Потому что реализация бд не рассчитана на большие объемы данных и их интенсивное использование

Я слишком стар и видал много больших залуп. По этой причине являюсь фанатом SQLite. У MS Access есть жесткий лимит в 255 параллельных соединений, но даже этого более чем достаточно для масштабирования до десятков тысяч пользователей. Другое дело, что люди, которые развивают решения на базе MS Access, часто не разбираются в программировании, и потому заваливаются намного раньше. Дай твоему кулибину абсолютно любой инструмент — они его разобьет и руки себе порежет. Я лично видел поделку на MS Access, которая перебирала декартово произведение.

Повторяю: сложность решений амазона не вызвана объективными причинами, а вызвана рукожопостью разрабов

Ого какой прогресс, вы же говорили что это заговор, а теперь банальная рукожопость и эффективный менеджмент

А давай ты не будешь цитировать предложения кусками, потому что продолжение моей цитаты опровергает твой тезис — это рукожопость, помноженная на тонкий коммерческий расчет.

Меня больше смущает почему для вас все эти вещи кажутся такими неочевидными, как будто вы первый день варитесь в ит, которое по сути-то не меняется ничерта, технологие приходят и уходят, а ситуация +/- одинаковая, и подходы соответственно

Дейкстра про те же процессы писал уже в 80-х. Я его привожу просто как доказательство, что эта ситуация стара, как само IT. Меня больше удивляет тот факт, что другие люди про это так мало пишут. Ну типа «да, у нас тут едят детей, ничего особенного, проходите».

byko3y ★★★★
() автор топика
Ответ на: комментарий от abcq

Это же тоже классика унификации, написать враппер для единообразия интерфейса ко всем гетерогенным сервисам. Так что дело не в копировании папок, тут спич был немного о другом.

Разве не так? Ничего личного — просто бизнес. Или типа сами клиенты захотели переусложненное несовместимое говнище?

На манеже все те же. Это не краеугольный камень, это лишь одна его грань, а причин достаточно и без этого

Я не спорю, что есть разные нестандартные штуки, которые вынуждают пользоваться нестандартными интерфейсами. Я спорю с тем, что API AWS должно быть таким кривым, косым, и сложным. Никакими техническими причинами это не обусловлено, это обусловлено тем, что, однажды кто-то что-то сделал, и этот страшный вид решили оставить таким как есть, потому что «зачем тратить деньги на улучшение того, что помогает осуществлять vendor-lock?». Что хараткерно, сам Amazon не сможет поддерживать свою поделку. если резко сократится финансирование. Такая история происходит с Microsoft или менее известным Blizzard. Хотя, есть Google, который в таких случаях проекты просто закрывает ни минуты не сомневаясь.

byko3y ★★★★
() автор топика
Ответ на: комментарий от bodqhrohro_is_back

Так о том и речь, что эту ваша бигдату можно на self-hosted молотить с типовым Hadoop развёрнутым

Ну хадуп — это уже что-то сравнимое с S3. Странно, что ты знаешь про хадуп, но не знаешь про S3. Ceph, MinIO?

Ага, особенно если этот ваш AWS в очередной раз отвалится в какой-нибудь локации

Во-во, за это мне особенно нравятся облачные провайдеры.

byko3y ★★★★
() автор топика
Ответ на: комментарий от crypt

tl;dr. в одном (макс. 3) предложении, о чем пишет ТС?

AWS и аналогичные облачные системы — говнище, специально разработанное для выкачивания денег из лохов и не имеющее иной функции, в этом его «революционность». Далее в исходном сообщении и обсуждениях я высказываю новые аргументы, почему это не случайно, почему это уже давно сознательная политика и целенаправленно пропагандируемая культура «разведи своего работодателя на AWS, никого не увольняют за построенную на AWS систему».

Не путать облака с PHP хостингом.

byko3y ★★★★
() автор топика
Ответ на: комментарий от byko3y

Кстати, по этому поводу мне вспомнились параллели с Git. Не нужно мне рассказывать, что Git — это такой волшебный инструмент, что все резко захотели им пользоваться, хотя несколько лет до этого плевались, кололись, и плакали, но вынуждены были пользоваться для сорцов ядра Linux. Git популяризован GitHub-ом, причем, не только и не столько самим фактом наличия хостинга, сколько агрессивным маркетингом через блогеров, коучей, и книжки с рассказами про голос бога, который некогда был услышан, записан в текстовом редакторе, и скомпилирован — так родился Git. Я сейчас не шучу, по степени упоротости тогдашние идеологи Git были на этом уровне. Как и любой другой искуственный информационный пузырь, эта мифология быстро надуывается и так же быстро сдувается, потому мало кто про нее помнит, но она была! А тот факт, что из битвы хостингов GitHub вышел победителем, говорит нам, что маркетинг таки решает больше, чем техническое качество реализации.

byko3y ★★★★
() автор топика
Ответ на: комментарий от byko3y

Даже вы не делаете с первого раза все хорошо, это и называется легаси, это не заговор предприимчивых бобрят.

abcq ★★
()
Ответ на: комментарий от byko3y

Ты сейчас описал рецепт плохой архитектуры, который гарантирует кучу багов, долгую и сложную поддержку. Не потому, что другие члены команды не смогут понять эту реализацию, а потому, что даже сам автор ее не поймет. Это пугающий тренд плана «я тесты прошел, остальное меня не волнует». И не надо мне рассказывать, что про другому невозможно делать — делают, и очень даже успешно. Так что здесь проблема не в принципиально неподъемной сложности, а в том, что один мудак кривым модулем завалил весь проект, поломав принципы модульности.

Cтрашно, очень страшно, если бы мы знали что это такое, но мы не знаем что это такое (с) И так уже ооооочень давно, масштабы просто растут в виду того что мощности растут, хотя это нивелируется отупением и абстракциями, менее вылизанным кодом, большим процентом говнокода, жирничами на средах исполнения, так что +/- все остается в каком-то стабильном состоянии околочепухи.

abcq ★★
()
Ответ на: комментарий от crypt

ну а что ты предлагаешь в замен? разводить на m$ cloud?

Я отвечал, что Azure и Googel Cloud — этой идейные клоны AWS. Мой самый главный совет тем, кто уже готов попасть на деньги: вы не гугл, вам не нужна такая масштабируемость, даже с помощью облаков вы не сможете ее вытянуть.

Выше я сравнивал AWS с тренажером, который обещает за неделю убрать жир с жопы, то есть, быстрое простое решение здесь и сейчас, «я купила тренажер, уже через день вежливый молодой человек доставил мне его прямо к порогу дома, и я начала заниматься. Вот прошло две недели, и посмотрите на меня» — камера дает общий план, видна баба модельной внешности 90-60-90 с толстым слоем макияжа на лице и на высоких каблуках, — «и при этом я ни в чем себе не отказываю, ужинаю в макдональдсе поздно вечером для крепкого сна, чтобы утром проснуться бодрой и полной сил». Если вы реально хотите получить результат, то придется долго и упорно работать, по другому ничего не достичь. Просто посмотри в гугле, сколько секретных документов утекло с AWS — эти люди тоже думали, что амазон решит все их проблемы, что им не нужно быть технически грамотными.

На самом деле в ходе треда я поднимаю ставку: я утверждаю, что в Amazon нет людей, умеющих строить масштабируемые распределенные системы, приводя примеры провалов. Их и не было никогда, строить свою систему на AWS — это как пригласить Чубайса строить вам бизнес.

byko3y ★★★★
() автор топика
Ответ на: комментарий от abcq

гит неплох, но и у него есть проблемы, ололо-сообщество просто клюнуло от линуса, можно доверять

«Клевало» оно лет пять.

byko3y ★★★★
() автор топика
Ответ на: комментарий от abcq

Даже вы не делаете с первого раза все хорошо, это и называется легаси, это не заговор предприимчивых бобрят.

Легаси легасям рознь, не надо так обобщать.

byko3y ★★★★
() автор топика
Ответ на: комментарий от byko3y

Просто посмотри в гугле

а еще раз, у тебя стаж работы в построении high load и конкретно AWS какой? т.е. нам твое мнение важно, потому что... ?

crypt ★★★★★
()
Последнее исправление: crypt (всего исправлений: 1)
Ответ на: комментарий от byko3y

этого было достаточно чтобы гит стал стандартом де-факто и наплодить армию поклонников которые еще не поняли что просто поменяли шило на мыло, ретрансляция была уже запущена и она работала.

abcq ★★
()
Ответ на: комментарий от byko3y

да как не обобщай, злонамеренно никто не делает костыльных решений просто чтобы система была хероворасширяемой, хрупкой и «протекающей по реализации». Руководство дало задачу взять текущую инфраструктуру и сделать из нее бизнес по типу, будем продавать свои мощности на сторону. Ну и армия макак которые еще и волнами менялись явно выгорая в процессе работы клепало это нечто и продолжает клепать и поныне. Архитектор там естественно есть но он явно номинальный и естественно не погружается в технические детали, а только по верхам знает какие подсистемы с какими связаны, а как и каково качество этих подсистему ему глубоко не интересно, его задача в другом.

abcq ★★
()
Ответ на: комментарий от byko3y

да как не обобщай, злонамеренно никто не делает костыльных решений просто чтобы система была хероворасширяемой, хрупкой и «протекающей по реализации». Руководство дало задачу взять текущую инфраструктуру и сделать из нее бизнес по типу, будем продавать свои мощности на сторону. Ну и армия макак которые еще и волнами менялись явно выгорая в процессе работы клепало это нечто и продолжает клепать и поныне. Архитектор там естественно есть но он явно номинальный и естественно не погружается в технические детали, а только по верхам знает какие подсистемы с какими связаны, а как и каково качество этих подсистему ему глубоко не интересно, его задача в другом.

abcq ★★
()
Ответ на: комментарий от byko3y

Странно, что ты знаешь про хадуп, но не знаешь про S3

Знать ≠ интересоваться. Я годами мимо многих вещей прохожу просто потому, что считаю их нафиг не нужными (ну или непонятно зачем нужными, несмотря на то, что их в дань моде пытаются совать во все щели).

bodqhrohro_is_back
()
Последнее исправление: bodqhrohro_is_back (всего исправлений: 1)
Ответ на: комментарий от byko3y

Я сейчас не шучу, по степени упоротости тогдашние идеологи Git были на этом уровне

Непонятен в данном случае проигрыш не менее упоротых идеологов Mercurial.

bodqhrohro_is_back
()
Ответ на: комментарий от byko3y

Это же классический перфекционизм. Если вылизывать архитектуру и интерфейс до бесконечности, то релиз будет только после того, как бесконечность закончится.

i-rinat ★★★★★
()
Ответ на: комментарий от abcq

Cтрашно, очень страшно, если бы мы знали что это такое, но мы не знаем что это такое (с) И так уже ооооочень давно, масштабы просто растут в виду того что мощности растут, хотя это нивелируется отупением и абстракциями

Минус распределенной системы заключается в том, что она не может быть простой. Плюс заключается в том, что получившаяся сложная система масштабируется просто докидыванием новых серверов. Чтобы увеличить масштаб вдвое, не нужно тратить вдвое больше усилий на разработку, даже в полтора раза не нужно, даже на 5% больше не нужно — нужно просто докинуть железа. Это и есть та морковка, которой заманивают на облака. Только забывают сказать, что скорее всего ваш распределенный проект умрет до того, как будет реализован.

Не знаю, зачем ты дальше продолжаешь оправдывать бездарность и безответственность. Она ведь уже очевидна, лучше сфокусироваться на действительно спорных вопросов, вроде «действительно ли они не замечали бездарность и безответственность, либо уже умело ею управляли».

byko3y ★★★★
() автор топика
Ответ на: комментарий от crypt

а еще раз, у тебя стаж работы в построении high load и конкретно AWS какой?

Обожаю этот подход. «Как долго вы харитесь в сраку, чтобы критиковать гомосеков?». Я не знаю, насколько можно считать хайлоадом тот проект, в котором я проработал 6 лет, но тысячи активных пользователей были, и это не месенжер какой-нибудь, а активная обработка данных и жирная клиентская БД. Я точно знаю, что есть аналогичные проекты крупнее. А есть и мельче.

Далее...

т.е. нам твое мнение важно, потому что... ?

Почему оно должно быть важно? Проходите мимо.

byko3y ★★★★
() автор топика
Ответ на: комментарий от abcq

этого было достаточно чтобы гит стал стандартом де-факто и наплодить армию поклонников которые еще не поняли что просто поменяли шило на мыло, ретрансляция была уже запущена и она работала

Я просто намекну, что без гитхаба Git никому не нужен. А это значит, что вообще-то Git никому не нужен.

byko3y ★★★★
() автор топика
Ответ на: комментарий от abcq

злонамеренно никто не делает костыльных решений просто чтобы система была хероворасширяемой, хрупкой и «протекающей по реализации»

Ну почему «злонамеренно»?... Добрые намерения — получить больше лояльных клиентов, ведь всем известно, что нет людей ценнее, чем клиенты.

Руководство дало задачу взять текущую инфраструктуру и сделать из нее бизнес по типу, будем продавать свои мощности на сторону. Ну и армия макак которые еще и волнами менялись явно выгорая в процессе работы клепало это нечто и продолжает клепать и поныне

Ну это уже всем «очевидно». Вопрос не в этом, а в том, как руководство этим руководило.

byko3y ★★★★
() автор топика
Ответ на: комментарий от bodqhrohro_is_back

Странно, что ты знаешь про хадуп, но не знаешь про S3

Знать ≠ интересоваться. Я годами мимо многих вещей прохожу просто потому, что считаю их нафиг не нужными

Ну тут ты прав, из песни слов не выкинешь.

byko3y ★★★★
() автор топика
Ответ на: комментарий от bodqhrohro_is_back

Непонятен в данном случае проигрыш не менее упоротых идеологов Mercurial

А где ты их видел? То-то.

byko3y ★★★★
() автор топика
Ответ на: комментарий от i-rinat

Это же классический перфекционизм. Если вылизывать архитектуру и интерфейс до бесконечности, то релиз будет только после того, как бесконечность закончится

Нет, давай выбрасывать код как есть в релиз... У вас не работает? Проблема на вашей стороне, у нас всё работает исправно.

byko3y ★★★★
() автор топика
Ответ на: комментарий от byko3y

Минус распределенной системы заключается в том, что она не может быть простой. Плюс заключается в том, что получившаяся сложная система масштабируется просто докидыванием новых серверов. Чтобы увеличить масштаб вдвое, не нужно тратить вдвое больше усилий на разработку, даже в полтора раза не нужно, даже на 5% больше не нужно — нужно просто докинуть железа. Это и есть та морковка, которой заманивают на облака. Только забывают сказать, что скорее всего ваш распределенный проект умрет до того, как будет реализован.

И это я 10 раз уже сказал выше. Но вы же до этого момента видели в облаках заговор сложности, которого там нет.

Не знаю, зачем ты дальше продолжаешь оправдывать бездарность и безответственность. Она ведь уже очевидна, лучше сфокусироваться на действительно спорных вопросов, вроде «действительно ли они не замечали бездарность и безответственность, либо уже умело ею управляли».

Оправдывал и защищал бы я такое положение вещей если бы я с пеной у рта говорил что это хорошо и что так и надо, но я этого не говорил, я лишь говорил что нет тут никакого умышленного фактора, а если и есть то его процентное соотношение по сравнению со всеми остальными факторами этого положения дел - незначительно.

abcq ★★
()
Ответ на: комментарий от byko3y

Ну чистой воды перфекционизм: либо всё, либо ничего.

Вот только про конкурентов AWS, которые собирались выпустить сервис с «хорошим» API никто не знает, потому что они так его и не выпустили.

i-rinat ★★★★★
()
Ответ на: комментарий от i-rinat

Вот только про конкурентов AWS, которые собирались выпустить сервис с «хорошим» API никто не знает, потому что они так его и не выпустили.

Чиво? https://www.backblaze.com/b2/docs/

Или под «не знает» имеешь в виду «школьники младших классов не рассказывают друг другу про свои багтата проекты на AWS»? Тут да, backblaze отстал.

byko3y ★★★★
() автор топика
Последнее исправление: byko3y (всего исправлений: 1)
Ответ на: комментарий от byko3y

а я просто намекну что раз гитхаб выбрал гит, а не любую другую скв, то уже в этом моменте пропаганды и доверия к линусу было достаточно чтобы появился именно этот проект на именно это решении как базовом для скв. И вроде история была немного другой, ребята с гитхаба продали гит насколько вы помните не особо от хорошей жизни и с небольшим скандальчиком когда все ломанулись с него типа прочь с воплями соплями и рыданиями что мол «шож вы делаете, только не мс продаваться», а потом затерпели и норм. Так что у истоков там как раз стоят идейные фанатики линусопоклонники да и публика не лучше.

abcq ★★
()
Ответ на: комментарий от byko3y

Ну а что они должны были сделать как руководство, созвониться с вами и спросить как вам будет удобно?

abcq ★★
()
Ответ на: комментарий от abcq

И это я 10 раз уже сказал выше. Но вы же до этого момента видели в облаках заговор сложности, которого там нет

Да, вижу, и не в абстрактных облаках, а в конкретных AWS. К сожалению, когда я начинаю переходить на технические подробности, начинается «мне это не надо, кому надо — тому надо». Окей, пользуйтесь AWS.

я лишь говорил что нет тут никакого умышленного фактора, а если и есть то его процентное соотношение по сравнению со всеми остальными факторами этого положения дел - незначительно

Вот скажи мне, стоимость исходящего трафика, которая 10 лет не меняется — это случайность? Растущее с ужасающей скоростью количество сервисов AWS — опять случайность? Руководство прекрасно знает, что S3 сделан криво, что с этим можно что-то сделать — но не будет делать, потому что иметь его таким, как есть, удобно по целому ряду причин, одна из которых — сложность миграции с переусложненной платформы. не единственная, но «одна из».

byko3y ★★★★
() автор топика
Ответ на: комментарий от i-rinat

ну почему, он приводил пример с backblaze b2 правда насколько оно лучше я хз, но грит курлыкать можно попроще через курл, какие там еще преимущества сейчас узнаем.

abcq ★★
()
Ответ на: комментарий от byko3y

Да, вижу, и не в абстрактных облаках, а в конкретных AWS. К сожалению, когда я начинаю переходить на технические подробности, начинается «мне это не надо, кому надо — тому надо». Окей, пользуйтесь AWS.

Ну тут каких-то тех подробностей я не видел, только разговоры о том что вы их знаете и есть какая-то статья на хабре. Но с другой стороны вы правы, я бы и не хотел их особо знать, ведь мне и так понятно что от того что я их узнаю для меня в этом вопросе ничего не поменяется. История стара как мир.

Вот скажи мне, стоимость исходящего трафика, которая 10 лет не меняется — это случайность? Растущее с ужасающей скоростью количество сервисов AWS — опять случайность? Руководство прекрасно знает, что S3 сделан криво, что с этим можно что-то сделать — но не будет делать, потому что иметь его таким, как есть, удобно по целому ряду причин, одна из которых — сложность миграции с переусложненной платформы. не единственная, но «одна из».

У всего есть свои причины, и обычно они не сводятся к одной единственной, это единственно что я могу сказать когда дело касается каких-то сложных продуктов.

abcq ★★
()
Ответ на: комментарий от abcq

ребята с гитхаба продали гит насколько вы помните не особо от хорошей жизни и с небольшим скандальчиком когда все ломанулись с него типа прочь с воплями соплями и рыданиями что мол «шож вы делаете, только не мс продаваться»

Ты рассказываешь про очень поздний период, когда GitHub стал стандартом де-факто. Продавали они его потому что с технической стороны он крайне убог, как по чудовищной нагрузке на сервера, так и из-за убогого интерфейса. Типовой такой стартап: я его слепила из того, что было, а потом что было не смогла отмасштабировать. MS на гитхабе не зарабатывает, для них это сплошной убыток, но они зарабатывают на Azure и облачных продуктах эдак половину своей выручки.

byko3y ★★★★
() автор топика
Ответ на: комментарий от abcq

Ну а что они должны были сделать как руководство, созвониться с вами и спросить как вам будет удобно?

Разумный вариант.

byko3y ★★★★
() автор топика
Ответ на: комментарий от abcq

какие там еще преимущества

Видимо, вендорлок на другого вендора лучше вендорлока на Амазон.

Я вообще плохо понимаю, в чём проблема с S3 от Amazon. В каждом софте, который я встречал, где использовался S3, он был только одним из бекендов, а не единственным. Но надо отметить, что список такого софта очень короткий. Sccache и ещё недавно вот был софт для удалённых вычислений. Во втором ещё какая-то Lambda от того же Амазона использовалась. Но опять-таки, был бекенд, который может использовать частные облака.

i-rinat ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.