Яндекс.Утечка

А где они были 11 месяцев? Неужели все это время шли торги и шантаж?

Вероятно те кто осуществил слив искали (или нашли и эксплуатировали) какие-то способы монетизации утечки.

ну возможно, диверсию в интересах международных корпоратов тоже никто не отменял

А как это по-твоему должно работать? У меня тоже на гитхабе есть доступ ко всем проектам компании.

Это логично в маленькой компании. В больших особо нет особых причин лазить в проекты других отделов, орг. структура этого не предполагает. А если требуется доступ – выдаются точечные права по запросу.

Получить доступ с правами разработчика проще, чем взломать инфраструктуру.

Во время воздушной тревоги Штирлиц зашёл в комнату правительственной связи и увидел телефон Бормана… Ага, подумал Штирлиц и завладев правами доступа взломал инфраструктуру :)

node_modules никто в репе хранить не будет, естественно.

В больших особо нет особых причин лазить в проекты других отделов, орг. структура этого не предполагает. А если требуется доступ – выдаются точечные права по запросу

Ну одних технарей больше 400. И да, точечные доступы только к данным прода. Никто не будет упарываться бюрократией когда нужно глянуть скрипты/конфиги/код у соседей. От этого эффективность страдает, когда нет монополии или гос-сиськи, лучше так, чем сидеть сутками без доступов. Мне тут рассказывали что в сбере внешним тестировщикам даже постманом запрещено пользоваться - ну и чо они так натестируют?

node_modules никто в репе хранить не будет, естественно.

Ох, у меня есть для вас плохие новости…

Яб хранил не тянуть же с npm код во внутренние дела напрямую. Один раз притянули, аудит и заморозка у себя, ибо мало ли.

Один раз притянули, аудит и заморозка у себя, ибо мало ли.

вы тоже не слышали про внутренний/приватный реп пакетов? згя, згя

Удивительно то, что похоже у разработчиков есть доступ не только к своему проекту, но и к большому количеству других проектов компании.

В 2008 году это было не так. Формально у меня (картиночника) был доступ к монорепозиторию Поиска, но не было доступа, например, к Фоткам, которые жили отдельно.

Какая разница, что б ты делал? Насколько я знаю, ты рядом с серьезной коммерческой разработкой и рядом не стоял.

Ну так, а я про что? Свой внутренний приватный реп пакетов, у себя, а не где то там у Джона под кроватью. Есть репы внутренних проектов, а есть репы зависимостей этих внутренних проектов, отвалившися например гитхаб или подобное не должны повлиять на работоспособность. Те кто хранит не важно что только где то снаружи ССЗБ.

Меня не особо интересуют анекдоты про всякие дикие практики в говноконторах с некомпетентным персоналом.

А какая разница стоял я или нет. Если у тебя бек на ноде и тебе его надо пересобрать притянув зависимости и вдруг обнаружится что автор свою репу тупо снёс (ничего необычного) то что делать? У тебя должен быть бекап/хранилище всего что тебе нужно. Тут не надо быть икспертом рядом стоявшим с серьёзной коммерческой разработкой что-бы это понимать.

Понятное дело зависимости не будут лежать там же где основной проект. Не всё в кучу, а вот склонировать в слив могли вместе c git submodule update –recursive

за 24 февраля 2022 года

Даты доступа к файлам скорее всего были изменены, а то что, кто-то бы год ждал, а потом выложил?

Под package repository обычно понимают не гит-репозиторий (хотя в теории первое может быть реализовано через второе). И необходимость хранения node_modules в гит-репе всё так же непонятно и при наличии приватного репозитория пакетов.

Если текущий алгоритм рассекречен то он перестаёт быть конкурентным преимуществом перед тем же гуглом, например, и придётся делать другой, ещё более хороший и опять засекреченный.

С алгоритмом ранжирования даже этого не требуется. Да, формула релевантности под строгим NDA. Но фишка в том, что она не в репозитории, и что ее все равно никто не понимает - стандартная ситуация с машинным обучением. Утек, по сути, только актуальный список факторов, входящих в эту формулу - вот только большая часть факторов сами являются выходом классификаторов, т.е. независимому воспроизведению и независимой оптимизации не поддаются.

То, к чему по результатам утечек написали эксплоиты, конечно переписано. Иначе были бы снова массовые WinNuke и иже с ними.

Ну хоть какая-то декомпозиция…

Для подстраховки, наверняка и даже точно многие модули надо пропатчить под себя, после этого они становятся уже просто внутренними проектами. По поводу приватности на том же гитхабе/npm недавно же были сливы тоже приваток (если я не путаю). Опять же, что стоит компании типа Яндекса хранить у себя нужные им заисимости просто иногда их синкая? Чево там 40гигов понятия не имею, может код не текстом, а в картинках :D Ибо даже если притянуть все npm простыни будет ну гиг ну пару там. Короче ладно.

А какая разница стоял я или нет

Ну потому что ты любишь рассуждать о том, о чем понятия не имеешь, при этом приходя к странным (и зачастую комичным) выводам.

и вдруг обнаружится что автор свою репу тупо снёс

Просвещайся.

Сейчас ломать всё подряд просто так никому не интересно. Если эксплоит используется приватно — узнать об этом не так просто. Ну да, время от времени выкладывают истории от антивирусных лаб. Но это уже сильно постфактум.

Для подстраховки, наверняка и даже точно многие модули надо пропатчить под себя, после этого они становятся уже просто внутренними проектами

В таком случае ты просто форкаешь репу этой либы себе или в публичную репу организации (если лицензия позволяет, можешь склонировать в приватную репу своей организации, хотя в этом обычно смысла нет), вносишь изменения и указываешь этот форк в зависимостях своего проекта. Обычная история.

А теперь ответь, пожалуйста, как это обосновывает необходимость хранения node_modules в репозитории проекта? Ты вообще знаешь, что такое node_modules?

Где-то тут на ЛОРе с сотрудником этой нидерландской шарашкиной конторки спор был, где он с пользователями ЛОРа спорил и уверждал всех мол монорепа это удобная и крутая тема и все уважающие себя компании юзают монорепу.

Жаль не могу найти этого монорепоананиста, сейчас бы его слова и аргументация выглядела наиболее жалко.

Может, Reset?

Пришло время вставать на раздачу

… монорепа это удобная и крутая тема и все уважающие себя компании юзают монорепу.

Ну на этапе стартапа, когда все делают кое-как чтобы было, это действительно удобно. Просто, имхо, Яндекс совсем недавно начал перестраиваться из стартапа в корпорацию, лет этак 10 назад, и до девелоперов перестройка еще не дошла…

«в FB и Яндексе пропагандируется TBD и монорепа» ?

Плюс коммент от Ресета

Пал один из последних оплотов Mercurial (Hg) (комментарий)

Публикация на Хабре

Arc — система контроля версий для монорепозитория. Доклад Яндекса

недавно они предлагали вот такое, я тогда подумал и отказался, потому что мне было странно, что на такую работу ищут наёмника снаружи, а не кого то кому доверяют внутри.

Капец ты странный. Уволился кто-то в команде внутреннего поиска, вот вакансия и открылась.

Ну потому что ты любишь рассуждать о том, о чем понятия не имеешь

Нутк, всё имеет место быть.

при этом приходя к странным (и зачастую комичным) выводам.

Ну так поправлять надо или веселится =)

Просвещайся.

Ок, этот частный случай я сфокапился, берём другой, третий и так далее. Ещё раз у тебя бек с нодой, хорошо, архиважный и все дела, да есть внешний сервис там у тебя приватная репа, там у тебя всё лежит всё ключами подписано. Вот раз ты знаешь о чём говоришь то типа люди просто тянут из вне и всё? Никакого локального хранилища? А если надо пропатчить, патчи то свои у себя лежат, прям так файлами обычными и лежат? Да миллиард причин можно придумать что-бы хранить у себя всё, как просто файловое хранилище, так и git репозитории того же самого для правки под себя и нормального отслеживания происходящего по этим правкам с автоматической системой сборки и прочего, прочего. Не устраивать же лучную свистопояску каждый раз руками если на притягиваемый модуль надо наложить свои патчи. Это просто один пример. Да банально на серверную npm метеорит упадёт и что делать?

Буду рад если мне развёрнуто тыкнут носом в то что я во всём не прав и несу полную ахинею. Уверенность во внешнем хранилище 142% у всех? Ну ок.

как это обосновывает необходимость хранения node_modules в репозитории проекта

Ненененене не перевирай меня, зачем хранить их в репе с проектом, их можно притянуть при клонировании. Они лежат отдельно конечно, просто за теми же стенами где основной код. Не в той же git репе, отдельно. Но отдельно не где то там, а тут рядышком. Я про это, а не хранение всей лапши в одной куче. Опять же добавлю да я знаю что git clone это одно ,а npm install другое, но можно всё делать это и вместе так что в итоге будет всё. Как там что у них организованно я не знаю. Вот пытливые потом расскажут

Думаю, здравое зерно тут есть. Наивно думать, что на газпромовские трубы атаки идут и при этом одна из важнейших сегодня отраслей останется без внимания.

Вот раз ты знаешь о чём говоришь то типа люди просто тянут из вне и всё? Никакого локального хранилища?

Люди тянут извне, CI/CD тоже (только там ещё обычно кэш есть, чтобы это не делать каждый раз заново). Локальное хранилище есть, оно после скачивания зависимостей и так хранится локально на машинах разрабов — обычно в той же папочке node_modules в корне проекта – просто эта папочка в гитигноре и в репу не попадает.

А если надо пропатчить, патчи то свои у себя лежат, прям так файлами обычными и лежат?

Я вокфлоу для такого случая описал в предыдущем сообщении. Тут стоит отметить, что такие форки обычно короткоживущие (до того, как твои изменения не примут в апстрим).

Да миллиард причин можно придумать что-бы хранить у себя всё, как просто файловое хранилище

Зачем тебе просто файловое хранилище для зависимостей?

так и git репозитории того же самого для правки под себя и нормального отслеживания происходящего по этим правкам с автоматической системой сборки и прочего, прочего. Не устраивать же лучную свистопояску каждый раз руками если на притягиваемый модуль надо наложить свои патчи

Для всего этого не нужно хранить node_modules в репозитории.

Ненененене не перевирай меня

Ты бы прочитал изначальное сообщение, на которое отвечал.

зачем хранить их в репе с проектом, их можно притянуть при клонировании. Они лежат отдельно конечно, просто за теми же стенами где основной код. Не в той же git репе, отдельно. Но отдельно не где то там, а тут рядышком. Я про это, а не хранение всей лапши в одной куче. Опять же добавлю да я знаю что git clone это одно ,а npm install другое, но можно всё делать это и вместе так что в итоге будет всё

Ой, ну ладно, я устал.

я подозреваю, что использование node_modules вообще не в стиле яндекса, скорее всего у них своя нахлобучка, которая тянет коды прямо из системы контроля версий, да и зачем использовать чужие готовые модули когда они не поддерживают твой оригинальный БЭМ например

Теперь можно оценить, насколько Алиса заботиться о конфиденциальных данных.

Не беспокойся, если ты забыл что наговорил Алисе, то люди с «Яндекс.Толоки» всегда тебе смогут помочь и напомнить.

https://hsto.org/r/w1560/webt/61/io/q4/61ioq4x4hcgmtl_ydxfiuwxl3rg.png

его там нет, нужно было создавать, соответственно спросили всех своих, все отказались (под любыми предлогам), и тогда начали искать

вот и вопрос, почему все свои отказались, а с вопросом и ответ

код без разработчика это гора мусора

Код без разработчика - это тяжело, но при большом желании подъемно. Опенсорс он вообще часто такой.

Скажем, webrtc почти недокументирован, и мы поседели, пока затащили его себе в проект и разгребли баги. И до сих пор, спустя несколько лет, порой вылавливаем багофичи, ибо как что работает - темный лес. И тем не менее оно работает, а свое написать мы бы немножко не осилили.

И в этих исходниках программеру найдется интересного, даже если без цели взять в готовом виде. Код писать они умеют (или умели).

я подозреваю, что использование node_modules вообще не в стиле яндекса, скорее всего у них своя нахлобучка, которая тянет коды прямо из системы контроля версий, да и зачем использовать чужие готовые модули когда они не поддерживают твой оригинальный БЭМ например

Может быть, хотя я думаю, что всё-таки они там используют npm/yarn (в NPM гораздо больше пакетов, чем те, которые могут затрагивать БЭМ). Бывшая коллега работает в Яндексе фронтом, надо будет её потом спросить. Ну или скачать и глянуть утёкший код, но мне лень)

Понял, только вот я всё равно не вижу проблемы держать у себя зеркала нужного, это копешные затраты и 146% уверенность что если что вот у тебя бекап. Пусть оно даже использоваться не будет по сути так как есть уже всё что ты описал. Но вот то чел который организовал слив мог и всю эту бекап шушеру присобачить, зачем и как понятия не имею.

Зачем тебе просто файловое хранилище для зависимостей?

Затем же зачем Git LFS есть. Мало ли что там. Датасеты для нейронок например. =) к npm отношения не имеет, но хранить же надо, проекты там разные, фиг с ним с фронтом, и беком на js лапше, наверняка там есть что-то более стоящее чем дерьмофронт и микросервисы просто плюющиеся данными.

Ой, ну ладно, я устал.

Спасибо за интересную беседу =)

Датасеты для нейронок например

Я не настоящий датасаентист, но исходный датасет в пакет, опубликованный в NPM registry, скорее всего и не попадёт, а в самом пакете будут только параметры для уже обученной нейронки. Но это просто догадка :)

А вот хрен их знает =). Ладно. Наверняка кто-то уже статьи готовит что там за 40+гигометров исходников. Может и в правду там репа с обоями на рабочие столы сотрудников для 8к мониторов в tiff формате лежит без сжатия, были же слова про документацию, а обои могут быть тематические с подсказками для джунов и выставляться на рабочие моники автоматом, хотя это я уже начал совсем упарываться, ну да ладно :D Вот напишут, вот и узнаем чво там на самом деле.

А так, у меня на яндексе только почта и то пустая, никто не пишет, даже спама нету :(

Дату можно любую поставить.

Но установка именно этой даты указывает на мотивацию слившего.

Я все же думаю что это или слив от разработчика, или через какую-то дыру в рабочем компе разработчика.

Да по дате всё понятно. Особо идейный разработчик.

Скорее, упоротый. Уж не яндекс это все заварил. И не яндекс на этом заработал.

Особо идейный

упоротый

Так это одно и то же.

Ну да, это одно и то же.

Да по дате всё понятно. Особо идейный разработчик.

Был бы идейный – опубликовал бы сразу. Сейчас больше похоже что слив сначала пытались монетизировать, а потом выложили в паблик когда исчерпали все возможности на нем заработать. Ну и не известно насколько дата на файлах аутентична.

Посмотрел как пользоваться толокой

• Ты должен быть/стать самозанятым
• Номер телефона должен быть привязан к банку на который идёт выплата
• У тебя должен быть отдельный номер для толоки
• Регистрация возможна только 1 раз в жизни. Если что-то из всей этой цепочки отвалится доступа больше не буде

Что-то всё очень сложно. А я думал сща на изи 35рублей на орешки заработаю :( Жестоко