Об opensource хейтерах.

Я все равно не понимаю, каким образом айтишник не в курсе про sax. Это примерно то же самое, что дворник в курсе про метлу, но не в курсе про совок, имхо.

да любым. Ты так говоришь, как будто бы в CS мало направлений, и много больше решений со своими плюсами, минусами, компромисами на которые нужно идти если ты их применяешь. Между прочим я описал то, как человек пришёл к ситуации, когда он знал про dom-parsing и не знал про sax-parsing. Впрочем самое инетересное, что он был не один такой, я знал ещё минимум одного человека, с теми же «симптомами».

Если уж так, то вы могли бы завершить свой пост чем-то в духе «работает и ладно», это я хотя бы по-человечески понимаю. :)

ты ничего не понял :(... Во-первых про «работает и ладно» я не говорил, в изначальной ситуации при тестировании были найдены проблемы и все исправлено, «и ладно» нигде не было. Во-вторых, я не случайно привел набор технологий, которые обычно не известны широкой публике, люди без них живут, но в определенной области они важны, и правильный выбор может быть важен (но и не очевиден), при этом они являются исследуемыми областями и некоторые ограничения _в принципе_ не известны, могу привести более человеческие задачи :). При этом важно понимать, что есть уже успешный опыт решения задач в той же области.

Т.е. общий смысл в том, что можно быть не знакомым с проблемами определенной области или частью возможных решений, и это нормально, но не нормально при этом отвергать технически более совершенные решения из-за фанатизма (как описано у ТС и у Spirit_of_Stallman или не пытаться продолжать изучать рабочую область.

Я, в принципе, не исключаю вот этого:

Т.е. общий смысл в том, что можно быть не знакомым с проблемами определенной области или частью возможных решений, и это нормально, но не нормально при этом отвергать технически более совершенные решения из-за фанатизма (как описано у ТС и у Spirit_of_Stallman или не пытаться продолжать изучать рабочую область.

Вполне может быть, что не все действуют как я: если мне нужно сделать что-то, что я не знаю как сделать, я пытаюсь максимально изучить предметную область, хотя бы коротко, чтобы не забивать гвозди микроскопом. Поэтому-то я и удивился.

А, дополню (править сообщения почему-то не могу). Если я в чем-то ну совсем не могу разобраться или там понадобится не один день понять даже коротко - ищу того, кто знает или вообще не берусь.

Ну как бы сама суть претензий этих парней к линуксу, и к OSM в частности — ориентация на пользователя. Т.е. нажал кнопку — оно заработало, в то время как Windows — ориентация на системного администратора, в том числе и решения разных задач на этой системе: необходимость в настройке.

pikwik> Винда на порядок сложнее для рядового пользователя, нежели линуксы, поэтому

Поэтому по венде так много сертификаций развелось, и поэтому сейчас к сертификации привыкли начальники контор и подразделений, из-за чего и на линукс эта мода сертификаций перешла, иначе будут считать несерьёзной системой (как нет сертификаций? Значит несерьёзно и нет специалистов!).

По-моему за сам гиговый xml файл надо уже убивать, не говоря уже о его обработке, не?

А как подобные специалисты оправдываются хотя бы перед собой

Им обычно нет нужды оправдываться перед собой.

в общем для меня трудно такое вот осознавать, видимо я идеалист

Каждый раз, когда я ставлю что-нибудь ынтерпрайзное, даже для линукса, я испытываю культурный шок. Велосипедные патченые версии, часто без пакетирования, setup.exe-style, часто необновляемые годами. Просто мы избалованы линуксом.

Мне кажется, это самое разумное объяснение происходящего.

Да даже мелкософтовский сайт на линуксе работает.

На дырки в виндах есть оплаченный саппорт с SLA.

ты не совсем понял, проблема в том, что ты _знаешь_ как решать очень похожую проблему, а возможно ту же проблему, и у тебя есть успешный опыт.

Как вы себе это представляете?

Я никак это себе не представляю, нет передо мной такой задачи. Я просто замечаю что openstreetmap в рамках упомянутой вами секретности объектов тоже в легкую может не прокатить.

А то что написано в шапке : «т.к. использует ненадежные прыще..дские технологии.» - лично я думаю это утрирование с вашей стороны.

Я просто замечаю что openstreetmap в рамках упомянутой вами секретности объектов тоже в легкую может не прокатить.

Ну нафига создавать демагогию не зная ситуации, объекты хоть и секретные, но вот только на сертификаты все ложили. Один только coreldraw portable с сайта vasya.ucoz.ru чего стоит.

Зависит от структуры файла.

А так, вот

# wget -S http://fias.nalog.ru/Public/Downloads/20130624/fias_xml.rar
--2013-07-08 16:00:04--  http://fias.nalog.ru/Public/Downloads/20130624/fias_xml.rar
Распознаётся fias.nalog.ru... 81.177.35.169
Устанавливается соединение с fias.nalog.ru|81.177.35.169|:80... соединение установлено.
Запрос HTTP послан, ожидается ответ...
  HTTP/1.1 200 OK
  Content-Type: application/octet-stream
  Last-Modified: Mon, 24 Jun 2013 18:17:26 GMT
  Accept-Ranges: bytes
  ETag: "22556114771ce1:0"
  Server: Microsoft-IIS/7.5
  X-Powered-By: ASP.NET
  Date: Mon, 08 Jul 2013 09:00:03 GMT
  Connection: keep-alive
  Content-Length: 1579170287
Длина: 1579170287 (1,5G) [application/octet-stream]
Saving to: «fias_xml.rar»

А вы ситуацию особо и не раскрыли. Хе-хе.

Но схожую ситуация я встречал, и «порой реально» правда легче/выгодней посадить 40-к пользователей, не программистов замечу, среднего звена рисовать по карте слои, чем писать свою / прикручивать чужую карту.

И к сертификатам с M$ подобный подход не имеет никакого отношения. Просто это такой метод ведения «ебизнеса»

openstreetmap рассматривался, но был отвергнут из-за опенсорца, рассматриривались коммерческие варианты, но цена огромная.

По-моему за сам гиговый xml файл надо уже убивать, не говоря уже о его обработке, не?

Безусловно. Для нас уже решен вопрос, методом разделения на необходимое, и выгрузкой только нужного, а не всего что можно.
Но интерпрайz писатели еще не перешли на эту систему, ибо не перешли (именно с таким объяснением).

1120 (с округлением до мегабайта, в меньшую сторону).

Для задачи в вакууме может быть это и справедливо. Но как раз _зная_ узкие места (раз такая задача уже решалась)... Ладно, оставим. :)

OSM это просто карты. Их можно держать локально. Секретность на объяснение не катит.

унутри один xml на гиг, второй на 9 гиг, можете начинать геноцид

fias.nalog.ru

Дык, все как всегда понятно. Гос. структура с мегарешениями.

Вполне логично: наличие сертификатов лишь подтверждает высоту порога вхождения в эту систему, и, как следствие, — непомерное ЧСВ обладателей этих бумажек.

Бывает и наоборот.

Пруфлинк?

Я все равно не понимаю, каким образом айтишник не в курсе про sax. Это примерно то же самое, что дворник в курсе про метлу, но не в курсе про совок, имхо.

Да очень просто можно быть не в курсе не только SAX, но и DOM. Представь себе, что ты не интересовался особо ни xml, ни тем как его парсят, но тебя научили в MS-курсах использовать определенным образом msxml. В итоге тот айтишник знает только, что для xml надо юзать вот такие и такие методы, чтобы извлечь или записать данные.

Тем более, что изначально msxml умел только DOM и хотя он научился SAX еще лет 10 назад, многие примеры его использования, особенно для новичков в XML используют именно DOM. Оно и «интуитивно понятнее».

http://meta.stackoverflow.com/questions/10369/which-tools-and-technologies-ar...

Спасибо, интересно.

Я надеюсь, это анекдот. Если да, то он смешной. Если же нет...

…добро пожаловать в Россию.

Да даже мелкософтовский сайт на линуксе работает.

Пруф

Да очень просто можно быть не в курсе не только SAX, но и DOM. Представь себе, что ты не интересовался особо ни xml, ни тем как его парсят, но тебя научили в MS-курсах использовать определенным образом msxml. В итоге тот айтишник знает только, что для xml надо юзать вот такие и такие методы, чтобы извлечь или записать данные.

Жестко, но возможно. Спасибо. *уходит в шоке*

гыгы. это че, меня как-то один M$-фанатик пытался убедить, что любой код на c# работает быстрее любого нативного кода. стоит ли говорить, что простейший наколеночный синтетический тест типа поиска или сортировки списка (уже не помню точно) уделал c# в 3 раза, и это я еще ничего не оптимизировал.. а потом я еще заикнулся про поддержку SIMD и всякие там intrinsics.. дак вот, этот самый человек долгое время занимал очень высокую техническую должность в большой конторе где я работал, и имел большой вес в принятии решений :) вот его группа как раз выдавала обычно код в таком духе, т.е. «парсер гигового файла требует 16 гигов RAM». а с линуксоидов они всей толпой смеялись, радуясь своей остроумности :)

зы: для себя сделал печальные выводы, что не играет никакой роли квалификация, главное уметь втирать очки топ-менеджменту и инвесторам.

зы: для себя сделал печальные выводы, что не играет никакой роли квалификация, главное уметь втирать очки топ-менеджменту и инвесторам

Бесконечная истина, что актуальна в большинстве случаев.
Пришел к тому же.
Выпьем. Не чокаясь :)

Это ж элементарно. Надо в кореле сделать 5000+ слоев, по одному на человека.

C#, WS2008; В итоге этот парсер жрёт 4ре гига оперативки, плюс пару гигов сама винда, плюс лицуха.

Я вот тоже пример приведу - вебсфера полностью запиливает lpar из 32cpu и 130 гигов оперативы. Наверно делает что-то очень сложное? Конечно - из одних xml'ок, предварительно загруженных на сервер делает два текстовый файлик и один xml, только в другом формате. Средний объем входного файла - до 15Kb. За сутки может обработать 20000 файлов, дальше уже выжирает всю оперативу, своп и процессорный пул и подвешивает сервер. Зато никакой винды и шарпа, только жаба...

вебсфера полностью запиливает lpar из 32cpu и 130 гигов оперативы

Я могу сделать это и без криво настроенной сферы.