Курс mail.ru «Системное программирование на Perl»

Жесть какая:

    if 'categories' not in item or not set(item['categories']).intersection(stats.keys()) or 'STR_CLIPS' in item['categories']:
        continue

А это условие if строкой покороче записать никак нельзя? В смысле, разбиения на строки в python не завезли?

Можно, завезли.

'categories' not in item

Кстати, интересный пример.

С таким же успехом в perl хватает

if exists $item{'categories'}

Но в соотв. с логикой (считаем, что ключ, которому сопоставлено значение undef или 0 нас весьма мало интересует), можно просто вот так:

if $item{'categories'}

Вот только дальше по тексту в python уже считается, что item['categories'] - это список/вектор, а ведь это же может быть и не так. Почему вы не проверяете, не приехал ли к вам в данных от внешнего источника какая-либо невозбранная фигня, дальнейшая работа с которой в лучшем случае приведёт к исключению в рантайме?

В питоне обращение к несуществующему ключу бросит исключение. Но можно делать items.get('categories', дефолтное_значение) это довольно часто используется, например, делаешь пустой список дефолтным значением и можешь с ним смело работать как со списком.

Ещё есть defaultdict, в котором дефолтное значение задается при инициализации словаря т.е. можно делать что-то типа

In [1]: from collections import defaultdict

In [2]: d = defaultdict(list)

In [3]: d['foo'].append('a')

In [4]: d
Out[4]: defaultdict(list, {'foo': ['a']})

вы не проверяете, не приехал ли к вам в данных от внешнего источника

Потому что это наколенный скрипт под вполне конкертные данные.

В Пайтон нельзя что проверить тип значения, лежащего в items['categories']?

type(items['categories'])

Лучше isinstance

Мда, в рубях было бы items['categorises'].typeХотя конечно не факт, что так лучше.

есть items['categorises'].__class__

обычно в этом нет смысла. duck typing же. к тому же тип может быть создан динамически, или вообще мемберы могут быть напиханы снаружи. забавная история была с is_callable, когда его сначала выкинули, а потом опять вернули после некоторого срача. обычно рекомендуется проверять на trueness или если доставать мемберы через getattr.

Вообще это интересный вопрос. Ты будешь такие проверки всюду делать? И что делать, если в categories там что-то другое? Игнорировать как-то неправильно. Ругаться, падать? Ну тут и так эксепшн будет. Который залогируется, может даже прилетит на почту уведобление об этом с трейсбеком. И дальше надо разбираться, почему тебе данные пришли не в том формате, в каком ожидалось. И нормально ли это, если да, то надо как-то это учитывать в коде, конечно.

Если это не пользовательский ввод, конечно, там всякие сериализаторы и валидация есть.

Даже в typing есть Callable, можно там даже задать типы аргументов и return type сразу.

хорошее пояснение:) я думаю так и есть на самом деле.

Собственно, если не говорить о такого рода детских примерах непонятно вообще для чего приводимых в качестве подкрепления отсутствующей напрочь аргументации

в каком смысле мой пример детский? человек был вполне взрослый. аврал в первый месяц на работе случается.

непонятно вообще для чего приводимых

приводимы, потому что когда-то мне такие портянки на перле попадались и приходилось переписывать их.

одинаково верен для любого ЯП?

да вот хз. мое мнение, что с более понятным кодом человек мог успеть разобраться и не допустить ошибки.

но использует при этом изрядное количество сторонних библиотек

я хз. мои скрипты не имеют этой проблемы.

perl уже лет 20 подряд упорно поддерживает обратную совместимость

я лет 5 назад пытался переписать один скрипт, чтобы он треды использовал. не вышло. не было (может, и сейчас нет) тредов, была какая-то хрень вместо них.

выше товарищ приводил пример на Хаскелл, который просто нечитабелен

хреново читаем, согласен

при этом дико популярен у тырпрайза

я боюсь, что я не работал с таким энтерпрайзом и не могу говорить о случаях, когда хаскель оправдан. видимо, как и в случае с go, выбирают для производительности.

а язык Ruby

говно, потому что он почти в точности python, но они ломают обратную совместимость каждый релиз. что ты там выше писал о perl vs python? по сравнению с ruby, python очень хорошо подходит для enterprise и это в свое время послужило причиной включения его в дистры by default (вместо ruby).

При этом perl может абсолютно любым: и очень легко читаемым, и лютой кашей

я так понял это возглас из толпы фанов? так про любой ЯП можно сказать.

вы правда верите в то, что кто-то будет использовать тот или иной язык потому что каким-то тупым винтикам в большом бизнес-механизме он будет казаться более читабельным?

вопрос лишен смысла. это не их компетенция. с чего вдруг.

А в итоге тырпрайз выбирает весьма страшненький go

у тебя там какой-то свой enterprise, а может я уже отстал. по моим данным Java в топе.

ломают обратную совместимость каждый релиз

У тебя какой-то свой руби. Мои скрипты, написанные под 1.8 почему то не сломались.

почти в точности python

Совсем не похож, кроме ключевого слова def. Точно руби у тебя особый уличный.

Почему вы не проверяете, не приехал ли к вам в данных от внешнего источника какая-либо невозбранная фигня, дальнейшая работа с которой в лучшем случае приведёт к исключению в рантайме?

Если везде втыкать рантайм-проверки типов, проще сразу на жаве писать. И все равно везде не получится и где-то фигня пролезет. Еще это ломает идею утиной типизации.

Совсем не похож, кроме ключевого слова def. Точно руби у тебя особый уличный.

[пожал плечами] такое у меня сложилось ощущение, когда я на нем что-то писать пытался. слова разные, но всеравно для меня эти языки оч. похожи. разницы почти нет, если сравнивать с perl и хаскель.

Все императивные языки похожи, это да. Но подходы и идиомы все же различаются. В руби сильно развиты средства метапрограммирования, и этим очень активно пользуются. Ну и объектные модели сильно разные. Еще в руби много перлизмов, так что он ближе к перлу местами. Питон более строгий и классический что-ли. На руби можно в принципе писать как на питоне, но обычно такой кодер быстро спрыгивает на сам питон, что логично.

сильно развиты средства метапрограммирования

в петоне тоже

и этим очень активно пользуются

авторы библотек тоже

Ну я обмазываю всё тайп хинтами. Но это не распростаняется на входные данные и работает не в рантайме(хотя есть https://github.com/RussBaz/enforce но это скорее для тестов).

В петоне это почитается как чорная магия. А вот зачем бы мне руби без define_method и т.п. не представляю. Главное в питоне нет синтаксиса блоков и «все есть выражение», так что декларативщина идет мимо.

Просто это не всегда нужно. Но если ты делаешь какую-нить ORM, например, там этого будет дофига.

define_method

Э? Ты можешь какие угодно методы добавлять к классам, объектам и т.п. Можешь создавать классы на лету, есть метаклассы, декораторы для классов, всякие __getattribute__, переопределять операторы и любое поведение.

синтаксиса блоков

Но ты можешь создавать функции внутри чего угодно и передавать как аргумент. Это активно используется, например, в декораторах.

Книжный шкаф перло-сектанта. И такое для них норма.

Ох йопты, а чтобы освоть го нужно только пройти тур на оф. сайте.

Для перла тоже достаточно с переизбытком одной книги, той, что с верблюдом. Остальные книги - это просто интересное и полезное чтиво. Они так популярны у перловиков из-за того, что у перловой субкультуры есть очень авторитетные представители, написавшие самые известные книги, тот же Рэндал Шварц и Дэмиан Конвэй. Мы их просто уважаем и прислушивается к их мнению, без какого-либо фанатизма, но с большим интересом.

Валидация внешних данных обязательна всегда, кроме разве что тех случаев, когда «очень некогда», а внешние данные являются таковыми лишь условно (для них не требуется защита от дурака или слишком умного). Причём здесь утиная типизация - я не в курсе.

говно, потому что он почти в точности python, но они ломают обратную совместимость каждый релиз. что ты там выше писал о perl vs python? по сравнению с ruby, python очень хорошо подходит для enterprise и это в свое время послужило причиной включения его в дистры by default (вместо ruby).

Это ты про тот язык у которого до сих пор две ветки (2.x и 3.x) живо?
Питон подхватили по нескольким причинам: наличие английской документации, ощутимый поддув от гугла и большая скорость работы.

С обратной совместимостью у руби куда лучше (значимым рубежом был переход с 1.8 на 1.9, ну и ближе к 3.0 когда будут основательно JIT встраивать), при этом ещё и адекватный utf-8 есть из коробки.

Я бы хотел просто типизацию для написания быстрых библиотек. Собственно, это и есть rperl, но реализовано чуваком с завышенным ЧСВ и не умеющим писать документацию. Если его убедить в некорректности подходов или форкнуть и развить его проект уже в рамках части perl5 - получится вполне себе perl7.

Для остального perl-кода нужна не строгая типизация с приведением типов по необходимости, как это было сделано для Visual BASIC, где есть типа Variant

В дистрибутивах Ruby и не было никогда по дефолту, насколько мне известно.

А почему вы jRuby не пользуетесь?

Кстати, по мне, наличие годного асинхронного фреймворка под Ruby могло бы здорово поднять его популярность, особенно если бы RoR обзавёлся фишками как в Mojolicious.

В данном случае либо схема поверх бессхемного YAML, либо таки нужно проверять в рантайме, либо быть готовым обрабатывать exception'ы. Вообще по существу результат чтения конечно должен быть на первом этапе отправлен на валидатор, проверяющий входные данные на соответствие хотя бы просто в коде описанной схеме.

Руби по дефолту есть в маке уже года 4 как минимум. А на линуксовых дистрах ставится при установке всяких пакетов для работы с системой (в дебиане всякие обвязки вокруг apt).

Да, по дефолту нет — питон раньше занял нишу, языки действительно похожи.

JRuby не поддерживает все библиотеки написанные для MRI.

Кстати, по мне, наличие годного асинхронного фреймворка под Ruby могло бы здорово поднять его популярность, особенно если бы RoR обзавёлся фишками как в Mojolicious

Ну куда же мы без GIL'а))) Конечно могло бы, но сейчас запариваются над скоростью больше (ruby 3x3 — JIT).

Я валидирую данные, которые приходят от пользователя. А то, что возвращают сторонние api - нет. Будет исключение, я его залогирую, а пользователю вернется ошибка.

Это очень современный питон. Он хоть и идёт по дефолту много где, но часто только второй, особенно в энтерпрайзных el и centos. Поэтому для задач типа обсуждаемых в топике (заавтоматизировать что-то по мелочи) губу надо подзакатать. Хотя и с одной только базовой библиотекой можно много что сделать.

YAML-файл редактируется пользователем, а из факта того, что он правильно распарсился не следует никак того, что там в поле categories лежал не терабайт бинарных данных, а всего лишь маленький список.

Задача была другая: приходит объект в функцию, если он callable, то надо работать с результатом его вызова, иначе с самим объектом. Например bound attribute vs bound method. Отсутствие рантпйм типизации иногда порождает извращённые решения: например, если функция может принимать iterable, но для удобства может принимать и один аргумент. Вот тогда делается что-то типа next(val), и в обработчике исключения создаётся одноэлементный список.

Мне кажется это всё неправильно. Функции не должны жрать что попало.

обычные - нет, а для метапрограммирования бывают нужны traits. Конкретно callable мне нужен был для реализации remote proxy, когда локальный вызов через перехват __get_attribute__ прозрачно сериализовался, вызвался удаленно, а результат возвращался. Хотя наверное можно было бы и декораторами проблему решить.

Руби по дефолту есть в маке уже года 4 как минимум.

В 10.5 уже есть руби, это 2007 год емнип

Ну и перл тоже есть с питоном, справедливости ради)

py3 до сих пор не завезли

Q. What do perl programmers and doctors have in common?

A. No one can read what they write.

Да ладно, отлично всё читается :) https://pastebin.com/kiWSk1AQ

да это просто в unixcraft сегодня шутка пролетала, решил сюда запостить :)

Ты не владеешь общечеловеческим хорошим стилем, братюнь. Твои листинги может и не отвратительны, но на 3 с минусом

Анонизмусы мне в братья набиваются? Прекрасно! А могут или анонизмусы продемонстрировать свои наработки или хотя бы просто ссылку на чужие листинги, которые в общечеловеческом хорошем стиле написаны? А то как бы мы ж не на базаре.

Замечательный пример. Не совсем по perlstyle, но общечеловечески хорошо

Переменные $ТакогоВида - мне лично не нравятся. Ключи хешей без кавычек - признак дурного тона, в perl6 это вообще выпилили, и правильно сделали. Переменные типа our - ну это фу же. Даже не фу бар, а просто фу.

А так - не понимаю, чем это лучше? Тем, что код тупо искусственно сделан менее perl'овидным? Я, например, очень активно использую функциональные операторы map, grep, sort и короткие версии for/while. Может, они их просто не осилили, мне откуда знать. Я тут заглядывал в исходный код Pandora FMS - так там вообще такой лютый трешак, что аж стыдно становится за чуваков. А ведь это большой программный продукт. А смотрел в исходники VMware SDK - очень неплохо написано.

Всем плевать что тебе нравится, а что нет. Это к стилю не относится, если ребята выбрали для проекта такой способ именования - это их дело. А вот переменные $redc,$hsc,$ki и $vi - скотство.

Если используешь постфиксные конструкции, нужно соблюдать два правила: 1. Проверяемые логические выражения должны быть простыми 2. Вся конструкция должна помещаться в одну строку.

fat comma была придумана чтоб не заключать в кавычки левый операнд.

use utf8 тебе там нахрена?

А ещё ты постоянно не к месту используешь переменные по умолчанию и магические числа.

Из сисадминов пришел небось?

Ключи хешей без кавычек - признак дурного тона, в perl6 это вообще выпилили, и правильно сделали

это не так. rtfm

Надо было «Системное программирование ни Perl»