PyTorch — популярный фреймворк для машинного обучения — обновился до версии 2.0. В этот релиз включены более 4500 изменений.

( читать дальше... )

>>> Подробности

Основная функциональность Snoop Project — выслеживать «username» в публичных данных, дополнительно присутствуют различные OSINT-плагины.

Snoop Project внесён в реестр отечественного ПО РФ с заявленным кодом 26.30.11.16: Программное Обеспечение, обеспечивающее выполнение установленных действий при проведении оперативно-розыскных мероприятий: №7012 приказ 07.10.2020 №515.

Snoop Project разработан на материалах исследовательской работы в области скрапинга публичных данных (собственная БД). На данный момент Snoop выслеживает nickname по 2700 интернет-ресурсам (в полной версии) и по самым популярным ресурсам (в демо-версии).

Подготовлены готовые сборки для OS GNU/Linux и Windows, из исходников собирается и в Termux (Android): https://github.com/snooppr/snoop/releases

Список изменений:

v1.3.7

• Расширена поисковая web-base Snoop до 2700 сайтов.

• Android. Ускорен поиск snoop на Termux ~ на 200% (требуется обновление Termux и обновление Python до версии 3.11, либо установка пропатченного python 3.7-3.10 из tur-repo, в крайнем случае сохранена обратная совместимость и небыстрый поиск).

• Android. [Из-за специфичной локали в Termux] если пользователь ищет ник, например, на кириллице, то лишь в html результатах ник будет переименован, как ‘nickname_ч_м_г_время’, мера необходима для корректного автооткрытия результатов поиска в вэб-браузере, txt/csv отчёты не затронуты.

• Переработана и улучшена интеллектуальная логика поиска. Snoop в большинстве случаев не делает повторные запросы на зацензурированные ресурсы внешней стороной или внутренним регулятором (экономия времени при поиске, в противном случае, ресурсы были бы потрачены впустую, актуально в Full-версиях).

• Улучшено детектирование трёх групп сайтов (1_ исключаются ошибки ложного сраб. при поиске, если проблемы с серверами или они на ТО, затрагивает ~50% БД snoop. 2_ Больше результатов при поиске на сайтах, которые давно заброшены или имеют проблемы с безопасностью. 3_ Расширен формат БД Snoop для манипуляций с редкими проблемными кодировками/сайтами, например, когда сервер возвращает/не возвращает одну кодировку, а в тегах присутствует другая).

• Исправлен подсчёт % Bad_raw при любых манипуляциях с БД Snoop, а также учитывааются сайты из Dynamic gray_list (дефолтная локальная БД; скачанная БД; синхронизированная онлайн БД; сокращённые БД с ключами ‘-s’, ‘-i’, ‘-e’).

• Добавлена проверка опечаток: nickname не может быть короче 2-х символов (если пользователь опечатался ‘-s’, например, при наборе ключа $ snoop_cli - s ebay username, поведение ранее вызвало бы поиск сразу чётырёх nickname(s) по всей БД snoop:: ‘-’, ‘s’, ‘ebay’ , ‘username’ вместо поиска одного username на одном указанном ресурсе — ebay.com).

• Добавлена новая опция поиска: режим ‘–quick’, которая ускоряет общий поиск (подробнее о новом режиме поиска в ‘–help’, quick-режим актуален для Full-версий, при слабых мощностях, OS Windows).

• Переработана кодовая база некоторых частей ПО, в проекте стало меньше сторонних lib-зависимостей.

• Косметические изменения в ПО (удалена опция ‘Normal’; переименована опция «one-level» в «include»; опция удаления отчетов теперь выводит баннер и запрашивает подтверждение на удаление; логгирование low/high ошибок стало более информативным; расширен блок snoop-info; при поиске nickname и получения ошибок в CLI, связанных с Internet Censorship/ssl, справа от ресурса появляется буквенный код страны, например, если у пользователей из РФ-локации очень часто возникают ошибки на UA-ресурсах, это значит, что «слон в комнате»; поддержать проект теперь можно и с помощью QIWI; поправлены print-опечатки и смысловые конструкции).

>>> Репозиторий

24 октября 2022 года объявлено о выпуске новой версии популярного языка программирования Python 3.11.

Python — это высокоуровневый язык программирования общего назначения с динамической строгой типизацией и автоматическим управлением памятью, ориентированный на повышение производительности разработчика, читаемости кода и его качества, а также на обеспечение переносимости написанных на нём программ (Википедия).

( читать дальше... )

>>> Список изменений от 26 октября

16 октября вышла стабильная версия компилятора Nuitka 1.1, предназначенного для сборки скриптовых приложений на Python в исполняемый файл через трансляцию в C.

( читать дальше... )

>>> Подробности

Python 2 больше не будет поддерживаться разработчиками Arch Linux. Пользователи, у которых он уже установлен смогут его оставить, однако получать обновления безопасности они не будут. Остальные пользователи дистрибутива могут добавить себе сторонний репозиторий, в котором поддержка все еще осуществляется, либо использовать AUR.

Об окончании поддержки Python 2 было объявлено еще в январе 2020 года.

2 AEP: действительно, проглядел конкретно.

>>> Подробности

Итак, после некоторых боданий с кодом и не без помощи добрых людей, представляю вашему вниманию утилиту для настройки устройств ввода в Sway - Sway Input Configurator.

( читать дальше... )

>>> Подробности

zeronet-conservancy является продолжением/форком децентрализованной цензуроустойчивой сети 0net, нацеленным на поддержание сети, увеличение безопасности, переход к модерации пользователями (нынешняя система не работает, так как «владельцы сайтов» регулярно исчезают) и в дальнейшем плавный переход на новую, безопасную и быструю сеть.

Ключевые изменения по сравнению с последней официальной версией ZeroNet:

• поддержка Tor onion v3;
• обновления документации;
• поддержка современной версии hashlib;
• отключение небезопасного обновления через сеть;
• изменения, направленные на повышение безопасности;
• отсутствие бинарных сборок (являющихся очередным вектором атаки до тех пор, пока они не будут воспроизводимы);
• новые активные трекеры.

В ближайших перспективах — избавление проекта от завимости от централизованного сервиса zeroid, увеличение производительности, больше аудита кода, новые безопасные API.

Проект открыт к контрибьюторам.

>>> Подробности

Спустя совсем немного времени после Дня космонавтики состоялся релиз библиотеки ReSGP4.

Библиотека представляет собой расширение для Python 3, которое позволяет симулировать движение космических объектов по орбитам вокруг Земли.

( читать дальше... )

>>> Подробности

Вышла новая версия клиента децентрализованной одноранговой сети ZeroNet — платформы для создания и распространения веб-приложений по протоколу BitTorrent.

Данный выпуск является форком апстрима, так как основной разработчик @nofish забросил работу над проектом более года назад.
Текущая ветка поддерживается разработчиком ZeroNet Mobile (@pramukesh).

Официальный сайт форка: https://zeronet.dev/
Репозиторий: https://github.com/ZeroNetX/ZeroNet

Прокси-гейт для просмотра сайтов в сети ZeroNet из интернета: https://zerolink.ml/
Блог о состоянии дел в ZeroNet на русском языке: https://zerolink.ml/1HKsGQWHbR33LjzqtoPfUBANXuYDy32hXp

( читать дальше... )

>>> Подробности

Состоялся релиз Tribler 7.11 — BitTorrent-клиента с открытым исходным кодом, разрабатываемого Делфтским Техническим Университетом (Нидерланды).

Отличительными чертами Tribler являются собственная децентрализованная база данных торрентов и TOR-подобная сеть анонимизации пользователей. Клиент написан с использованием библиотек PyQt и LibTorrent.

Главным нововведением релиза стала система краудсорсинга тегов: пользователь может назначить торренту тег, и ассоциация «торрент-тег» распространится по сети анонимно.

Кроме того, список файлов в торренте теперь представлен в виде дерева.

Для разработчиков: в результате массивного рефакторинга, бэкенд (Tribler Core) теперь разбит на отдельные компоненты. Разработчики утверждают, что разобраться с кодом стало намного проще.

>>> Подробности

Опубликован свежий выпуск проекта Snoop v1.3.2.

Snoop — это OSINT-инструмент, который разыскивает учётные записи пользователей в публичных данных (разведка на основе открытых источников), а также имеет различные плагины, позволяющие работать с IP/Geo/Yandex-ом. Программа анализирует различные сайты, форумы и социальные сети на предмет наличия искомого имени пользователя, т.е. позволяет определить на каких сайтах имеется пользователь с указанным ником. Проект разработан по материалам исследовательской работы в области скрапинга публичных данных.

Сборки подготовлены для Linux и Windows. Из исходников Snoop собирается и для Android/Termux.

Код написан на языке Python и распространяется под лицензией, ограничивающей применение только для личного пользования.

Snoop внесён в российский Единый реестр российских программ для электронных вычислительных машин и баз данных с заявленным кодом 26.30.11.16: «Программное Обеспечение, обеспечивающее выполнение установленных действий при проведении оперативно-розыскных мероприятий:: No7012 приказ 07.10.2020 No515». На данный момент Snoop выслеживает наличие пользователя по 2000+ интернет ресурсам в полной версии и по самым популярным ресурсам в Demo-версии.

Изменения:

• Расширен формат БД: добавлен параметр ‘grey_list’ динамические сайты временно отключенные. В csv-отчеты записываются статусы о временно отключённых сайтах, с опцией --verbose, -v информация о сайтах из grey_list отображается и в CLI.

• Для build-версий Snoop добавлен прядильщик при синхронизации локальной и удаленной БД. При синхронизации/обновлении БД временно всплывает анимированное сообщение: ‘синхронизация с БД онлайн’.

• По просьбе донатера опция отображение детальной информации о БД snoop: --list all теперь может записываться в сокращённом виде -l y.

• Добавлена новая опция --exclude, -e RU — исключить из поиска выбранные регионы, например, wr — мир. Допустимо использовать опцию несколько раз: -e ru -e us. Опция регистронезависимая, информация о флаге страны отображается в cli и записывается во все отчеты. Несуществующие, выбранные регионы подсвечены в CLI красным цветом.

• Добавлена опция --one-level, -o UA — включить для поиска конкретные регионы. Допускается использовать опцию несколько раз, например, поиск только по украинским и белорусским сайтам -o UA -o BY. Опция регистронезависимая, информация о флаге страны также добавляется в cli и во все отчеты. Несуществующие выбранные регионы подсвечены в CLI красным цветом.

• Опция --site, -s выводит теперь и сообщения, если желаемый для поиска сайт замечен в БД full-версии, но отсутствует в БД Demo-версии.

• Права на документ Общее руководство Snoop Project.pdf исправлены с 755 на 644. Исправление подсказали в комментариях к предыдущей новости на LOR, набравшей > 400 комментариев, половина из которых была зачищена.

• Обновлена справка в ПО snoop --help.

• Мелкие и незначительные улучшения в кодовой базе.

>>> Релиз

Snoop Project — это криминалистический OSINT-инструмент. Основная функциональность Snoop Project — выслеживание «nickname» в публичных данных, расширенная функциональность — различные OSINT-плагины (в т.ч. разработанные на идеях и материалах обнаруженных уязвимостей в Яндексе (при участии в программе багбаунти от Яндекса)), позволяющие работать с IP/GEO/Yandex-ом.

Snoop Project внесён в реестр отечественного ПО РФ с заявленным кодом 26.30.11.16: Программное Обеспечение, обеспечивающее выполнение установленных действий при проведении оперативно-розыскных мероприятий:: No7012 приказ 07.10.2020 No515.

Snoop Project разработан по материалам исследовательской работы в области скрапинга публичных данных (собственная БД). На данный момент Snoop выслеживает nickname по > 2200+ интернет ресурсам (Full версии) и по самым популярным ресурсам (Demo версии).

Для пользователей подготовлены готовые сборки для OS GNU/Linux и OS Windows. Из исходников Snoop собирается и для Android/Termux.

v1.3.1 (A)

• Расширена поисковая веб-база Snoop, она включает более 2200+сайтов.

• Добавлено в html/csv-отчёты и в CLI параметр: ‘сессия’:: обработанные данные трафика (ungzip) в целом и персонально для каждого сайта (с опцией ‘-v’ визуально в CLI; новый столбец ‘Сессия/Kb’ в csv-отчёте; ‘сессия’ в html-отчёте).

• При превышении стандартных параметров Internet Censorship в общий вывод-CLI добавлена информация о пропуске: err БД в ‘%’.

• Обновлён плагин Yandex_parser до v0.4 (пропуск обработки данных несуществующих username в БД Яндекса).

• Изменены пути записи отчётов для Snoop for Windows (issues/49).

• Обновлены права Snoop for GNU/Linux build-версий с 744 на 644 (issues/50).

• Вместо utf-8 для csv-отчётов введён автоматический выбор кодировки (для OS Windows — 1251).

• Вывод информации о БД Snoop опции [–list all] и в файле websites.md сортируются без учёта регистра (проще найти LOR).

• В аргументах CLI обновлён ключ: --update y до сокращения -U y.

• Добавлен Readme.en.

• Продлена лицензия необновляемой Snoop EN-версии на год.

• Обновлена документация: ‘Общее руководство Snoop Project.pdf’

• Мелкие и незначительные улучшения в CLI.

>>> Релиз

PyCon Russia 2021 – конференция для продвинутых python-разработчиков

Место: Природный курорт Клязьма Резорт в 12 км. от Москвы
Даты: 5-6 сентября 2021 г.

Питонисты со всей России и ближнего зарубежья соберутся на 2 дня в подмосковном комплексе Клязьма Резорт, чтобы погрузиться в python-сообщество, расширить контакты и хорошо отдохнуть.

В программе:

• 24 доклада в 2 потока: Разработка на python и ML&Data Science;
• 3 мастер-класса;
• развлечения и призы от спонсоров;
• крутой python-мерч;
• еда (много еды!);
• after-party;
• песни у костра;
• пивной безлимит.

>>> PyCon Russia 2021

Tribler – клиент BitTorrent с открытым исходным кодом, разрабатываемый Делфтским Техническим Университетом (Нидерланды). Клиент написан на PyQt+LibTorrent. Особенности клиента:

• собственная TOR-подобная сеть для анонимизации закачек и раздач;
• приоритизация «альтруистичных» пользователей анонимной сети;
• децентрализованная база торрентов, наполняемая по принципу краудсоринга.

>>> Tribler 7.10

В каталоге Python Package Index нашли несколько пакетов со скрытыми майнерами. Проблемы были в пакетах maratlib, maratlib1, matplatlib-plus, mllearnlib, mplatlib и learninglib, имена которых были придуманы в честь самого себя, а также похожими по написанию на популярные библиотеки (matplotlib) с расчётом, что пользователь ошибётся при написании или попросту перепутает название пакета и не заметит отличий. Пакеты были размещены в апреле под учётной записью nedog123 (другие подписи/ники: Marat Nedogimov и maratoff).

Вот небольшая статистика скачиваний за два месяца:

• maratlib: 2,371
• maratlib1: 379
• matplatlib-plus: 913
• mllearnlib: 305
• mplatlib: 318
• learninglib: 626

Суммарно выходит около 5000 раз, но учитывая зависимости речь скорее идёт о 2500 загрузках.

Вредоносный код был размещён в библиотеке maratlib, которая использовалась в остальных пакетах в форме зависимости. Сам код был скрыт с использованием самописной обфускации, не определяемой типовыми утилитами, и запускался при выполнении сборочного скрипта setup.py, который выполняется во время установки пакета. Далее с GitHub скачивался один из скриптов seo.sh, aza.sh, aza2.sh или aza-obf.sh, который уже загружал сам майнер Ubqminer или T-Rex.

>>> Подробности

Вышло обновление video2midi – кроссплатформенной утилиты, предназначенной для воссоздания многоканального midi-файла из видеороликов в которых присутствует виртуальная midi-клавиатура/нотный лист аналогичный синтезии.

Основные изменения с версии 0.4.0.2:

• Добавлена ​​функция RollCheck, используется для улучшения считывания нажатия нот ( отсеивания ложных срабатываний на чёрных клавишах ), что помогает улучить реконструкцию midi с гибридных видео, где нотный лист отображён с ситнезии а клавиши затёрты реальным пианино.

• Добавлен ползунок в дополнительное окно для управления высотой вертикальных линий клавиш, что позволяет более точно позиционировать клавиши относительно видео.

• Добавлен ползунок для регулировки относительного положения черных клавиш.

• Добавлена ​​возможность определять повторное нажатие/отпуск клавиш по искрам. В некоторых видео многократное нажатие клавиш отображается на виртуальной клавиатуре длительным удержанием клавиш.

• Изменен тип midi формата по умолчанию на 0 (старый тип по умолчанию 1).

• Добавлена ​​возможность указать выходной формат файла midi. Не все DAW могут разделять многоканальные midi типа 1 при импорте. Поэтому, если ваша DAW импортирует многоканальные MIDI-файлы как одноканальную дорожку, попробуйте поиграться с выходным MIDI-форматом.

• Добавлена ​​новая функция квантования нот по времени (привязка к сетке 1/32).

• Внесены изменения в графический интерфейс, переработан код отвечающий за работу кнопок и ползунков.

>>> Подробности

r-test - это Python скрипт, позволяющий оценить влияние настроек виртуальной памяти (vm.swappiness, vm.watermark_scale_factor, Multigenerational LRU Framework и прочих) на производительность выполнения задач, выполнение которых зависит от кэширования файловых операций в условиях нехватки памяти. Код открыт под лицензией CC0.

Основной способ использования - считывание файлов из указанной директории в случайном порядке и их добавление в список, пока не будет считано заданное число мебибайт.

Имеет два режима работы. Первый - вспомогательный - служит для создания директории заданного объема. При этом в директории создается заданное число мебибайтных файлов со случайными именами.

Второй режим - основной - режим чтения файлов из указанной директории в случайном порядке. Во время чтения растет объем потребляемой скриптом памяти, а скорость считывания заданного объема файлов зависит от объема кэшированных файловых страниц.

Частью проекта также является вспомогательных скрипт drop-cache, который рекомендуется выполнять перед началом теста.

В процессе работы скрипта в режиме чтения выводится общее время работы, средняя скорость чтения, имя последнего считанного файла.

Скрипт также позволяет логировать результаты в файл. Пример лога:

2021-05-30 21:47:56,084: mkdir testdir1
2021-05-30 21:47:56,211: written testdir1/0.9860985015646311; total size: 1M
2021-05-30 21:47:56,289: written testdir1/0.0691916965192153; total size: 2M
2021-05-30 21:47:56,377: written testdir1/0.27868153831296383; total size: 3M
2021-05-30 21:47:56,455: written testdir1/0.7341114648416274; total size: 4M
2021-05-30 21:47:56,533: written testdir1/0.5363495159203434; total size: 5M
2021-05-30 21:47:56,533: OK
2021-05-30 21:48:23,193: found 5 regular files in testdir1, total size: 5.0M
2021-05-30 21:48:23,199: setting self oom_score_adj=1000
2021-05-30 21:48:23,199: reading files from the directory testdir1
2021-05-30 21:48:23,229: read 1.0M (20.0%) in 0.0s (avg 32.9M/s); file 0.7341114648416274
2021-05-30 21:48:23,296: read 2.0M (40.0%) in 0.1s (avg 20.8M/s); file 0.0691916965192153
2021-05-30 21:48:23,298: read 3.0M (60.0%) in 0.1s (avg 30.3M/s); file 0.0691916965192153
2021-05-30 21:48:23,299: read 4.0M (80.0%) in 0.1s (avg 40.1M/s); file 0.7341114648416274
2021-05-30 21:48:23,352: read 5.0M (100.0%) in 0.2s (avg 32.6M/s); file 0.27868153831296383
2021-05-30 21:48:23,353: --
2021-05-30 21:48:23,353: read 5.0M in 0.2s (avg 32.6M/s); src: 5 files, 5.0M
2021-05-30 21:48:23,354: OK

>>> Подробности

На онлайн-конференции Python Language Summit 2021 автор языка и сотрудник Майкрософт Гвидо ван Россум рассказал о запланированном на версию 3.11 увеличении скорости CPython.

За проект Ван Россум благодарит пандемию и Майкрософт. Ему стало скучно на пенсии, он попробовал наняться в Майкрософт, его взяли и разрешили самому выбрать, чем заняться. Таким образом Майкрософт «возвращает долги» Питону.

( читать дальше... )

>>> Презентация

Вышла новая версия реализации языка программирования Python, ориентированная на производительность и основанная на CPython. По заявлениям разработчиков, форк быстрее в среднем на 30% относительно CPython, во многом за счёт вырезания возможностей по отладке программ.

Исходный код новой версии, которая является первой с полностью открытым исходным кодом, опубликован под лицензией PSFLv2.

Название произносится как [пистон].

>>> Подробности

Состоялся LTS-релиз фреймворка Web-приложений Django версии 3.2 со сроком поддержки до апреля 2024 года.

• Новые фичи

• Список изменений, несовместимых с предыдущими выпусками

• Список фич, объявленных устаревшими

>>> Полный список изменений