Привет, друзья! С Праздником!

Интересуясь настройкой производительности своего ноута, натолкнулся на интересный тест в комментарии файла ioblksize.h (coreutils) от автора его кода Jim Meyering:

#!/bin/bash
for i in $(seq 0 10)
	do bs=$((1024*2**$i))
    printf "%7s=" $bs
    timeout --foreground -sINT 2 \
        dd bs=$bs if=/dev/zero of=/dev/null 2>&1 \
        | sed -n 's/.* \([0-9,.]* [GM]B\/s\)/\1/p'
done

Из приложенной таблицы результатов тестов разных процессоров видно, что в среднем наибольшая скорость чтения наблюдается при размере блока 128 Кб:

                per-system transfer rate (GB/s)
   blksize   #1    #2    #3    #4    #5    #6    #7
   ------------------------------------------------
      1024  .73   1.7   2.6   .64   1.0   2.5   1.3
      2048  1.3   3.0   4.4   1.2   2.0   4.4   2.5
      4096  2.4   5.1   6.5   2.3   3.7   7.4   4.8
      8192  3.5   7.3   8.5   4.0   6.0  10.4   9.2
     16384  3.9   9.4  10.1   6.3   8.3  13.3  16.8
     32768  5.2   9.9  11.1   8.1  10.7  13.2  28.0
     65536  5.3  11.2  12.0  10.6  12.8  16.1  41.4
    131072  5.5  11.8  12.3  12.1  14.0  16.7  54.8
    262144  5.7  11.6  12.5  12.3  14.7  16.4  40.0
    524288  5.7  11.4  12.5  12.1  14.7  15.5  34.5
   1048576  5.8  11.4  12.6  12.2  14.9  15.7  36.5

Но на некоторых машинах чтение ФС очевидно быстрее с альтернативным размером блока. Так оказалось и в случае с моим N3540:

   1024=667 MB/s
   2048=1,2 GB/s
   4096=2,1 GB/s
   8192=3,2 GB/s
  16384=4,2 GB/s
  32768=5,1 GB/s
  65536=5,8 GB/s
 131072=6,2 GB/s
 262144=6,5 GB/s
 524288=6,6 GB/s
1048576=5,4 GB/s

Наблюдается очевидный пик при размере блока 512 Кб. Тем не менее, по умолчанию при подключении диска к системе параметр read_ahead_kb устанавливается в 128 Кб. Чтобы проверить, повлияет ли на скорость чтения ФС изменение размера блока по рекомендации теста Jim Meyering, я провёл ряд испытаний в максимально одинаковых условиях: сразу после загрузки, когда участвующие в тестах дирректории ещё не кэшированы. Засекал время на копирование файлов с жёсткого диска в /tmp. Использовал как системную cp, так и утилиту rsync. В тестах принимали участие процессор N3540 и SSD от одного производителя. Результат в секундах, ФС ext4.

Как видно из таблицы, с блоком 512 Кб наблюдается значительное ускорение при чтении незакэшированного содержимого диска (кэшированные файлы читаются примерно одинаково). Особенно это сказывается на работе rsync. Чтобы изменение сделать постоянным, добавил правило udev:

ACTION=="add|change", SUBSYSTEM=="block", RUN+="/bin/sh -c '/bin/echo 512 > /sys%p/queue/read_ahead_kb'"

Результатом очень доволен. Приятно узнать, что твой компьютер может больше, лучше, быстрее. А самое важное – на ожидание копирований/перемещений файлов тратится меньше драгоценного времени.

Интересно, с каким размером блока у вас файловая система работает быстрее? Поделитесь в комментариях!

Привет, лор!

Решение: убрал «массу» с тачпада и изолировал металлическую подложку от той же «массы».

TL;DR

Сразу после покупки, ещё были установлены m$окна, заметил проблемы. После включения тача, секунд через 20, курсор начинал непредсказуемо скакать по всему экрану. Лечилось выключением/включением тача. Через 20 секунд всё повторялось.

Не стал возвращать, потому что аппарат купил за рубежом, вникать в местные процедуры обмена не было желания, а комп был срочно нужен. Взял проводную мышку, так и пользовался.

Установка свободной ОС вопрос не решила: проблема «железа». Через гугол можно найти тысячи тем с жалобами на подобные проблемы тачпада.

В основном советуют изолировать от статического электричества. Пробовал экранировать разными материалами – нулевой эффект. Реже рекомендуют улучшить соединение с «массой». Действительно, на плате тача имеются две площадки под пайку. Одна из них широкой токопроводящей лентой надёжно соединяется с «массой» ноута. Чтобы улучшить соединение, я припаял ко второй площадке проводник с клеммой и винтом прикрутил к металлической основе ноута, чтобы наверняка. Увы это проблему не решило: через несколько секунд после включения тача курсор продолжал скакать по экрану.

Прошло три года. Всё это время пользовался блютус-мышкой. Так себе решение, потому что мне нравится тайловый awesome wm, в котором мышка особенно не нужна кроме случаев с браузером. А в браузере мне нравится управлять тачем.

На днях снова заскучал по тачу (такое не раз бывало, когда садились батарейки в мышке). И тут пришла идея сделать совсем не так, как советуют: изолировать тач. Убрал заводской проводник-соединитель с «массой», снял свой дополнительный провод. Кроме этого: тач огромных размеров, к нему приклеена металлическая пластина, которая позволяет не прогибаться при нажатиях на уголки. Эта пластина также плотно прижимается винтами к «массе» ноута. Её я тоже изолировал. Прозвонил тестером – с изоляцией проблем нет. Ноут собрал.

Прошла неделя активного пользования тачем. Ни одного раза не случилось обычного для него бага. Это просто кайф. Всё время думал, что это брак и не лечится. Мне на ум не могло прийти сомнение в том, что инженеры не могут ошибаться в правильности решений для моего случая (видимо, не только моего).

Нужно не бояться пробовать находить самые неожиданные решения.

Привет, лор!

Мне, рядовому юзеру GNU/Linux, интересно: в каких случаях я могу получить профит от использования сабжа?

TL;DR
Понравилось мнение, выраженное одним из разработчиков федоры: разные аллокаторы проявляют свои преимущества под специфичными нагрузками, поэтому в пакетах не должно быть жёсткой привязки к не-glibc-аллокаторам, чтобы у пользователей была свобода подключать при помощи LD_PRELOAD подходящий для нагрузки сабж.

Для примера: замерял время сборки ядра (в максимально идентичных условиях с одним и тем же конфигом) с разными malloc. Результаты получились такие:

glibc       25:51
talloc      26:05
tbbmalloc   26:13
mimalloc    26:16
jemalloc    27:10
hoard       28:02
tcmalloc    29:00

Т.е. никакого профита от LD_PRELOAD в случае с компилятором я на своём железе не получаю.

Благодарю за интересные примеры.

Привет!

Возможно? Или это неотделимая часть процесса сборки?

Благодарю.

Привет!

Есть такая опция? Или я в глаза долблюсь – не вижу.

Спасибо.

Привет!

Имеется 4-ядерный проц. Компиляю ядро с патчем MuQSS: время 27 минут, загрузка процессора 395%. Та же процедура без патча занимает 1 час, при этом загрузка процессора ~170% (данные утилиты time).

Я бы и дальше пользовался ядром с патчем MuQSS, но мне не нравится, что в простое у него Load average 0.80, в то время как со стандартным планировщиком 0.01. Батарейка быстрее садится, а я часто только тексты часами печатаю.

Почему стандартный планировщик так лениво загружает проц? Как его настроить, чтобы в простое он ядра не нагружал, а под нагрузкой работал в полную силу?
Спасибо.

Привет, друзья!

Имеются надёжные, добротные, классные по многим параметрам спортивные часы с GPS (фирму писать не буду, ибо не реклама). Хотя и стоят недёшево, но разработчики на мои просьбы не обращают внимания – выходят новые прошивки без учёта фич-запросов. Выходит, что самому нужно дорабатывать.

Прошивки достать довольно просто. Очень вас прошу посмотреть файлик. Forssa-fw_2.0.40.2163-B.zip. Это zip-архивчик, в котором наиболее интересный файлик – Amsterdam.bin. Это образ файловой системы устройства.

Встречающиеся слова MSDOS5.0, FAT32, NO LABEL как бы намекают, что файловая система – FAT. Изучил структуру, пробовал, нет – бился с монтированием, но всё бестолку. Знаний и опыта не хватает.

imagemagick находит много правильно оформленных XML-файлов, из которых понятно, как функционируют внутренние программы. Если HEX-редактором подправить несколько значений, подменить контрольную сумму в файлике manifest.json, то часы такую прошивку кушают, а это вселяет большую надежду. Но буквально 3 дополнительных слова, и уже всё сыпется :(

Очень вас прошу посмотреть, как бы примонтировать эту ФС для открытия сезона радости программирования любимого устройства.

P.S.
Много времени потратил на другом пути: расшифровывал команды общения ПК с часами по проводу (COM-порт). Думал, что кроме имеющихся в архиве файлов с нэта подгружается дополнительный секретный кусок. Ничего подобного. Что есть в архиве – это и есть вся прошивка. Но начинается образ как-то совсем странно. Руки опускаются, прошу помощи.

Речь о правах владения, пользования и распоряжения. Прошу себя поставить на место того и другого и вынести взвешенное суждение.

Привет!

Хочу подобрать солидное, запоминающееся имя. mail@domain.ru? m@domain.ru? +@domain.ru?

Имеется файл в кодировке UTF8. Раньше он был в кодировке CP1251. Каким-то образом кракозябры типа «Åâãåíèé» закрепились в кодировке юникода, поэтому команда типа iconv -f CP1251 -t UTF8 input.txt -o output.txt не имеет никакого смысла.

Скопировать текст в какой-нибудь онлайн-декодер не могу, потому что в файле содержится чувствительная информация (логины, пароли и т. п.).

Прошу подсказать, как решить вопрос локально.

Привет, лор!

Прочитав работу «Techniques and Countermeasures of TCP-IP OS Fingerprinting on Linux Systems» и мануал Block and Slow Nmap with Firewalls, решил, что нужно разработать шаблон iptables для защиты своих vps-ок. Цель – по возможности скрыть пассивные отпечатки OS, а также фильтрация нежелательных подключений. Работа таблиц тестировалась в том числе и на реликтовом 2.6 ядре.

#!/bin/bash

# 1
iptables -P INPUT DROP
iptables -P OUTPUT ACCEPT
iptables -P FORWARD ACCEPT
ip6tables -P INPUT DROP
ip6tables -P OUTPUT ACCEPT
ip6tables -P FORWARD ACCEPT

# 2
iptables -F
iptables -X
iptables -t nat -F
iptables -t nat -X
iptables -t mangle -F
iptables -t mangle -X
iptables -N NMAP
iptables -N SSH

# 3
iptables -A INPUT -m state --state ESTABLISHED -j ACCEPT

# 4
iptables -A INPUT -i lo -j ACCEPT
iptables -A INPUT ! -i lo -s 127.0.0.0/8 -j DROP
iptables -A INPUT -m state --state UNTRACKED,INVALID -j DROP
iptables -t nat -A POSTROUTING -s XX.XX.XX.XX/24 -j SNAT --to-source XX.XX.XX.XX --persistent
iptables -A INPUT -i tun+ ! -s XX.XX.XX.XX/32 -p tcp --dport XXXXX -j REJECT --reject-with tcp-reset
iptables -A INPUT -i tun+ -j ACCEPT

# 5
iptables -A INPUT -p udp --dport XXXXX ! --sport 0 -m state --state NEW ! -f -m u32 --u32 "0>>22&0x3C@5&0xFF=0x38 && 0>>22&0x3C@34=0x3F3" -j ACCEPT

# 6
iptables -A INPUT -m recent --update --seconds 604800 --reap --name nmap -j DROP

# 7
iptables -A INPUT -p tcp -m multiport --dports XXXXX,XXXXX -m tcpmss --mss YYYY -m state --state NEW -j SSH
iptables -A SSH -m recent --update --seconds 604800 --reap --name ssh
iptables -A SSH -m recent --set --name ssh
iptables -A SSH -m limit --limit 1/minute --limit-burst 1 -j ACCEPT
iptables -A SSH -j DROP

# 8
iptables -A INPUT -p icmp --icmp-type 8 -m length --length XXXX -m limit --limit 1/second --limit-burst 1 -j ACCEPT
iptables -A INPUT -p icmp -m limit --limit 1/second --limit-burst 1 -j REJECT --reject-with icmp-host-unreachable

# 9
iptables -A INPUT -p tcp --sport 0 -j NMAP
iptables -A INPUT -p udp --sport 0 -j NMAP
iptables -A INPUT -m state --state NEW -f -j NMAP
iptables -A INPUT -p tcp -m osf --genre NMAP -j NMAP
iptables -A INPUT -p udp -m length --length 20:28 -j NMAP
iptables -A INPUT -p tcp ! --tcp-flags ALL SYN -m state --state NEW -j NMAP
iptables -A INPUT -p tcp --tcp-flags SYN SYN -m state ! --state NEW -j NMAP
iptables -A NMAP -m recent --set --name nmap -j DROP

# 10
iptables -t mangle -A OUTPUT -p tcp -j ECN --ecn-tcp-remove
iptables -t mangle -A OUTPUT -p tcp -j DSCP --set-dscp-class XX
iptables -t mangle -A OUTPUT -p tcp --syn -j TCPMSS --set-mss XXXX
iptables -t mangle -A OUTPUT -p tcp -j TTL --ttl-set 128
iptables -t mangle -A OUTPUT -p udp -j TTL --ttl-set 32
iptables -t mangle -A OUTPUT -p icmp -j TTL --ttl-set 128

# 11
# XXXXX service
iptables -A INPUT -p tcp --dport XXXXX -m state --state NEW -j ACCEPT
iptables -A INPUT -p udp --dport XXXXX -m state --state NEW -j ACCEPT

exit 0

• #1 Настройка политик по умолчанию. ipv6 обычно отключена, но ip6tables -P INPUT DROP оставляю на случай, если забуду v6 выключить.

• #2 Очистка таблиц перед настройкой правил.

• #3 Подтверждённые соединения больше не фильтруются. Без RELATED всё замечательно работает.

• #4 Внутренний трафик должен приходить только с устройства lo. -j SNAT для vpn. ! -s XX.XX.XX.XX/32 на некоторые порты доступ закрыт в том числе друзьям внутри виртуальной сети. Остальной трафик внутри vpn -i tun+ принимается без фильтраций.

• #5 Мне нужен стабильный доступ к vpn даже тогда, когда мой ip-шник занесён в список блокировки (во время тестов такое случается частенько). Есть подключение по vpn – доступ к ssh гарантирован. Так как этот порт не прикрыт чёрным списком, ему назначены дополнительные проверки: первый пакет не должен быть сегментирован, например. Модуль u32 – это нечто! Оооочень доступный мануал от Bill Stearn здесь. Меня напрягало, что OpenVPN отвечает на обе доступные пробы nmap -sV. Благо, первый openvpn udp пакет обладает уникальными для каждой конфигурации признаками в зависимости от сгенерированнного Diffie–Hellman ключа. 0>>22&0x3C@5&0xFF=0x38 матчится байт-маркер OpenVPN, 0>>22&0x3C@34=0x3F3 – бред, чтобы не копировали: здесь правило будет у всех разное, можно только его оставить. Ищется просто с помощью tcpdump, wireshark и т. д. В результате vps-ка больше не отвечает ни на какие пробы запущенной на порту службы.

• #6 Чёрный список со сроком жизни каждой записи в одну неделю.

• #7 К сожалению, первый пакет tcp соединения (ssh) невозможно фильтровать модулем u32 – пакет обычно пустой, а провайдер режет бит TOS. Поэтому придумал помечать SYN пакеты выставлением --mss (принимает значения до 1460 включительно). Выбрал нестандартное значение и voilà: для обычного сканера порт выглядит всегда закрытым, и не нужно городить «port-knocking» и прочие «f2b». Доступ к ssh разрешён только по сертификату + подключаюсь всегда только с одной машины. Разумеется, у клиента прописано правило -t mangle -A POSTROUTING -d XX.XX.XX.XX -p tcp --syn -m multiport --dports XXXXX,XXXXX -j TCPMSS --set-mss YYYY. Это резервное правило, потому что всегда подключаюсь к ssh по vpn. -m limit --limit 1/minute нужен для замедления атак на случай, если злоумышленник подберёт значение mss. Таблица -m recent --set --name ssh не участвует в блокировках, но мне нужна, чтобы я начал вовремя паниковать (время от времени просматриваю логи блокировок).

• #8 icmp отвечает только если матчится --length XXXX. Во всех остальных случаях не drop, а --reject-with icmp-host-unreachable – никого нет дома! На мой взгляд это эффективнее.

• #9 Детектор tcp и udp сканеров. Ответ на пакет с запрещённого 0-го порта – пассивный признак OS. Сканирование пустыми udp пакетами – верный признак nmap. Первый пакет tcp соединения должен быть помечен SYN флагом, и только так! Он не должен быть сегментирован. Всё остальное от лукавого!
  Меня не интересует блокировка случайных сканеров: каждый день они стучатся тысячами на 22 и т. п. порты. Постучатся разок, да и уходят. А вот nmap-щики отличаются настырностью, как о том свидетельствуют логи. Скан-товарищи появляются нечасто: 1 в день максимум, но таких лучше выявлять и отправлять в ж… на одну неделю.

• #10 Затирание пассивных признаков OS. Цепочка -A OUTPUT транзитный трафик не изменяет, только ответы и соединения самого сервера. Бит TOS (он же ECN + DSCP) менять нужно 100%, он в дефолте выдаёт linux. «–set-mss XXXX» выставляю любой, который матчится скриптами nmap (благо исходники на гитхабе можно просмотреть и подобрать подходящее значение). По моему наблюдению удачными значениями являются 1000, 1400 и 1460. «–ttl-set 128» чаще бывает на M$. В итоге nmap после сканирования с пристрастием уверенно рапортует, что 98% на устройстве работает OS M$ 2000 server, а зная операционку, уже понятно какие надо применять эксплойты ;)

• #11 Прописаны открытые порты для моих сервисов. Там их куча, оставил образец.

Изучил все расширения iptables. Больше ничего полезного для себя не нашёл. Если есть ещё интересные способы прикрытия файервола на iptables – прошу поделиться опытом. Может быть какие-то неочевидные ошибки допустил – прошу поправить. Буду рад, если мой опыт кому-нибудь пригодится.
От атак «я-у-мамы-кул-хацкеров» такие правила должны защитить. В случае с профессионалами, наверно, это не защита, но таким до моих vps-ок нет никакого дела :)

Привет! Не нашел как сделать автоскрытие «родными» средствами, набросал вот такие строчки в функции awful.screen.connect_for_each_screen файла rc.lua:

-- autohide panel
s.wibox_plug = awful.wibar({ position = "top",
                             height = 1,
                             opacity = 0,
                             visible = false,
                             screen = s })
local function make_panel_visible()
    s.mywibox.visible = true
    s.wibox_plug.visible = false
end
local function make_panel_hidden()
    s.mywibox.visible = false
    s.wibox_plug.visible = true
end
local function panel_autohide(focused_client)
    if focused_client.class == 'firefox' then
        make_panel_hidden()
        s.mywibox:connect_signal("mouse::leave", make_panel_hidden)
        s.wibox_plug:connect_signal("mouse::enter", make_panel_visible)
    else
        make_panel_visible()
        s.mywibox:disconnect_signal("mouse::leave", make_panel_hidden)
        s.wibox_plug:disconnect_signal("mouse::enter", make_panel_visible)
    end
end
client.connect_signal("focus", panel_autohide)

Не могу найти сигнал, посылаемый во время активации тега. Вообще, такой существует? Есть какой-то недокументированный request::select, но я не понял как им пользоваться.

Вопрос в том, что панель нормально восстанавливается, только если на следующем теге есть какой-нибудь клиент (окно). А мне нужно обработать исключение, когда на теге никаких окон нет.
Спасибо.

Привет!

Последние несколько лет для этой цели пользовался командой wget --timeout=10 -O - -q icanhazip.com, но недавно запросы на этот сервер перестали проходить (м.б. провайдер блокирует, ХЕЗ).

Нужно решение, удобное для использования в скриптах.
Спасибо.

Привет, комрады!

Обрабатываю строки такого типа:

 81.22.45.65 ttl: 245 last_seen: 13805894152 oldest_pkt: 1 13805894152

командой expand -t 1,17,26,/1. На новой версии coreutils вывод отображается ожидаемо хорошо, а старая жалуется:
expand: tab size contains invalid character(s): '/1'. Если убрать последний оператор /1, то все табы тупо становятся одним пробелом.

Как раньше задавался список позиций табов с указанием ширины?
Спасибо!

Привет, лор!

Пишу юнит с задачей автоматического перезапуска сервиса при завершении с кодом Main process exited, code=exited, status=1/FAILURE. Если просто делать перезапуск сервиса через 5 сек, то используемый им же порт оказывается недоступен. Нужно добить процесс для освобождения порта, затем перезапустить. RemainAfterExit, KillMode, SendSIGKILL – не могу понять, что ему нужно.

Спасибо.

Привет, лор!

Вытягиваю с удалённой машины большой файл (неск. Гб) командой:
rsync -avhcsz --no-o --no-g --timeout=15 --progress --partial-dir=.rsync_parts -e ssh "$@"
Транспорт по сети интернет. Скорость канала небольшая (от 2-х до неск. Кб/сек), при этом соединение постоянно обрывается, в связи с чем rsync обёрнут в скрипт-супервизор а-ля вот здесь.

В файле нельзя допустить ошибки, поэтому опция -c. Беда в том, что при восстановлении соединения rsync очень доооолго сверяет фрагменты загруженной части с источником (затем догружает неск. Кб., и соединение обычно рвётся: снова проверка, etc…)

Может быть я упустил из виду подходящую опцию, с которой, допустим, контрольная сумма будет расчитываться только один раз (загруженная часть + такого же размера начальный кусок источника)? Или, скажем, можно задать размер куска для расчёта хэша?
Вразумите неразумного.

Привет!

Не могу придумать решение задачи. Эмулятору терминала st для нормальной работы нужна экспортированная переменная TERM=st (без неё пользоваться им невозможно, он сходит с ума). Но при подключении к vps-ке по ssh эта переменная отправляется в удалённый shell, так что при запуске нужных мне утилит вываливается ошибка Error opening terminal: st. и ей подобные.

Пробовал declare -r TERM=linux, readonly TERM=linux – толку от этого никакого нет, потому что при новом соединении новый шелл всё это затирает.

Есть опыт как с этим бороться?

Привет!

Командую:
sudo pacman -S netcat
предупреждение: gnu-netcat-0.7.1-7 не устарел --переустанавливается

А если так:
sudo pacman -Rscn netcat
ошибка: не найдена цель: netcat

Это лечится?

Привет, мужчины.

Вид компрессора понятно как указать: default_options="-z lz4".

А степени сжатия?

Поставил в ноут максимально для него возможную планку 8 Гб. Для моих нужд оказалось, что и половины её никогда не бывает занято. Swap-ов нет, гибернация не нужна. Ну, tmpfs стал 4 Гб, но и это не нужно — много.

Вопрос: может быть есть в конфиге ядра опции, которые увеличат производительность пк за счёт неэкономного использования оперативки? Можно ли вообще как-то ускорить ежедневные задачи за счёт свободной RAM?