LINUX.ORG.RU

Избранные сообщения KosmiK

sfq flow распределение нагрузки

Форум — Admin

Привет всем. У меня тут такой вопрос - кто использует sfq + flow has keys dst? в инете инфы мало, ничего конкретного не нашел. Пытался настроить с класами htb + sfq, но когда добавляю

tc filter add dev eth0 pref 1 parent 2: protocol ip handle 2 flow hash keys nfct-src,nfct-dst divisor 1024
то дропаются пакеты. Прошу поделится информацией и\или конфигами =)

NickNill
()

Проясните зоопарк виртуализаций

Форум — General

Развели зоопарк, я ничего не понимаю. Поправьте/дополните, спасибо.

VirtualBox - кроссплатформенная виртуализация под десктопы

KVM - Линуксозависимая виртуализация для vps. При чём тут QEMU?

OpenVZ - Линуксозависимая виртуализация для vps, использует ядро хоста.

Vagrant - Обрёртка над VirtualBox, KVM, OpenVZ. Под десктопы рубиразработчиков. Wait... KVM и OpenVZ используют не только для vps?

LXC - Линуксозависимые чего-то там контейнеры. Куда? Зачем? Чем отличаются от OpenVZ?

Docker - Обёртка над LXC.

libvirt - Обёртка над всем. Это только либа? Если да, то чем ей управлять?

 

suuaq
()

Нищебродский домашний сервер v2.0

Галерея — Рабочие места

Система с cubieboard2 (смотри v1.0) всё-таки оказалась слишком медленной, особенно при большом количестве раздающихся торрентов (~1 Тб). Так что решено было заменить кубиборду на старый ноутбук Acer 5920G (Core 2 Duo 2.4 GHz, 4 GiB RAM, gigabit eth). На ноутбуке нет внешнего eSATA-порта, так что для подключения DAS к внутреннему SATA-порту пришлось сколхозить подходящий кабель из двух: «SATA-удлинителя» и обычного кабеля eSATA (место пайки, обильно залитое термоплавким клеем, видно на фото).

На этом всём установлена пререлизная CentOS 7, на ней поднят LXC-контейнер с Fedora 20, в которой работает qBittorrent. Потом возможно наделаю ещё контейнеров, например со сквидом и прочей полезной в хозяйстве фигнёй. При запуске на tty1 автоматически стартует dstat, так что в любой момент можно открыть крышку ноутбука и удостовериться, что система шевелится.

DAS всё тот же, CFI-B4043JDGG с четырьмя дисками по 4 Тб, только теперь он настроен как RAID 10. Ради интереса я провёл простенькие замеры скорости (как и в прошлый раз) с подключенного ноута. Вот что вышло:

# hdparm -Tt /dev/sda

/dev/sda:
 Timing cached reads:   3224 MB in  2.00 seconds = 1613.17 MB/sec
 Timing buffered disk reads: 700 MB in  3.01 seconds = 232.76 MB/sec

# dd if=/dev/zero of=/dev/sda bs=1024000 count=10240 oflag=direct
10240+0 records in
10240+0 records out
10485760000 bytes (10 GB) copied, 45.3437 s, 231 MB/s

# dd of=/dev/null if=/dev/sda bs=1024000 count=10240 iflag=direct
10240+0 records in
10240+0 records out
10485760000 bytes (10 GB) copied, 39.5322 s, 265 MB/s

>>> Просмотр (1440x1080, 592 Kb)

 , ,

Deleted
()

Незаменимые plug-in'ы Vim

Форум — General

Наверное, «незаменимые» слишком резко, но все же, какие, по вашему мнению, действительно полезные (не тривиальные, типа NERDtree, Syntastic или комплитеры) plug-in'ы для Vim вы используете?

Полагаю, эта тема будет интересна для начинающих и остальных пользователей Vim.

Из того, что использую я:

«The missing motion for Vim» полезен тем, что позволяет искать и перейти к искомому, в отличие от изкоробочного f F одного символа - по 2 или 3, также после активации опции может работать как аналог довольно неюзабельного easymotion, но главное преимущество все-таки в изначальном применении.

«simple REPL inside vim» - дико тащусь от этого малоизвестного плагина, проще посмотреть иллюстрацию по ссылке. (вкратце: получить по одному нажатию результат интерпретатора выделенного куска, :read !* отдыхает).

«Yet another rainbow parentheses plugin» - имхо лучшие цветные скобочки из существующих.

аналог имаксовского Narrow Region, когда хочешь сконцентрироваться на небольшом куске кода/текста, выделяешь, он открывается в отдельном буфере, при сохранении синхронизация с остальным.

открывает файловый менеджер или терминал в директории с редактируемым файлом.

предпросмотр :substitute в реальном времени

...

Кроме этого, может кто не знал: о самом удобном манипулировании с окнами, взаимодействии с tmux (например под любой интерпретатор/компилятор), стартовом экране, календаре-планировщике, отображении отступов, а также нескучной цветовой схеме для терминала, получше, чем блевотный solarized.

Что посоветуете?

 

clojure
()

SoftEther VPN 4.08

Новости — Open Source
Группа Open Source

Состоялся очередной выпуск SoftEther - VPN-сервера, который может поднимать L2TP/IPsec, OpenVPN, MS-SSTP, L2TPv3, EtherIP-серверы, а также имеет свой собственный протокол «SSL-VPN» (маскирующийся под HTTPS-трафик), может работать не только через TCP/UDP, но и через ICMP (подобно pingtunnel, hanstunnel) и DNS (подобно iodine), работает быстрее (по заверению разработчиков) аналогов, строит L2 и L3 туннели, имеет встроенный DHCP-сервер, поддерживает как kernel-mode, так и user-mode NAT, IPv6, шейпинг, QoS, кластеризацию, load balancing и fault tolerance.

За прошедшее время, с момента открытия исходников, была добавлена поддержка OpenBSD и CentOS/RHEL, сервер научился использовать TUN/TAP в MacOS X. Улажены вопросы с авторскими правами (предыдущие 10 лет проект развивался под покровительством Mitsubishi Materials Corporation), благодаря чему появилась поддержка авторизации Radius/Active Directory, авторизации по RSA-ключам, ACL для пользователей, deep-inspect packet logging и syslog transfer, исправлен ряд ошибок и изъянов безопасности (отдельно подчёркивается, что используемая ветка OpenSSL - 0.9.8 не подвержена нашумевшей уязвимости Hearthbleed).

Изменения в версии 4.08

  • Консольная утилита vpncmd теперь умеет генерировать (через MakeCert) RSA-сертификаты со стойкостью 2048 бит (ранее лишь 1024 бит);
  • Улучшена логика работы NAT-Traversal, что поможет избежать ошибок в случае, когда VPN-сервер находится за NAT.

Доступны сборки сервера для платформ Linux, Mac OS, FreeBSD, Solaris и Windows, а клиента - для Linux, Mac OS и Windows. Исходный код размещён на GitHub под лицензией GPLv2.

>>> Подробности

 ,

anonymous
()

Посторонний сайт «подмазывается» к моему — опасно это или нет?

Форум — Web-development

С пару недель стал замечать, что в статистике счётчика mail.ru появились просмотры якобы моих страниц на домене percond.pp.ua. Само собой, я к нему никакого отношения не имею. Сначала я подумал, что кто-то перепутал uid счётчика, но с этого же хоста есть ещё и переходы на мой настоящий сайт (а ссылка со счётчика по умолчанию ведёт на mail.ru). По самому этому адресу то работает, то не работает редирект на bspdev.ru (тоже ко мне никакого отношения не имеет и ссылок на меня не содержит).

Возникает смутное подозрение, что тут что-то не так. Но единственное, что я могу придумать — что таким образом владельцы хоста пытаются спамить ссылками на себя в статистике мейл-ру в надежде, что кто-то перейдёт обратно и попадёт через редирект куда им надо. Однако с точки зрения привлекательности, как мне кажется, страницы рейтинга мейл-ру — предпоследнее место на свете, куда кто-то будет смотреть.

Спрашивается, что тут имеет место быть и нужно ли мне нервничать.

Smacker
()

Видеолекции по теорфизике под свободной лицензией

Новости — Документация
Группа Документация

Силами кафедры теоретической физики физического факультета Новосибирского государственного университета были записаны лекции по физике. Исходные видеофайлы выложены в открытый доступ под лицензией CC-BY-SA 4.0.

На этот момент доступны для скачивания:

Предупреждение: При скачивании будет возникать предупреждение об отсутствии доверия к сертификату (узлу). Игнорируйте его — это «фича» доступной площадки.

>>> Исходники

 

Evgueni
()

Консоль для управления и контроля домашней 3Д-печати

Галерея — Скриншоты

Печатаю потихоньку себе крепление телефона на руль велосипеда (чтобы смотреть телеметрию поездки и пользоваться навигацией в неизвестных местах).

Слева - cheese с трансляцией с вебкамеры рабочей области принтера.
Справа - свежий Pronterface (управляющая программа для 3Д-принтеров) из git-репозитория с только что запущенным в печать файлом.

На фоне - обычный Debian Wheezy + MATE из бекпортов.

3Д-принтер - Mendel90 почти в референсном исполнении. Управляющая плата - Smoothieboard (был бейкером проекта на кикстартере).

>>> Просмотр (1440x900, 717 Kb)

 ,

home_user
()

Русский в консоли Gentoo

Форум — General

Как сделать вывод текста в консоли с поддержкой русских символов?
Сейчас ls — ????, ls -l — цифры.
Пробовал по найденным гуглом рецептам — не помогает.

С terminus'ом ввод работает, но выглядит ужасно. подскажите нормальный шрифт.

И как сделать переключение по Caps'у?

 

teod0r
()

Вышел NixOS 14.04

Новости — Linux General
Группа Linux General

Несмотря на характерные цифры в версии, этот дистрибутив не имеет ничего общего с *buntu семейством.

Данный дистрибутив основан на «чисто функциональном пакетном менеджере Nix». По словам создателей эта фраза означает, что обновление одного пакета никак не приведет к поломке других, и что всегда можно откатиться на предыдущую версию.

На деле такое свойство дистрибутива достигается установкой каждого пакета в свою собственную дирректорию, которая будет выглядить вот таким замысловатым образом:

/nix/store/r8vvq9kq18pz08v249h8my6r9vs7s0n3-firefox-2.0.0.1/

Что нового в 14.04:

  • Добавленна базовая поддержка контейнеров. Теперь есть возможность запускать NixOS в NixOS.
  • Появилась возможность устанавливать NixOS на оборудование с UEFI.
  • Пакетный менеджер Nix обновили до версии 1.7, что также добавило много плюшек
  • Содержимое файлов passwd, shadow, group теперь полностью перезаписывается из конфигурации NixOS при запуске команды nixos-rebuild. Поддержка команд useradd/usermod и им подобным убрана в пользу идеологически более правильных (очень много букв!) для NixOS методов.
  • Подняли версию Systemd до 212.
  • Подняли версии базовых пакетов: Glibc 2.19, GCC 4.8, Linux 3.12.
  • Ну и другой софт обновили.

>>> Подробности

 ,

zloelamo
()

Бюджетные комплектующие для XEN

Форум — Linux-hardware

Добрый день! При относительно маленьком бюджете 15000р. нужно приобрести комплектующие для стенда с XEN. (материнская плата+процессор+память+ssd) Набросал список из следующего железа: -AMD FX-8320 -GIGABYTE GA-970A-UD3 -8Gb DDR3 -SSD 120Gb Удачно ли подобраны комплектующие? Может что-то заменить? Планируется использовать систему Gentoo как dom0 с двумя domU.

 , , ,

T0E1S2T3E4R5
()

опять про intel e1000e

Форум — Linux-hardware

Купил тут себе новую материнку с интеловской сетевой картой, а она не работает (дело даже до создания сетевого интерфейса не доходит)

$ lspci -nn
...
00:19.0 Ethernet controller [0200]: Intel Corporation 82579V Gigabit Network Connection [8086:1503] (rev 04)
...

Ядро обычное дебиановское из тестинга

$ uname -a
Linux localhost 3.12-1-amd64 #1 SMP Debian 3.12.6-2 (2013-12-29) x86_64 GNU/Linux

В логе ядра при попытке подгрузить модуль вручную такие вот сообщения:

$ modprobe e1000e debug=16
...
[100017.348572] e1000e: Intel(R) PRO/1000 Network Driver - 3.0.4.1-NAPI
[100017.348575] e1000e: Copyright(c) 1999 - 2014 Intel Corporation.
[100017.348689] e1000e 0000:00:19.0: setting latency timer to 64
[100017.348745] e1000e 0000:00:19.0: Interrupt Throttling Rate (ints/sec) set to dynamic conservative mode
[100017.348768] e1000e 0000:00:19.0: irq 57 for MSI/MSI-X
[100018.343312] e1000e 0000:00:19.0 (unregistered net_device): Failed to acquire the semaphore, FW or HW has it: FWSM=0x60000040 EXTCNF_CTRL=0x002800c9)
[100018.343315] e1000e 0000:00:19.0 (unregistered net_device): Failed to initialize PHY flow
[100018.363441] e1000e: probe of 0000:00:19.0 failed with error -3
...

Сетевая карта точно исправная, поскольку под виндами таки работает. Посоветуйте, пожалуйста, как заставить ее завестись под линуксом.

 ,

demidrol
()

Новая версия «Учет оргтехники в организации»

Новости — Open Source
Группа Open Source

Данное ПО, в версии 3.xx, предназначено для учета оргтехники в небольших организациях и будет полезно в основном системным администраторам и иже с ними, ведущими учет без фанатизма.

Основные особенности:

  • установка программы на сервере LAMP и WAMP;
  • работа в программе через браузер (WEB-интерфейс);
  • поддержка работы с несколькими организациями одновременно;
  • поддержка основных действий с ТМЦ, как то оприходование, перемещение, ремонт и списание ТМЦ;
  • привязка ТМЦ к помещению с оповещением сотрудников об изменении состава ТМЦ в помещении;
  • возможность формирования различного вида отчетности;
  • расположение ТМЦ на карте-схеме помещений;
  • возможность печати штрих-кодов;
  • модульность системы, что подразумевает возможность написания собственных модулей расширения. Модули в «базе»: учет ТМЦ, Бизнес-процессы, вход-выход работников через турникет Орион, новости, контрагенты.
  • открытый исходный код и возможность подключения к репозиторию.

( читать дальше... )

>>> Подробности

 ,

donpadlo
()

Arch Linux, KDE, лёгкий закос под Unity

Галерея — Скриншоты

Как-то так. Arch Linux, KDE 4.12.2.
На скриншоте видим лёгкий закос под Ubuntu Unity. Зачем? Потому что использовать сей закос удобнее, чем саму Unity (субъективно).
Заголовки у окон, кстати, не нужны. Вы знали об этом? Кнопки minimize/maximize/close в правом верхнем углу для любого окна. Внезапно - удобно и нисколько не мешает.
Плазма: Unity Ambiance
Вместо значков: KFaenza
Стиль окон: Oxygen (Пилил-пилил QtCurve, в итоге бросил)
ШГ: Ubuntu
Скриншот без окон, обоина.

В Kate - быдлокод, зачатки клиента для ЛОРа на Python. К сожалению / К счастью вряд ли этому суждено развиться во что-то работающее; по причине ниасиляторства, лени и недостатка времени забросил на самом начале.

>>> Просмотр (1600x900, 870 Kb)

 , ,

evilmanul
()

WebGL водичка

Форум — Talks

 ,

fallout4all
()

Есть ли способ дефрагментировать MySQL-таблицу типа MEMORY?

Форум — Admin

Задача — нужно вести Web-логи. Не много, фактически — учёт посещений всеми пользователями всех ресурсов за 10-20 минут. На моих проектах это порядка (максимум) тысяч-десятков тысяч записей, каждая суммарной длиной в десяток-другой килобайт. Хранить нужно много разной информации и делать сложные выборки. Так что лучше MySQL ничего не придумал.

Проблема. На высокой активности MySQL какого-то фига начинает сильно грузить IO. Ладно, хранить данные всё равно не надо, делаю ENGINE=MEMORY. Отлично, IO резко падает, всё красиво.

Проблема №2. Поскольку таблица постоянно чистится, накапливается высокий уровень фрагментации. И вот тут — опа. Таблицы Memory не оптимайзятся. Уровень мусора постоянно растёт, пока размер таблицы не превысит tmp_table_size/max_heap_table_size, после чего начинают лететь ошибки «table is full». Фигня выходит, реальных данных в таблице едва несколько десятков мегабайт, а жрёт она пол-гига в памяти.

Как её оптимизировать? Есть идеи?

Есть, конечно, вариант, типа раз в час тупо грохать все данные, они не настолько критичны. Но криво.

Другой вариант — пересоздавать таблицу, делая новую временную из старой, потом грохать старую и создавать её заново. Мало того, что некрасиво, так ещё придётся вводить в систему блокировку использования логов, чтобы не сыпались ошибки, пока пересоздаётся таблица.

Какие ещё есть варианты?

Или, может, что-то вместо MySQL применить? Нужно хранить по каждому обращению несколько данных (строковых, целочисленных, с плавающей точкой), делать очень частое получение суммы по одному из параметров (суммарная загрузка — для выдачи 503 ошибки чрезмерно активным ботам и качальщикам) и периодические группировки по ряду параметров (изучение активности по классам/категориям объектов сайта и посетителей).

 , , ,

KRoN73
()

MySQL сильно потребляет процессор

Форум — Admin

Доброго времени суток, уважаемые коллеги. Столкнулся я вот с такой проблемой: хотели увеличить скорость работы сайта, за счёт увеличения кэшей в озу и перехода на SSD переехали c: Intel(R) Xeon(R) CPU L5520 @ 2.27GHz 8 GB RAM 200GB HDD на сервер: AMD Opteron 3280 8 x 2,4 GHz 32 GB RAM 250GB SSD

А получили напротив жёсткие тормоза в часы пик. Сейчас пишу пост, всё летает, а по вечерам - тормоза. MySQL жрёт ЦПУ ядер 5, load average 12-15 иногда даже до 30 доходит. Наши характеристики в часы пик ~75 посетителей онлайн, количество запросов в секунду почему-то после переезда выросло с 8 до 30, в то же время посещаемость сильно не изменилась.

Уже так и этак колдую с конфигом, c mysqltuner'ом и руками, немного ситуацию улучшил конечно, но проблема не уходит, скорость в часы пик ниже чем до переезда. Вот какой конфиг получился:

[client]
port		= 3306
socket		= /var/run/mysqld/mysqld.sock

[mysqld_safe]
socket		= /var/run/mysqld/mysqld.sock
nice		= 0

[mysqld]
user		= mysql
pid-file	= /var/run/mysqld/mysqld.pid
socket		= /var/run/mysqld/mysqld.sock
port		= 3306
basedir		= /usr
datadir		= /var/lib/mysql
tmpdir		= /tmp
lc-messages-dir	= /usr/share/mysql
skip-external-locking

key_buffer		= 16M
max_allowed_packet	= 16M
thread_stack		= 192K
thread_cache_size       = 64
myisam-recover         = BACKUP
#max_connections        = 300
query_cache_limit	= 1M
expire_logs_days	= 10
max_binlog_size         = 100M

#important optimize
table_cache             = 800
query_cache_size       = 512M
join_buffer_size       = 1G
memlock

#innidb configure
innodb_buffer_pool_size = 16G
innodb_log_buffer_size=4M
#innodb_flush_logs_at_trx_commit=2
innodb_thread_concurrency=50
innodb_flush_method=O_DIRECT
innodb_file_per_table
innodb_additional_mem_pool_size = 32M

max_heap_table_size = 256M
tmp_table_size = 256M
low_priority_updates = 1
key_buffer_size = 256M
max_length_for_sort_data = 1048576
sort_buffer_size = 268434432
read_rnd_buffer_size = 268434432

server-id=XXXXXXX
log_bin=mysql-bin
log_error=mysql-bin.err
binlog_do_db=XXXXXX
binlog_do_db=XXXXX
log_slave_updates=1
auto_increment_offset=2
auto_increment_increment=2

bind-address            = XXX.XXX.XXX.XXX

log-slow-queries=/var/log/mysql/slow.log
relay-log = /var/log/mysql/slave-relay-bin
relay-log-index = /var/log/mysql/slave-relay-bin.index
slave-skip-errors = all

[mysqldump]
quick
quote-names
max_allowed_packet	= 16M

[mysql]
[isamchk]
key_buffer		= 16M

!includedir /etc/mysql/conf.d/

character_set_server  = utf8
collation_server      = utf8_general_ci

Как можно решить проблему? (базы на innodb, mysql 5.5)

whitemaster
()

достал ввод-вывод без конца

Форум — Talks

Попробовал софтварно отрубить винт — так после этого начались глюки, пропали значки, в хромиуме сайт в новой вкладке не захотел открываться. Это что? Все орут «память дешёвая», «память дешёвая», зато программы ею только течь умеют, а нужные компоненты с диска дёргают! Я понимаю, кэш и все дела, но почему тогда этот кэш так криво работает, что всё равно то и дело дёргается диск?

Поставил всем commit=1800 — всё равно kworker что-то там ковыряет, ковыряет, блин…

(ссылки по теме:
Уменьшить io
read-only root? Продолжение борьбы с лишней записью на ssd, а также нубовопросы )

P.S. Уже пробовал переносить rootfs в RAM, один хрен — всё туда не запихаешь, и так или иначе придётся искать, кого дёргают.

 ,

batekman
()

Рвется VPN с провайдером при загрузке файлов на большой скорости

Форум — General

Приветствую.
Наблюдается такая проблема:
При попытке загрузки некоторых файлов или просмотра некоторых видео онлайн (Flash-player), виснет VPN-соединение с провайдером.
Замечено, что это вроде-бы происходит, если сервер с которого загружается файл, готов отдавать файл на большой скорости.
Проблема повторяется только под Линукс (разные версии CentOS и Ubuntu), под Виндой такого никогда не происходит.
У провайдера сервера работают под Виндовс.
При обсуждении данной проблемы с провайдером возникла версия, что дело может заключаться в MTU, но верного значения MTU, чтобы все работало, я подобрать не смог. Может и не в этом проблема?
На данный момент стоит значение mtu 1500 для интерфейсов eth0 и ppp0.
В общем такой вопрос: в чем проблема и как это исправить?

als777
()

Кэш дискового массива на SSD

Форум — Admin

Есть одна файлопомойка с торрентами и RAID5, который с увеличением количества торрентов и толщины канала начинает заметно тормозить под этой нагрузкой.

Соответственно, хочу оптимизировать доступ к массиву, поставив ему большой SSD под кэш.

Отсюда вопрос - что для этих целей лучше выбрать, и имеет ли смысл этим вообще заниматься? Принимаются любые, самые смелые идеи, готов в том числе поставить другую систему и пересобрать массив. Главное чтобы не падало и требовало поменьше денег.

Цифры для понимания масштаба проблемы:

  • Данных (потенциально используемых) - 2.5ТБ
  • За месяц добавляется от 100 до 500ГБ.
  • Предел чтения в сутки - 2ТБ.
  • Реально активно около 15% раздач
  • Их общий размер составляет менее 10% от размера данных

 , ,

koi-sama
()