Добрый день. Прошло много времени с выпуска 4 издания книги по PostgreSQL — успели выйти версии 9.5 и 9.6 этой базы данных. Материалов по её практическому использованию также накопилось немало, поэтому я решил выпустить обновление книги. Итак, встречайте: «Работа с PostgreSQL: настройка и масштабирование», 5-е издание.

Как и раньше, в книге исследуются вопросы по настройке производительности PostgreSQL, репликации и кластеризации. Список изменений достаточно большой, обновились все разделы и были добавлены новые (подробный список изменений). Любые пожелания или замечания можно писать в issues на GitHub или делать pull request на добавление/исправление материала. Приятного прочтения!

>>> Исходники

>>> Подробности

Бывает работаю с файлами, названия которых мало того, что длинные, так еще и трудночитаемые:

12131522889a578899111
12131522889a622991112
...

Есть очень жирный проект на С++ который открыт в Qt Creator в котором включен «Clang Code Model». Проблема состоит в том, что временами процесс clangbackend уходит в себя и начинает неистово жрать время CPU. В результате чего вся система стает раком.

Понятно, что clangbackend так себя ведет не от хорошего кода (в проекте). Однако у меня вопрос: как (на уровне системы?) ограничить время CPU уделяемое процессу clangbackend (и, возможно, qtcreator)?

Багрепорт: https://bugreports.qt.io/browse/QTCREATORBUG-11640

Всегда думал, что все эти gzip, bzip2, xz и т.п. обладают достаточной восстановимостью. Т.е. если в стриме испортится несколько байт, то декомпрессия пойдет дальше, начиная со следующего блока. Оказалось — шиш!

Провёл небольшую лабораторную работу.

Исходные данные: tar-архив с исходниками 1,3 МБ (1,300,480).

Методика: пакуем файл со стандартными параметрами, меняем 8 байт по смещению (last_offset / 2) на de-ad-be-ef-ff-ff-ff-ff, пытаемся распаковать и/или восстановить архив.

Результаты:

• 7z — распаковано 47.9%, всё что дальше — не восстанавливается
• bzip2 — распаковано 0%, bzip2recover поделил файл на два якобы годных блока, но первый и больший из них распаковать не смог
• gzip — распаковано 45.8%, gzrecover дает тот же эффект
• lz4 — распаковано 81.76% (на самом деле 100%, но на выходе получился битый tar, который после cpio -ivd -H tar < my.recovered.tar дал указанное значение). Некоторые файлы, правда, с частичным мусором внутри.
• lzip — распаковано 43.1% (спасибо PtiCa, за указания по правильному использованию lziprecovery)
• lzma — распаковано 0%, чем оно восстанавливается — хз
• lzop — распаковано 40.3%
• rar — распаковано 0%, после восстановления (rar r) файл всё равно поврежден
• rar -rr — распаковано 100% (задействовалась recovery record), после восстановления (rar r) у распакованного файла такая же sha1 как и у неиспорченного
• xz — распаковано 47.8%
• zip — распаковано 45.4%, zip -F или -FF дают тот же результат.

  ---

  Ну и чо теперь делать? Паковать всё в .tar.rar?

Здравствуйте, уважаемые форумчане. В недалеком будущем планируется рефакторинг системы GPS трекинга транспорта.

Задача такая:

Есть худо-бедно работающая система с 2 пользователями. У каждого пользователя есть порядка 100 автомобилей с установленными GPS трекерами. Координаты автомобилей хранятся в БД. В личном кабинете пользователя есть возможность отображения на карте пройденного пути некоторой машины. + Есть возможность составления отчетов (сколько было стоянок на маршруте, средняя скорость движения и т.д.)

В недалеком будущем планируется перепроектировать систему таким образом, что бы ей могли пользоваться до 100 пользователей (у каждого пользователя до 100 автомобилей). Территориально пользователи находятся в Москве и МО.

С учетом новых требований я выделил основные сложные моменты:

Стремительный рост хранимых данных.
За пол года у 2 пользователей накопилось около 100 млн координат автомобилей. А в идеале планируем вытянуть 100 пользователей. Более того, планируем хранить не только координаты автомобилей, но и значения, передаваемые различными датчиками.

Оперативная обработка поступающих данных.
Пример, автомобиль отклонился от указанного маршрута, на почтовый ящик пользователя отправляется сообщение. Получили от датчика N критичное значение (например, обороты двигателя превышают допустимое значение) отправили некоторое уведомление.

Составление статистических расчетов для логистов.
Отчеты по средней скорости движения на участке N, общее количество стоянок и т.д.

Подскажите, пожалуйста ответы на следующие вопросы:

Существует ли литература (книги, статьи из журналов и т.д.) по проектированию систем подобного рода ? Какой стек технологий лучше использовать для данной системы ?

Заранее спасибо.

Доброго времени суток.

Сабж. Zabbix окончательно задрал. Я реально ненавижу его программистов и при встрече постараюсь нанести им физические повреждения. Потраченные на допиливание полгода - псу под хвост.

Необходимо:

• Надёжность. Никаких ситуаций вроде «дочерний сервер мониторинга незаметно отвалился» или «агент на хосте перестал слать данные, а сервер этого не заметил». И это задача не пользователя, который должен сам добавлять проверки на недоступность, а задача сервера, который сам автоматически проверяет такие ситуации.
• Расширяемость. Возможность отправлять данные из внешних скриптов.
• API. Нужна возможность выполнять массовые действия автоматически, через внешние скрипты
• Распределённость. Нужны промежуточные сервера, которые через свой интерфейс покажут текущее состояние подотчётных объектов, даже если упал канал до центрального сервера мониторинга
• Открытые исходники. Потому что зачастую их приходится использовать для отладки и для понимания как же оно работает
• Низкое потребление ресурсов агентом. Нередкая ситуация с виртуальной машиной - 384 Мб памяти. Т.е. не жаба, не руби и не что там ещё прожорливое. Ресурсоёмкость сервера не так критична
• Возможность строить custom'ные графики по собранным данным. Желательно - доступ к настройке графиков через API
• Давать доступ по ssh ко всем серверам, тем более рутовый - недопустимо. Поэтому необходима возможность не автоматической установки агентов на хосты

Итак, вот уже второй месяц как я забаррикадировался от внешнего мира в своей квартирке во всех смыслах, только я и комп с поднятым веб-сервером конечно же на линукс. Интернет и прочие услуги оплачены вперед. Я решил протянуть так как минимум полгода, хотя продукты кончаются быстрее чем я думал, из продуктов только разные крупы и картошка. Я не выхожу на улицу вообще, не пересекаюсь как либо с представителями хомосапиенс(будь то соседи и т.п.), разве что в интернете. Мусором обкладываю дверь наружу в социум, что бы было меньше желания его разгрести и выйти на люди, а что бы уж точно не сорваться, в самом начале эксперимента я сжег одежду в ванной кроме трусов. Пока мусора скопилось не так много, по этому показать пока нечего, но все впереди.

демо (работает в хромиум)

http://www.polymer-project.org/tools/sandbox/

Вводная проекта:

http://www.polymer-project.org/faq.html

Инициатива лисы и комментарии на HN:

https://news.ycombinator.com/item?id=6282989

Яндекс начал набор желающих посетить третью версию «Курса информационных технологий». Курс бесплатен и состоит из набора лекций:

• Профессии в мире информационных технологий.
• Инструментарий системного инженера.
• Архитектура операционной системы.
• Безопасность информационных систем.
• Компьютерные сети.
• Организация хранения данных.
• Виртуализация в Linux.

Лекции начнутся 18 октября, занятия будут проходить по вторникам и четвергам с 19 часов до 21 часа в московском офисе Яндекса. Для удаленного участия будет организована видеотрансляция.

>>> Анкета регистрации на курс

Увидел свет патчсет pf-kernel для ядра Linux (ветка 3.6). Он создан для повышения отзывчивости пользовательского окружения (за счёт применения планировщика процессов BFS и планировщика ввода-вывода BFQ), а также для предоставления некоторых полезных функций, отсутствующих в ванильном ядре, например, альтернативной подсистемы гибернации TuxOnIce и подсистемы автоматического слияния одинаковых страниц оперативной памяти UKSM.

В этой версии:

( читать дальше... )

Сайт патчсета

Скачать патчсет

Посмотреть видео доклада о pf-kernel на конференции OSDN — 2012

>>> Анонс

Добрый день! я абсолютный чайник. Мне поставили Debian 2.6.32-5-686(прошу не говорить, что дебиан для чайников-это смерть, ибо задачу поставили узко и другой не подойдёт), там почти ничего нет, но есть nano 2.2.4-«маленький дружественный редактор» --- help!!

Кто умеет создавать красивые графики?

Сейчас десктопное приложение создает страницу HTML со множеством графиков. Я использую JFreeChart, но главная претензия - графики получаются не очень красивыми. Что есть на замену? Я могу вызвать код из Си, могу из Java.

Нужны временные ряды, графики XY, гистограммы, тренды с границами по правилу 3-сигма, столбики, секторные диаграммы.

Хочу соединить два ноутбука с помощью патч-корда. Никогда еще этого не делал, да и в сетях не разбираюсь, поэтому путаюсь. Имеется 2 ноутбука с Linux Crunchang. Пытался решить проблему с помощью network-manager и ssh. На обоих ноутбуках через network-manager создал проводное соединение, где прописал следующее: http://s011.radikal.ru/i316/1209/60/84a936b85ddc.jpg. Далее, установил на обоих компьютерах ssh и с одного из них запускаю konqueror, пытаюсь открыть fish://pete@192.168.0.1:22/home/pete или fish://pete@192.168.0.2:22/home/pete, но везде получаю один и тот же набор файлов - с локального компьютера. Как исправить?

Установил Debian на «элеrтронную книгу» Wexler T7008, которая по факту никакая не книга, а вполне полнофункциональный планшет (и это при цене менее 4000 рублей).

Debian armhf я поставил на внешнюю SD карточку, с которой он прекрасно грузится.

Чтобы поставить debian на таблетку потребовалось несколько часов вдумчивого втыкания в различные форумы. В итоге наиболее быстрый способ установить дебиан это:

• взять ядро и модули отсюда;
• rootfs взять любую для armhf, я дебутстрапнул сам, но вообще можно взять отсюда;
• загрузочный конфиг evb.bin выдрать из /dev/block/nanda устройства, файл script0.bin.

Пока не удалось:

• заставить тачскрин работать как тачскрин, а не как тачпад;
• регулировать яркость подсветки;
• заставить работать какое-либо энергоуправление.

Завершена программа испытаний операционной системы ROSA для получения сертификата безопасности от Федеральной службы по техническому и экспортному контролю.

На тестирование была предоставлена специальная сборка дистрибутива, включающего и десктопные, и серверные компоненты. В результате компания «РОСА» получила от ФСТЭК Сертификат № 2646, который подтверждает, что операционная система ROSA соответствует требованиям 5 класса защиты информации от несанкционированного доступа и 4 уровня контроля от недекларированных возможностей.

Сертифицированная операционная система ROSA может применяться для работы с персональными данными, служебной и конфиденциальной информацией, для разработки автоматизированных систем с классом защищённости по 1Г включительно и систем защиты персональных данных по К1 включительно. Срок действия сертификата составляет 3 года.

До конца года компания «РОСА» намерена подготовить платформу, которая будет сертифицирована для работы с государственной тайной.

>>> Источник

Здравствуй, форум.

Ещё в 2007 году я из своей Wi-Fi PCI-платы сделал точку доступа. Запускается простой скрипт, и всё работает. Как выглядит моя сеть:

Телефонный кабель
↓
ADSL-модем, встроенный в ADSL-роутер
↓
ADSL-роутер «Интеркросс», работающий в режиме роутера
↓
Кабель до PC
↓
PC
↓
PC раздаёт Wi-Fi
↓
Ноутбук, с которого я отправляю вам сообщение

Вот так всё и работает. Способов поднять точку доступа у меня два: первый с помощью wireless-tools (iwconfig) + dpchd + правила iptables. Но так как этот способ везде называют не модным (нет поддержки WPA2), то есть ещё способ с hostapd + dnsmasq + а как раздавать Интернет я ещё не понял, так что пока только локалка, но не в этом вопрос. Wi-Fi-платка Atheros пятой серии, драйвер ath5k заменён на madwifi в связи с его предсказуемостью: просто работает. Дистрибутивы Linux: Debian, Gentoo, openSUSE.

Собственно, что мне не хватает. Запускаю я кошелёк Bitcoin, например. Он показывает 8 соединений P2P. Отключаю Wi-Fi, перевтыкаю Ethernet-кабель с PC в ноутбук. 200 соединений P2P! Как такое возможно?! Возможно, это и есть тот самый uPNP, который поддерживается роутером Интеркросс и всеми P2P-клиентами. Задача: добавить в мою точку доступа поддержку uPNP, и связать её с тем uPNP, которая в роутере.

Что мне ещё надо. Мне надо смотреть, кто соединился с моей точкой доступа (их количество), как на телефоне с Android, который у меня поддерживает до двух подключившихся, и показывает это количество на экране. Опционально ограничение скорости Интернета (но не локалки) для них. И ещё, если можно, статистику.

Где готовое решение (кроме телефона с Android)? Что читать?

И ещё: пробовал ли кто-нибудь kwlan, утилиту из KDE 3? Как поднимать точку доступа ей? А с помощью YaST в openSUSE?

Тут решил побенчмаркать сабж через dnsperf, долблю запросами на один и тот же домен (свой, авторитарный) на предмет SOA.

Бинд вертится в виртуалке в вмварном кластере, тачка его долбящая там же, либо на одном хосте с ним, либо на другом, на результат почти не влияет.

В виртуалке 8 процов, бинд 9.9.1 самопал, линупс дебиан стэйбл с ядром 3.0.32

Итого имеем:

# ./dnsperf -f inet -s 10.1.0.18 -l 10 -d ./zones
...
  Queries per second:   61693.586003
...

И тут я решил задолбать домен-контроллер на винде, на тех же условиях. Он крутится где-то там же:

# ./dnsperf -f inet -s 10.1.0.9 -l 10 -d ./zones
...
  Queries per second:   135715.998503
...

За державу обидно, однако. Что-куда-где тюнить, чтобы бинд не обсирался? :) Или это не лечится? Ну ладно проиграть какому-нибудь unbound или powerdns, но виндовому dns.exe ... Это эпик фэйл :)

#!/usr/bin/env python
# -*- coding: utf-8 -*-
import urllib
import readline
n=1
while True:
	print
	quest = raw_input("In[%d]:= " % (n))
	print
	url = "http://integrals.wolfram.com/index.jsp?expr=D[%s,x]&random=false" % (quest)
	req = urllib.urlopen(url).read()
	resn = req.find(', x] ==</em><br/>')
	if resn > 0:
		print 'Out[%d]= %s' % (n,req[resn+17:req.find('</p>')])
	else:
		print 'Out[%d]= %s' % (n,quest)
	n=n+1

http://storage3.static.itmages.ru/i/12/0525/h_1337955001_4392007_4ebf6fe107.png