LINUX.ORG.RU

Сообщения KOTOXJle6

 

Squid логи и исключения

Коллеги, добрый день.

Есть Squid 4.8. Раньше исключения для сайтов добавлялись через GPO. Таких исключений скопилось достаточно много и недавно мы решили перенести их в acl. Планирую сделать вот так:

Список доменов

acl no_proxy dstdom_regex -i «/ClFS/squid/db/noproxy.acl»

Первое правило

http_access allow no_proxy

И дальше все остальные правила

Вопросы, которые меня интересуют:
1) Равнозначно ли такое использование acl исключениям в GPO/IE? Если в настройках Windows задаются исключения, то обращение к сайту происходит мимо прокси, а если срабатывает acl, то запрос тоже идёт не через прокси или всё же через него, но без авторизации? Переживаю что если запрос всё равно будет идти через прокси, то это может привести к проблемам со входом на сайты из списка исключений.
2) Я так понимаю что если авторизация не выполнялась, то и в лог сквида пользователь не попадает, верно? Как тогда можно отслеживать все хождения пользователя если он работает только на сайтах, которые находятся в исключениях?

 

KOTOXJle6
()

Не получается расширить LVM

Добрый день. Пытаюсь рашсирить LVM, но не выходит. Статьи про разбор и настройку читал, но никак не могу понять в чём проблема.

Есть сервер с одним диском, диск размечен как

sda                                     40G                   
├─sda1                                   1M                   
├─sda2                    ext4           1G /boot             
└─sda3                    LVM2_member   39G                   
  └─ubuntu--vg-ubuntu--lv ext4          20G /    

Изначально размер диска был 20ГБ. Затем я добавил ещё 10 и потом ещё 10 ГБ. После этого я через parted расширил раздел /sda/sda3 до 40ГБ.

parted 

(parted) p                                                                
Model: VMware Virtual disk (scsi)
Disk /dev/sda: 42.9GB
Sector size (logical/physical): 512B/512B
Partition Table: gpt
Disk Flags: 

Number  Start   End     Size    File system  Name  Flags
 1      1049kB  2097kB  1049kB                     bios_grub
 2      2097kB  1076MB  1074MB  ext4
 3      1076MB  42.9GB  41.9GB

fdisk -l тоже показывает что всё в порядке

Disk /dev/sda: 40 GiB, 42949672960 bytes, 83886080 sectors
Disk model: Virtual disk    
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: gpt
Disk identifier: BC7CFF26-5C03-4E81-96AD-24F64C95FF13

Device       Start      End  Sectors Size Type
/dev/sda1     2048     4095     2048   1M BIOS boot
/dev/sda2     4096  2101247  2097152   1G Linux filesystem
/dev/sda3  2101248 83886046 81784799  39G Linux filesystem


Disk /dev/mapper/ubuntu--vg-ubuntu--lv: 20 GiB, 21474836480 bytes, 41943040 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes

Теперь, если я правильно всё понял, мне нужно увеличить pv, затем vg и наконец lv.

Текущее состояние у них такое. PV:

pvdisplay
  --- Physical volume ---
  PV Name               /dev/sda3
  VG Name               ubuntu-vg
  PV Size               <29.00 GiB / not usable 0   
  Allocatable           yes 
  PE Size               4.00 MiB
  Total PE              7423
  Free PE               2303
  Allocated PE          5120
  PV UUID               BtcE1F-wgZj-f7SB-l8d7-wYdN-5P0n-epVcgu
 
VG:
vgdisplay
  --- Volume group ---
  VG Name               ubuntu-vg
  System ID             
  Format                lvm2
  Metadata Areas        1
  Metadata Sequence No  2
  VG Access             read/write
  VG Status             resizable
  MAX LV                0
  Cur LV                1
  Open LV               1
  Max PV                0
  Cur PV                1
  Act PV                1
  VG Size               <29.00 GiB
  PE Size               4.00 MiB
  Total PE              7423
  Alloc PE / Size       5120 / 20.00 GiB
  Free  PE / Size       2303 / <9.00 GiB
  VG UUID               Uky340-xdnN-zlJN-3Y1p-vgMz-gDKa-LUpKOQ
LV:
lvdisplay
  --- Logical volume ---
  LV Path                /dev/ubuntu-vg/ubuntu-lv
  LV Name                ubuntu-lv
  VG Name                ubuntu-vg
  LV UUID                b82Hpt-Mjcf-OpJK-NBpC-e5Mf-yeQo-jm6HpC
  LV Write Access        read/write
  LV Creation host, time ubuntu-server, 2021-05-20 10:57:25 +0000
  LV Status              available
  # open                 1
  LV Size                20.00 GiB
  Current LE             5120
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           253:0
 
pvscan показывает что есть 9GB Free
  PV /dev/sda3   VG ubuntu-vg       lvm2 [<29.00 GiB / <9.00 GiB free]
  Total: 1 [<29.00 GiB] / in use: 1 [<29.00 GiB] / in no VG: 0 [0   ]
 

Но pvresize /dev/sda3 не хочет ничего расширять:

  /etc/lvm/archive/.lvm_gitlab_2339193_255526967: write error failed: No space left on device
  0 physical volume(s) resized or updated / 1 physical volume(s) not resized

Подскажите пожалуйста, что я делаю не так?

 ,

KOTOXJle6
()

Не отрабатывает logrotate

Коллеги, добрый день. Помогите пожалуйста. Настроил logrotate для squid, но он не хочет работать, не понимаю почему.

В /etc/cron.daily/logrotate:

  test -x /usr/sbin/logrotate || exit 0
  /usr/sbin/logrotate /etc/logrotate.conf
В /etc/logrotate.conf всё по умолчанию:
# rotate log files weekly
weekly

# use the syslog group by default, since this is the owning group
# of /var/log/syslog.
su root syslog

# keep 4 weeks worth of backlogs
rotate 4

# create new (empty) log files after rotating old ones
create

# uncomment this if you want your log files compressed
#compress

# packages drop log rotation information into this directory
include /etc/logrotate.d

# no packages own wtmp, or btmp -- we'll rotate them here
/var/log/wtmp {
    missingok
    monthly
    create 0664 root utmp
    rotate 1
}

/var/log/btmp {
    missingok
    monthly
    create 0660 root utmp
    rotate 1
}

В /etc/logrotate.d/squid:

  /ClFS/squid/logs/access.log {
    rotate 5
    daily
    compress
    delaycompress
    missingok
    notifempty
    create 0640 proxy proxy
    sharedscripts
    postrotate
    test ! -e /var/run/squid.pid || test ! -x /usr/sbin/squid || /usr/sbin/squid -k rotate
    endscript
  }
  
  /var/log/squid/*.log {
          daily
          compress
          delaycompress
          rotate 2
          missingok
          nocreate
  }
Вывод /usr/sbin/logrotate /etc/logrotate.conf -d:
rotating pattern: /ClFS/squid/logs/access.log  after 1 days (5 rotations)
empty log files are not rotated, old logs are removed
switching euid to 0 and egid to 106
considering log /ClFS/squid/logs/access.log
  Now: 2019-12-10 14:22
  Last rotated at 2019-12-10 06:25
  log does not need rotating (log has been rotated at 2019-12-10 6:25, that is not day ago yet)
not running postrotate script, since no logs were rotated
switching euid to 0 and egid to 0

rotating pattern: /var/log/squid/*.log  after 1 days (2 rotations)
empty log files are rotated, old logs are removed
switching euid to 0 and egid to 106
considering log /var/log/squid/cache.log
  Now: 2019-12-10 14:22
  Last rotated at 2019-12-10 06:00
  log does not need rotating (log has been rotated at 2019-12-10 6:0, that is not day ago yet)
switching euid to 0 and egid to 0
Ошибок нет, вижу что сейчас ничего не происходит потому что еще не прошел день, но в директории /var/log/squid остается больше двух файлов, а в ClFS больше 5. Настроено всё уже больше месяца. Я же правильно понимаю что файлы при такой конфигурации должны удаляться автоматически и дополнительно ничего не нужно настраивать? При вроде бы аналогичной настройке, на другом сервере, всё работает корректно. Мануалов читал несколько разных, везде написано что при конфигурации с rotate 5 и daily, у меня должно каждый день оставаться 5 файлов логов.

Я что-то упустил и дополнительно нужно где-то настроить удаление старых файлов?

 ,

KOTOXJle6
()

Пропало место

Добрый день.

Есть настроенный squid, логи и конфигурация которого пишутся в gluster. Смотрю объем занятого места в смонтированном разделе через df -h, показывает такое:


/dev/mapper/vg01-lv01               89G   75G  9,1G  90% /GlFS
SQUID-02:/SquidFS               89G   76G  9,1G  90% /ClFS

А если смотреть объем того, что там находится, то показывает значительно меньше - 21ГБ:
root@squid-01:/ClFS# du -h --max-depth=1 | sort -hr
21G     .
19G     ./squid
1,6G    ./lightsquid
400K    ./lightsquid_cfg
5,0K    ./apache2
root@squid-01:/ClFS# cd /GlFS/
root@squid-01:/GlFS# du -h --max-depth=1 | sort -hr
21G     ./dv0
21G     .
16K     ./lost+found

Что может занимать остальные 55ГБ?

 , , ,

KOTOXJle6
()

Плавающий адрес в iproute2

Добрый день.

Бьюсь над вопросом уже довольно долго, но решение никак не могу найти.

Задача: Настроить 2 плавающих адреса (внешний и внутренний) между двумя серверами ubuntu. Чтобы если один сервер упадёт, адреса переехали на другой сервер.

Данные: 10.10.255.171 - внутренний статический адрес сервера 10.10.255.170 - плавающий внутренний адрес 212.79.91.71 - плавающий внешний адрес

Дошел до запуска всего что нужно через iproute2 + netplan + keepalived

Netplan:

network:
    version: 2
    ethernets:
        ens160:
            addresses:
            - 10.10.255.171/25
            gateway4: 10.10.255.129

keepalived:

vrrp_instance internal {
    state MASTER
    interface ens160
    virtual_router_id 10
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass +hinFang75
    }
    virtual_ipaddress {
        10.10.255.170/25
    }
}

vrrp_instance external {
    state BACKUP
    interface ens160
    virtual_router_id 20
    priority 50
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass +hinFang75
    }
    virtual_ipaddress {
        212.79.91.71/28 gw 212.79.91.65 dev ens192
    }
}

При запуске системы поднимается keepalived и мне доступны оба внутренних адреса.

Теперь добавляю записи iproute2

iproute2:

Создаем таблицы
 echo '100 local' >> /etc/iproute2/rt_tables 
 echo '101 inet' >> /etc/iproute2/rt_tables

Добавляем дефолтный шлюз 
 ip route add default via 10.10.255.129 table 100
 ip route add default via 212.79.91.65 table 101

Определяем правила:
 ip rule add from 10.10.255.170 table 100
 ip rule add from 212.79.91.71  table 101

На этом этапе начинаю получать ответы по внешнему адресу, но только до перезапуска keepalived или интерфейса ens192. После перезапуска адрес появляется на интерфейсе, но больше не пингуется.

Я пробовал добавить метки на интерфейсы, но ничего не изменилось

Привязка ответа по тому же интерфейсу, по которому был получен пакет. 
 iptables -t mangle -A INPUT -i ens160 -j CONNMARK --set-mark 0x1 
 iptables -t mangle -A INPUT -i ens192 -j CONNMARK --set-mark 0x2
 iptables -t mangle -A OUTPUT -j CONNMARK --restore-mark 
 iptables -t mangle -A OUTPUT -m mark ! --mark 0x0 -j ACCEPT
 iptables -t mangle -A OUTPUT -d 10.10.255.170/32 -j MARK --set-mark 0x1
iptables -t mangle -A OUTPUT -d 212.79.91.71/32 -j MARK --set-mark 0x2


Теперь добавим правила роутинга так, чтобы с помощью файрвола выставив нужные значения fwmark мы могли выбрать нужную таблицу роутинга:

 ip rule add priority 101 fwmark 0x1/0x1 lookup  100
 ip rule add priority 102 fwmark 0x2/0x2 lookup  101

Я так понимаю проблема в том, что при перезапуске что-то срабатывает неправильно и пакеты для внешнего адреса пытаются уйти не через свой шлюз.

Гуру сети, подскажите пожалуйста, в каком направлении искать решение?

 , , ,

KOTOXJle6
()

Не работает второй интерфейс в netplan

Добрый день.

Нужно настроить на виртуальной машине с ubuntu два адреса на двух сетевых картах. Один адрес внешний, другой внутренний.

Конфиг netplan:

network:
    version: 2
    ethernets:
        ens160:
            addresses:
            - 10.10.255.171/25
            gateway4: 10.10.255.129
            dhcp4: no
            nameservers:
                addresses:
                - 10.199.2.2
                - 10.199.2.3
            routes:
                - to: 10.10.255.128/25
                  via: 10.10.255.129
                  table: 101
            routing-policy:
                - from: 10.10.255.128/25
                  table: 101
#
        ens192:
            addresses:
            - 212.79.91.71/28
            gateway4: 212.79.91.65
            dhcp4: no
            nameservers:
                addresses:
                - 8.8.8.8
            routes:
               - to: 212.79.91.64/28
                 via: 212.79.91.65
                 table: 102
            routing-policy:
               - from: 212.79.91.64/28
                 table: 102

«ip a» показывает оба адреса на разных интерфейсах, на первый взгляд все хорошо. Но когда активен интерфейс с внутренним адресом, то внешний не пингуется и наоборот.

Вот вывод route -n:

Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         10.10.255.129  0.0.0.0         UG    0      0        0 ens160
0.0.0.0         212.79.91.65    0.0.0.0         UG    0      0        0 ens192
10.10.255.128  0.0.0.0         255.255.255.128 U     0      0        0 ens160
212.79.91.64    0.0.0.0         255.255.255.240 U     0      0        0 ens192

В чем может быть проблема?

 , ,

KOTOXJle6
()

Разное количество используемых Inodes в GlusterFS

Добрый день.

Есть два сервера SRV1, SRV2 с установленным glusterfs. Вчера заметил что между общим томом гластера и локальными томами серверов есть расхождение в 800МБ. Так же заметил разницу в IUsed Inodes. df -i показывает что на SRV1 у тома гластера IUsed 664, у подключенного тома SRV2 671. На SRV2 оба тома показывают IUsed 671.

В чем может быть проблема?

 , ,

KOTOXJle6
()

Проблемы IE и Edge с Squid 4.8

Добрый день.

Собрал вручную Squid 4.8 на Ubuntu 18.04 LTS с подменой сертификатов и редиректом, но только для сайтов, которые находятся в acl. Все хорошо, кроме одного момента - некоторые сайты не хотят открываться:

ya.ru
yandex.ru
google.ru
youtube.com

Возможно сайтов больше, это первое что бросилось в глаза. Причем на них squid меняет сертификат на свой, хотя они не находятся в запрещающем acl. До добавления сертификата squid в доверенные центры появлялась ошибка

"Этот веб-сайт не защищен. Код ошибки DLG_FLAGS_INVALID_CA. На сайте используется Transport Security HTTP". 
После установки в доверенные открывается просто белая страница.

Причем проблема не со всеми сайтами. Нормально открываются:

mail.ru
vk.com
vk.ru (http)

Самое главное что в FF, Yandex, Chrome, все открывается как и должно.

В cache.log при открытии таких страниц появляется такое:

 ERROR: negotiating TLS on FD 46: error:1425F175:SSL routines:ssl_choose_client_version:inappropriate fallback (1/-1/0)

Пробовал менять настройки безопасности на разные версии TLS, но результата это не дало.

Никто не сталкивался с такой проблемой? Или может есть идеи в какую сторону копать?

 , ,

KOTOXJle6
()

SqStat на два сервера

Добрый день.

Строю отказоустойчивый кластер squid из двух серверов (Squid+LightSquid+Gluster+SqStat+UCARP). Не получается настроить SqStat так, чтобы можно было по единой ссылке смотреть общую статистику по обоим серверам. Сейчас смотреть статистику можно только на одном сервере, второй при попытке открыть страницу выдает Error (111): Connection refused, если первый потушить, то на втором все становится хорошо. Я так понимаю это связано с тем, что доступ к кэшу может получить только один сервер.

Может есть какие-нибудь идеи, как это можно настроить?

 ,

KOTOXJle6
()

Добавление приложения в автозагрузку

Добрый день.

Настраиваю UCARP на Ubuntu 18 и столкнулся с проблемой. Приложение отсутствует в списке служб, а запуск вручную не позволяет после этого использовать терминал.

Можно ли как-нибудь запускать UCARP автоматически при старте и при этом иметь возможность что-то делать на сервере?

 ,

KOTOXJle6
()

Некорректно работает фильтрация HTTPS в Squid

Добрый день.

Настроил squid 4 под ubuntu. Все вроде хорошо, правила фильтрации работают, но есть небольшая проблема. Когда я пытаюсь открыть HTTPS страницу из списка запрещенных, то получаю вот такое сообщение в Chrome:

Не удается получить доступ к сайту Веб-страница по адресу https://vk.com/, возможно, временно недоступна или постоянно перемещена по новому адресу. ERR_TUNNEL_CONNECTION_FAILED

Либо HTTP 403 Forbidden в IE.

Если пытаться открыть HTTP страницу из списка заблокированных, то картинка squid и его же сообщение об ошибке появляются без проблем.

Подскажите пожалуйста, в сторону каких настроек смотреть чтобы при попытке открыть HTTPS появлялись такие же сообщения, как и для HTTP?

 , ,

KOTOXJle6
()

Мониторинг Exim в Zabbix

Добрый день.

Пытаюсь подружить exim и zabbix. Нашел шаблон и скрипт, немного подправил и запустил. Но в zabbix на моем сервере элементы данных из шаблона находятся то в состоянии активировано, то в состоянии не поддерживается.

Если на сервере с exim запустить команду «bash /opt/zexim4.sh \frozen» (ключ любой из тех, что используются в скрипте), то мне возвращается результат в виде 1-3 цифр т.е. все в порядке.

А вот при запуске с прокси-сервера, который собирает данные результат запуска очень странный. То тоже возвращаются цифры, то несколько ошибок доступа и цифры. Выглядит это так:

it@srv-01:~$ zabbix_get -s 10.199.0.15 -p 10050 -k "exim[complete]"
153

it@srv-01:~$ zabbix_get -s 10.199.0.15 -p 10050 -k "exim[complete]"
153

it@srv-01:~$ zabbix_get -s 10.199.0.15 -p 10050 -k "exim[complete]"
tail: невозможно открыть «/var/log/exim4/main-20181105.log» для чтения: Отказано в доступе
awk: cannot open /var/log/exim4/main-20181105.log (Permission denied)
/opt/zexim4.sh: line 78: /tmp/exim_log_pars.txt: Отказано в доступе
exim: permission denied
Couldn't opendir /var/spool/exim4/input: Отказано в доступе
exim: permission denied
Error closing pipe:
/opt/zexim4.sh: line 99: /tmp/stats.txt: Отказано в доступе
153

На сервере с exim файл sudoers выглядит вот так:

root@ex2:/opt# cat /etc/sudoers
#
# This file MUST be edited with the 'visudo' command as root.
#
# Please consider adding local content in /etc/sudoers.d/ instead of
# directly modifying this file.
#
# See the man page for details on how to write a sudoers file.
#
Defaults        env_reset
Defaults        mail_badpass
Defaults        secure_path="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin"

# Host alias specification

# User alias specification

# Cmnd alias specification

# User privilege specification
root    ALL=(ALL:ALL) ALL

# Allow members of group sudo to execute any command
%sudo   ALL=(ALL:ALL) ALL

# See sudoers(5) for more information on "#include" directives:

zabbix ALL=(ALL) NOPASSWD: /sbin/iptables -L INPUT -n

zabbix ALL=(ALL) NOPASSWD: /sbin/iptables -S fail2ban-permanent

zabbix ALL=(ALL) NOPASSWD: /sbin/iptables -S fail2ban-banned

zabbix ALL=(ALL) NOPASSWD: /usr/sbin/exim -bp

zabbix ALL=(ALL) NOPASSWD: /usr/sbin/dmidecode

zabbix ALL=(ALL) NOPASSWD: /usr/bin/stat

zabbix ALL=(ALL) NOPASSWD: /usr/bin/md5sum

zabbix ALL=(ALL) NOPASSWD: /usr/bin/du

Defaults:zabbix        !requiretty

zabbix ALL=(ALL) NOPASSWD: /opt/zexim4.sh

zabbix ALL=(ALL) NOPASSWD: /var/log/exim4

zabbix ALL=(ALL) NOPASSWD: /tmp/

zabbix ALL=(ALL) NOPASSWD: /var/spool/exim4

Заметил такую закономерность, что если запускать скрипт на сервере с exim, а потом выполнять на zabbix proxy, то сначала все ок, а через минуту появляются ошибки доступа. И ошибки будут идти пока не запущу вручную скрипт на exim. chmod +x /opt/zexim4.sh делал.

Скрипт и шаблон, а так же инструкцию, брал отсюда tentorium.net/index.php?/topic/64-monitoring-exim4-cherez-zabbix Но таких инструкций с тем же конфигом много. Не сочтите за рекламу, если так нельзя, я удалю ссылку и оставлю только конфиги.

 ,

KOTOXJle6
()

Сертификаты HAProxy

Добрый день.

Не уверен что обратился по адресу, но больше не знаю где задать свой вопрос. У меня в сети используется HAProxy для перенаправления пользовательских HTTP/HTTPS запросов на внутренние почтовые сервера Exchange 2013, всего их 3шт (не бейте). Все работает хорошо, но на сервере, на который идет переадресация, постоянно появляются ошибки: «Event 36887, Schannel A fatal alert was received from the remote endpoint. The TLS protocol defined fatal alert code is 46.»

Судя по описанию, это ошибка сертификата и связана она с HAProxy, только не могу понять где именно затык. Со стороны Exchange все проверил, думаю тут все настроено правильно - используется сертификат, выданный GeoTrust RSA CA 2018. По Exim мне сильно нехватает знаний.

Возможно кто-нибудь сталкивался с такой ситуацией. Подскажите пожалуйста, влияют ли сертификаты, которые лежат в /etc/ssl/certs на взаимодействие HAProxy и Exchange? У нас там лежит корневой сертификат DigiCert, который выдал сертификат GeoTrust RSA CA 2018, который выдал наш сертификат. Но вот промежуточного сертификат GeoTrust RSA CA 2018 и нашего сертификата там нет.

Пожалуйста памагити.

 , ,

KOTOXJle6
()

Очистка Exim от спама

Добрый день.

Ситуация следующая, Exim стал передавать сообщения, помеченные как спам. После проверки свободного места на сервере, выяснилось что его нет вообще:

Файловая система Размер Использовано Дост Использовано% Cмонтировано в

/dev/sdb1 7,9G 7,2G 294M 97% /var/log/exim4

/dev/sdc1 20G 19G 8,0K 100% /var/mail

Внутри директории mail есть файл spam, который занимает все место. Внутри хранятся спамовые письма.Я так понял, что если письмо после проверки приобретает статус спамового, оно сохраняется в базе. Если там места нет, то письмо некоторое время висит в очереди, а потом просто доставляется конечному получателю с дополнительными заголовками и комментариями exim'а.

Пытался найти способ очистки базы писем, но везде пишут только про очереди. Сейчас начал изучать документацию, но процесс небыстрый.

Подскажите пожалуйста, как можно удалить лишнее и ничего не сломать? Извините, если что-то неправильно написал, раньше почти не работал с линуксом.

 ,

KOTOXJle6
()

RSS подписка на новые темы