Enterprise своими руками

На всякий случай уточним, что есть «почтовик» в вашем изложении, только почта imap/smtp или нечто большее а-ля exchange с его плюшками?

Я это, кстати, сам должен уточнить в ТЗ =)

Пока примем необходимым IMAP/SMTP + календарь/органайзер (насколько я знаю это можно сбоку прикрутить).

Стоит ли использовать дедики Хетцнера, например такой или есть что-то получше?

Если только raid0 в raid1 уже не влезаете по обьему. А далее все зависит от ваших потребностей. Если простой не сильно страшен, то рассчитывайте время на восстановления полного объема из бэкапа.

На всякий случай, raid1 тоже сдохнуть может по хардам, но это реже. Однако нельзя исключать.

Пока примем необходимым IMAP/SMTP + календарь/органайзер (насколько я знаю это можно сбоку прикрутить).

В ОП добавьте это

Готово.

proxmox + zfs + PVE Storage Replication and PVE-zsync + zimbra :)

У меня пока тянет такие объемы. У меня, у некоторых пользователей ящики по 300 гб.

zimbra

Почему именно это говно?

Оно вроде как на Джаве, жручее, дырявленное и ваще профи не рекомендуют)

Я думал iRedMail.

А по железу, что посоветуешь?

iRedMail это набор скриптов для разворачивания postfix+dovecot.
Zimbra нормальное решение, только правильно приготовить надо.
Exchange бог корпоративных почтовиков

Ну Kerio Connect как и Zimbra тоже корпоративное решение.

Оба продукта рассмотрены в аксиоме Эскобара))

Ты реплицируешь виртуалки целиком?

И как оно у тебя реализовано, виртуалки/контейнеры?

constin тут было советовал вот такую систему https://documentation.kopano.io/kopanocore_administrator_manual/installing.html

Мой сайз:

20 GB - 50 GB / 101-200 users 6 8 GB SAS, 10k RAID 10

Но у меня ящики, у некоторых под 200 гиг :) ОЗУ 12 гб. Делаю рез. копирование средствами urbackup, реплику средствами proxmox, ну и юзаю малость: cv4pve-autosnap, на всяк. случай.

Посмотрю что за зверь. Свою конфигурацию не трогаю с 2013 года. :) Сука, просто работает. Ну со спамом иногда улучшаю борьбу, только.

ОК, как посмотришь, отпиши сюда, интересно.

А хостишься где?

Тупо в серверной :)

Посмотрел в утубчике, лук не очень (видос смотрел от 2016), но, идея годная! Я так понимаю оно на php. Говорят 7ой php торт, а это на 5,3. В общем, у zimbra недостаток такой (моей версии), что java при скачке ящиков в десятки гигов на локальный комп, может сервер ввести в анабиоз. По-этому, я всех загнал в веб. Ну почти всех. Может в новых версиях zimbra, уже не так всё печально. :)

А в остальном, zimbra работает без ребутов - годами.

Ну look это дело такое, главное, чтобы бэкенд работал и аптайм на асимптотике к 100% стоял))

Ты так и не написал где сервера арендуешь или свой «подкроватный» ?

https://pve.proxmox.com/wiki/High_Availability

Такую шнягу не используешь?

Правда я не очень понял, как они обеспечивают высокую доступность)

Увидел.

Смотрю на дедики Contabo, интересно какие они по блеклистам IPшников/надёжности.

А пока не возьмешь конкретный ip - не узнаешь. Я вон провайдера себе менял. Все ip которые купил - ОК. Кроме одного. А я, сука, как назло выбрал не счастливый, прописал везде, потом из трех блеклистов спамеров вынимал его. Сейчас всё ОК)

А кворум по репликации у тебя есть или это все 1 сервак?

У меня достаточно примитивно. Proxmox делает только async ведь репликацию. Не чаще одного раза в минуту, кажется. Если нужно реальный sync, то это уже drbd в sync режиме или что там сейчас модно, с соответствующими проблемами.

Глупый вопрос, но все же мне кажется, что вероятность выхода из строя «железного» сервера выше, чем вероятность смерти отдельно взятой виртуалки, не?

Пока просто смотрю сюда и медитирую…

До меня так и не дошло, у тебя один физический сервер?

Несколько. У меня кластер proxmox. И средствами proxmox настроена репликация вирт. машин. Реплицированную машину, через start/stop можно перетащить на другой узел без проблем за пару секунд. :) Если нужен суровый enterprise, полагаю, надо уже более глубоко заморачиваться. У меня простой почты в пару минут допустим. Но, мне банально не нужно этого делать. Я на новогодние оборудование обычно меняю на более мощное и всё.

О, вот теперь все сложилось, спасибо!

Просто же репликация в пределах одного сервака бессмысленна)

Не, не, конечно у меня репликация на другую серверную, находящуюся в соседнем здании. Посмотрел сейчас когда я переносил почту на zimbra, это было в Августе 2013г. :) Посмотрел сейчас на ящики на самые толстые, самый жирынй 98 гиг. далее 80, 70 и т.д.

Плюс ещё urbackup настроил, для offsite backup

А сколько в среднем длится репликация?

С тем учетом, что у меня охеренная куча снепшотов за одно реплицируется, а репликация запускается раз в час, выходит пару минут.

Канал между виртуалками?

Уже просто из интереса)

Гигабит. Если бы не куча снепшотов, то реплика занимала бы секунды. :)

А сколько раз за 6 лет были факапы ?

0

Реплицированную машину, через start/stop можно перетащить на другой узел без проблем за пару секунд. :)

Т.е., если я правильно понимаю, гипотетический порядок действий такой:

• Падает активная виртуалка;

• Ты делаешь стоп виртуалке-реплике и перетаскиваешь её на узел №1;

• Запускаешь бывшую реплику с узла №2 на узле №1

• Разбираешься, что не так с «исходной» VM (накатываешь снэпшот ?)

• Ставишь восстановленную ВМ как новую реплику (?)

Чёто я намудрил)) Но мне так кажется.

Если дохнет железо, окончательно, бесповоротно (пожар) - я, просто, поднимаю виртуалку на втором узле и всё (теряя данные с момента последней реплики). Если железо дохнет на половину (то есть, жесткие диски целы), втыкаю жесткие диски в любой свободный комп, поднимаю proxmox, докатываю последнюю реплику на запас. Поднимаюсь на запасном хосте.

Да, простой будет, я этого не отрицаю. ИМХО, что бы вообще не было простоя, необходимо изначально юзать софт, предназначенный для кластеров. Если простой для почты критичен с точностью до минут, тогда, берем и покупаем облачную корпоративную почту. MS Office 365, или что-то подобное. Платим за гигабайты (всё что более 50ти, кажется), платим за пользователей и т.д.

Мне локальная почта нравится тем, что я могу довольно гибко настраивать конфиги. Например: у меня разработчики работают на копии продуктивных машин. И, им надо понимать как работают те или иные корпоративные рассылки. - Так вот, моя локальная почта понимает, что если письмо пришло Васе с сервера dev, то его надо перенаправить разработчику, а не вводить в заблуждение Васю.

Угу в целом понятно, т.е. у тебя не общая СХД?

На каждом из серваков свои накопители?

Да. В этом есть как плюсы, так и минусы. Локальные накопители как не крути, но шустрее, подешевле, и попроще в обслуживании (я не кладу все яйца в одну корзину). Но, из-за этого, я не всегда эффективно использую локальное пространство.

Zimbra opensource?

Угу. :)

Считаю что платить за standalone почту смысла не имеет. Или бесплатно, или уже юзать Office 365. Какой смысл платить за коробку и с ней трахаться (спам и всё прочее) в 2020 году, не понимаю…

+1

А вот еще забыл спросить: Proxmox обновляешь?

Думаю нет)

Ща гляну сколько на него подписка стоит)

Да, proxmox обновляю. Готовлюсь заранее. Обновляю раз в пару лет. Выхожу на Новогодние праздники, и 1,2 января за переработку обновляю. В другое время, это не возможно в моём случае… Знаю уже определенные косяки и проблемы proxmox, стараюсь учитывать это дело. Сейчас на 5.x обновил в эти праздники. Ну и за одно, для бекапа настроил zfs dedup, там где это уместно. - Результатом доволен. Так же, долго вкуривал почему dedup не работает на бекапе одних и тех же вирт. машин с proxmox. Разобрался… Читал переписку разрабов даже на эту тему. В общем, увлекательные вещи узнаю. Так же, на почту, как уже говорил, прикрутил urbackup, поверх btrfs (reflink реально рулит). Пока особо не восстанавливался, но в первом приближении - всё не плохо.

P.S. - proxmox, так же юзаю только халявную версию. Если уж платить, тогда покупать уже VMware (или уходить в Azure, они позволяют своё облако крутить на своём локальном железе, при ряде условий), при всём уважении. :)

Я смотрю по официальной доке Proxmox (по крайней мере 6й версии), рекомендуется реплицироваться только на ZFS.

И да, смотрел но непонял: ZFS дружит с программным рейдом или нет?

zfs единственный способ репликации.

zfs сама соединяет диски в raid. Программые raid не поддерживает. Сама прекрасно соединяет диски, без труда диски можно заменить. Можно потюнить zfs по памяти, по кешу ssd. Пока из самых больших минусов то, что l2arc после reboot не сохраняется. В остальном, я крайне доволен zfs. За пяток лет не потерял ни байта.

Сам proxmox у тебя в паблик торчит или завёрнут в VPN?

Никуда не торчит. Если нужен gui из вне, прихожу через apache guacamole/meshcentral на свой рабочий комп и куралесю. Если нужен ssh, то прихожу из вне через apache guacamole, а там у меня настроен вход по персональному сертификату

Понял, спасибо за консультацию.

Странно, что в теме только мы двое общаемся.

Видимо, больше энтерпрайз так никто колхозить не собирается.