современная и рабочая альтернатива imapsync

Вы думаете, что gmail даст вам синкать письма на 400-500 мбит/с?

Да, и лимиты же

https://support.google.com/a/answer/1071518?hl=en

По сабжу: https://takeout.google.com/?pli=1

Я такое делал в на c++ mail.ru, сделано через три собачьих хвоста (заметьте, не хруя!) И с кучей эвристик, которые постоянно менялись.

mbsync

Дерьмо, mbsync как раз упирается в лимиты, imapsync просто режет по скорости.

Ну сначала было честные 10 Мбит/с, сейчас выше 2 не поднимается.

Про takeout знаю, но как рассортировать письма по папкам, как в оригинале, вот вопрос?

Ага… спасибо за ссылку.

А вот лимит не более 3-х раз в месяц можно скачивать ящик, я не учёл, да.

Не слабо порезали. Емнип несколько лет назад ящик на 27Гб дня за 2 точно выкачивался. Хотя возможно это связано с тем что это платный акк.

https://github.com/OfflineIMAP/offlineimap про это?

http://www.offlineimap.org/doc/FAQ.html#how-to-migrate-of-imap-server

OfflineIMAP скоро всё, вместе с Python 2.7, на котором он написан. Переписывать на 3.x они вроде как не собираются, вместо этого пишут какую-то другую убервафлю, которая пока не готова.

RIP.

В том то и соль, что я качаю с платного GSuite аккаунта.

Или я чего не понял и лимиты проставлены только для бесплатных ?

Оно все мертво, как уже написали выше.

Из живого и практичного только imapsync.

К чести imapsyc, как скрипта на Перле, работает как часики.

Действительно, это на первом акке донельзя ограничили скорость.

Второй акканут на пару сотен мегабайт скачался без проблем.

Опять таки, на скачивание takeout GSuite тоже негласное ограничение, не более трёх раз…

В этом отношении все довольно кисло)

Из живого и практичного только imapsync.

isync ещё. Я с offlineimap свалил на него (не стоит дожидаться, когда offlineimap выпилят из репозиториев, потом придётся носиться как ужаленному, а пока можно неспешно переехать).

Умеет ли imapsync в Maildir? Умеет ли работать с несколькими аккаунтами? Умеет ли брать пароль из внешней программы пайпом?

isync вроде как надстройка на mbsync

Умеет ли imapsync в Maildir?

Ему пофиг какой у тебя формат хранения почты: он подключаться по IMAP host1 <-> host2 и фигачит.

Умеет ли работать с несколькими аккаунтами?

В чем проблема запустить две/несколько копий скрипта для каждого аккаунта?

Сам автор ничего не имеет против такого подхода https://imapsync.lamiral.info/FAQ.d/FAQ.Massive.txt

Умеет ли брать пароль из внешней программы пайпом?

Вот чего не знаю, того не знаю. Скорее всего, что нет)

А в ТП Gmail написать есть возможность? Возможно, предложат вариант миграции, если у вас коммерческое решение.

Ну это вариант.

Хорошо, что это пока тестовый стенд.

Только вряд ли они будут содействовать, т.к. мы от них уходим =)

(from) IMAP host1 ----> (to) SMTP host2

Да, ошибочка вышла, разумеется однонаправленный обмен.

Если на Exchange, попытаться архивировать почту через вышеуказанную утилиту и конвертировать в pst. А еще, ЕМНИП, у O365 была возможность «забирать» ящики — штатной утилиткой, в веб-интерфейсе, но могу ошибаться.

Спасибо, но думаем уезжать на Hetzner =)

Глупо, рискованно, но моё дело техническое)

Да не, все ок. Просто я не учел, что на количество синхронизаций тоже лимит.

Пока «туда-сюда» подобрал параметры и понял, что почту с меткой «GMail/All Mail» тоже надо исключать из синка, т.к. получается двойной объём.

Подожду 1 июня.

isync вроде как надстройка на mbsync

Но это не делает его хуже. Впрочем, у всех есть свои плюсы и минусы.

и фигачит

То есть фигачит оно as is.

В чем проблема запустить две/несколько копий скрипта для каждого аккаунта?

В том, что это вынуждает самому контролировать коннект (некоторые сервера не пускают кучу соединений разом). Больше ничем.

Вот чего не знаю, того не знаю. Скорее всего, что нет)

Я помню, что по какой-то причине не взял imapsync, но не помню по какой. Скорее всего это оно. ☺

В том, что это вынуждает самому контролировать коннект

Переподключает скрипт сам при обрыве , если ты об этом.

Он даже не убивается толком по ^C, только по kill -9 :-)

Умеет ли брать пароль из внешней программы пайпом?

В этой части что бы не палить пароль в списке процессов, умеет в параметры --passfile1 --passfile2, а какую обертку вы сделаете это ваше дело.

Я помню, что по какой-то причине не взял imapsync, но не помню по какой. Скорее всего это оно. ☺

Я наоборот выбрал его. Отдельная виртуалка, не особо парит в части выхлопа в части ps (некому кроме меня подсмотреть), это разовые задачи. Так же удобно фолдеры менять между исходящим и принимающим. Накалялал для себя скрипт для массового переноса с «точки» на «точку». Последний раз это было пару месяцев назад. Очень удобно, сохраняет все атрибуты.

Накалялал для себя скрипт для массового переноса с «точки» на «точку».

Можете поделиться? ;-)

Я из любопытства.

Отдельная виртуалка, не особо парит в части выхлопа в части ps (некому кроме меня подсмотреть)

Во FreeBSD изоляция PIDов per-user.

Так же удобно фолдеры менять между исходящим и принимающим.

Не понял. Типа nametrans (трансляция-маппинг имён папок) в OfflineIMAP?

Очень удобно, сохраняет все атрибуты.

Как будто isync и offlineimap делают как-то не так.

Очень простой говнокод, но вполне устраивает.

#!/bin/bash

HOSTFROM=''
HOSTTO=''

while read M; do
 declare -a UL=($M)
 imapsync \
   --host1 "$HOSTFROM" --user1 "${UL[0]}" --password1 "${UL[1]}" \
   --host2 "$HOSTTO" --user2 "${UL[2]}" --password2 "${UL[3]}" \
   --ssl1 --ssl2 --f1f2 possibleSpam=Spam
 if [ $? -ne 0 ]; then
  echo -e "ERROR!\nERROR!\nERROR!"
  exit
 fi
done < userlist

Не понял. Типа nametrans (трансляция-маппинг имён папок) в OfflineIMAP?

Скорее, перенос из одной в другую в части названия. На примере приведенном мной выше
--f1f2 possibleSpam=Spam
лежало в possibleSpam
положили в Spam
Используя параметр --f1f2 можно переносить из папки в папку. Для меня последний раз важен был только этот момент, но ещё бывает много другого, типа Send-Sent Отправленные и т.п.

ЗЫ

Во FreeBSD изоляция PIDов per-user.

Я не собираюсь тащить кучу всего «ненужно» на хостовую систему, для задач которые раз в год по обещанию. Это если что, не конкретно про фряху, просто зачем замусоривать если давно придумали виртуалки и мощности позволяют? Все настроено, все робит, запустил разок на несколько дней и спи спокойно. Потом когда домен перекинул, повторил что бы пользователи не потеряли письма из-за корявых dns где-то там.

Спасибо!

Тут есть нюанс в части «Потом когда домен перекинул, повторил что бы пользователи не потеряли письма из-за корявых dns где-то там.»
Было дело, пользователь (предупрежденный о переезде) пораскидал вручную письма по другим папкам и тут ему заново прилетело в inbox и другие :)
Но это редкость. Однако самое главное мы ничего не потеряли, как я всегда говорю «больше не меньше», основное что потерь нет.

Ну от слишком инициативного юзера никто не застрахован, это да.

Представляете, это на выходных, предупредили что будет «переезд», видимо скучно чуваку было, где-то 2к писем решил вручную(не совсем фильтры почтового клиента настраивал) рассортировать :) Но это другая азиатская страна, чем человек думал, не понятно. Притом что почту в обычном рабочем графике читает через день. А тут его прямо приперло. :) Это я к тому что и такое бывает. На моей практике это единичный случай. Однако не надо и про такое забывать. Все бывает.

ЗЫ А в остальном imapsync как писал выше меня(нет, даже не меня но и пользаков) вполне устраивает. Жалоб ровно ноль, а «переезжал» уже не раз и не два. Проблема только то, что с нового места заново качаем. Ну это как бэ логично. Поэтому надо обязательно согласовывать с клиентами. А то кто-то в командировку/отпуск а тут с инетом все плохо и почту не посмотришь.

Не понял. Типа nametrans (трансляция-маппинг имён папок) в OfflineIMAP?

Скорее, перенос из одной в другую в части названия.

Оно и есть.

тащить кучу всего «ненужно» на хостовую систему

А у меня и на виртуалках FreeBSD. Плюс джейлы. :3

Но вот хранить пароль в открытом виде я категорически отказываюсь! Даже в виртуалках, которые можно быстро нюкнуть.

Потом когда домен перекинул, повторил что бы пользователи не потеряли письма из-за корявых dns где-то там.

А для юзеров я бы вообще не заморачивался. В организации должна быть своя почта, а если нужен GSuite, то пусть он остаётся там, где лежит. Нафиг собирать почту пользователей с удалённых ящиков?

Я про перенос из точки A в точку B. Не более того. Это разовые операции.

Но вот хранить пароль в открытом виде я категорически отказываюсь! Даже в виртуалках, которые можно быстро нюкнуть.

Значит вы не умеете их готовить если допускаете такое. Точнее так, если вы допускаете что и виртуалку взломают, значит вы допускаете что и хост взломают.
И простите в каком виде вы будете при синхронизации передавать пароль, точнее откуда изначально его возьмете? Первичный ввод это все равно plain text, и все равно откуда он взялся, пользователь ручками или «убер система хранения паролей» подставила. Тут как с короной, сделал дело, «помой ручки». Но и предварительно маску не забудь надеть.

если вы допускаете что и виртуалку взломают, значит вы допускаете что и хост взломают.

Такую возможность исключать нельзя. В абсолютной безопасности могут находиться только те данные, которые не существуют. И то не вечно.

В абсолютной безопасности могут находиться только те данные, которые не существуют

В цитатник!

Хм, странно себя ведёт GSuite: сделал 2 дня перерыв, снова честные 8-10 Мбит.

Хотя по их шпаргалке все лимиты исчерпаны… ну или я читать не умею)

Про лимиты по скорости скачивания ничего не сказано.

Так что похоже, что в случае с GSuite, речь идёт о takeout, а не о IMAP.

ничего не сказано.

Открою тайну, только никому не говорите. Они ещё и про свою антиспам систему никому не говорят (попал фиг выпилишся) :)

ЗЫ Сегодняшний пример, без шуток. Почтовый клиент. Перестал забирать почту. Пипец решение. «Три» раза поменяй метод авторизации, каждый раз ругается на пароль, возвращаем к первоначальному, и бинго. Все работает как и было. Вот где логика со стороны гули? Я не понимай.

Они ещё и про свою антиспам систему никому не говорят

Ну там у меня удавалось запросить удаление из списка, только если это не самый «зашкваренный» IP4 Hetzner Helsinki.

А вот Hotmail/Outlook плюс Хетцнер это, мягко говоря, множество погибших нервных клеток и вырванных волос из разных мест без толку.

Несмотря ни на что, даже на подтверждение хостера о том, что IP4 свежий и выдан менее месяца назад, индусы из суппорта майков, похоже или тупо игнорируют запросы на разблокировку, или не могут разблокировать у себя на шлюзе отдельно взятый IP.

Недавно проклинал HotMail на чем свет стоит…

Выше в своем посте я поправил возможно не прочитали ЗЫ. Это действительно какая-то неведомая хрень.

Да, сразу начал отвечать.

Не дождался правки)

Имхо гулю можно использовать только для чего-то нафиг не нужного.
Она правда не торт как в начале когда по инвайтам была. :)

Ну там у меня удавалось запросить удаление из списка, только если это не самый «зашкваренный» IP4

КАК ? Там же вообще такого не предусмотрено. Реально интересна история успеха. Плиз расскажите.

Там же вообще такого не предусмотрено.

Не совсем так. Для полностью заблокированного IP(Our system has detected that this message is 550-5.7.1 likely suspicious due to the very low reputation of the sending 550-5.7.1 domain/IP ) , в случае если сейчас все настроено корректно и нету бешеного трафика, есть форма.

Заполняете, излагаете суть, ждёте.

Где-то через месяц у меня IP разбанили.

Ну это только один такой случай был.

Если же рассылка просто летела в спам, несмотря на настройки PTR, SPF и прочего, я брал советы отсюда, в разделе Email Recipient Engagement.

Тут еще такой момент, что у меня есть 5 заброшенных юзерами акков гули, где я симулировал денёк-другой действия из статьи, чтобы письма с «белой» рассылки начали падать в инбокс. И для «спам» IP-адресов это действительно работает.

Продолжу немного рассказ о том, как меня с детищем Мартина Хетцнера обидел HotMail :-)

Если отбросить эмоции и нецензурную брань, которую я про себя адресовал различным Шиндракумарам с их шаблонными писульками, очень похоже на то, что где-то в году 2013 белые люди из MS ушли.

На место белых людей пришли смуглые люди. Белые люди не оставили смуглым «сменщикам» инструкций как обращаться с БД черных списков IP. Смуглые люди до сих пор юзают старые шаблоны писем для отписок всем пользователям, IP VPS которых в давние времена заслуженно попали в блеклисты, и симулируют бурную деятельность.

Иначе я не могу объяснить почему в AS Майкрософта в США почта уходит без проблем.

А в любую страну Европы в домене hotmail.tld — блокируется.

Я закончил :-)

Спасибо большое. На всякий случай эту тему отметил, мало ли что, а ваш ответ может пригодиться.

Вижу что накипело у вас сильно. Могу только искренне посочувствовать, что приходиться до сих пор иметь дело со всякими HotMail. :( Меня на текущий момент сея чаша уже миновала (не зарекайся сказал я сам себе).