LORgate - mail-гейт для форумов LOR

теперь большая часть постов будет содержать Now Playing ... :)

> с полноценным парсингом HTML

А не проще бы было веб-мастеру(ам) экспорт в XML делать ?

> А не проще бы было веб-мастеру(ам) экспорт в XML делать ?

Вообще - проще. Но надежда слабая.

> теперь большая часть постов будет содержать Now Playing ... :)

А ты думал, зачем я его делал? =)

добавляю новый аккаунт в evolution, какой тип сервера выбрать?

если выбрать Maildir-format, то в Inbox одни пустые папки :(

респект! будем заценивать и надеяться на продолжение банкета ;)

> добавляю новый аккаунт в evolution, какой тип сервера выбрать? если выбрать Maildir-format, то в Inbox одни пустые папки :(

А ты уже сделал fetch?

Если да, то почитай внимательно комментарии в конфиге - там написано, что надо сделать для bincimap, а что - для Evolution (кстати, никто не мешает использовать их в связке - я именно так и делаю). По умолчанию там настроено под bincimap. Если конкретно - убери начальные точки из имен каталогов.

>Но надежда слабая.

Всё лежит в постгресе, сам сайт на JSP, там вобще часа три посидеть и можно всё экспортуть

> Всё лежит в постгресе, сам сайт на JSP, там вобще часа три посидеть и можно всё экспортуть

Да все можно... только вот все равно вряд ли будет. Исходники не дают, а сами все занятые =(

> Исходники не дают

Хех, а как-же ГПЛ ? Или там дыряво/криво всё настолько ?

> Если конкретно - убери начальные точки из имен каталогов.

точки убрал и снова запустил fetchlor

и сразу возник вопрос, в этом скрипт случайно парсит не _весь_ форум начиная с 1999 года?

а то у меня с этими точками в конфиге fetch проходит за минуту, а без них уже 5 минут и конца этому не видно :)

> Хех, а как-же ГПЛ ?

А где ты здесь видел GPL?

>Хех, а как-же ГПЛ ? Или там дыряво/криво всё настолько ?

На счёт дыряво не знаю, но криво это без сомнения. Жутко неудобное ушлёпище. Лучше бы уж Drupal какой взяли, честное слово.

> и сразу возник вопрос, в этом скрипт случайно парсит не _весь_ форум начиная с 1999 года?

Нет, только последние 30 тредов в каждом форуме (включая новостные группы) =)

> а то у меня с этими точками в конфиге fetch проходит за минуту, а без них уже 5 минут и конца этому не видно :)

С точками он проходит за 5 минут, потому что ты его уже один раз выкачал. Дальше качаются только новые сообщения. А так ты в конфиге пути поправил, он теперь выкачанных им раньше сообщений не видит, и качает все по новой.

Да, в первый раз качает долго. Я предупредил - тормозное оно =)

А с Kmail можно использовать?

> А с Kmail можно использовать?

По идее можно использовать со всем, что понимает Maildir (или же, через bincimap - IMAP), и восьмибитные заголовки писем. Попробуй - расскажешь =)

прошло уже 20-25 минут, все еще парсится )))

у меня даже при самом первом запуске так долго не парсилось

> прошло уже 20-25 минут, все еще парсится )))

У тебя часом не ext3? ;)

Там же maildir - для каждого сообщения по файлу. ~20 форумов. 30 тредов из каждого - это уже 600 HTTP-запросов, так что учитывай и скорость соединения. В треде - от 5 до 500 =) мессаг. Дальше считай сам...

И еще, ты max_threads не выставил больше 30 случайно?

> У тебя часом не ext3? ;)

reiserfs

> И еще, ты max_threads не выставил больше 30 случайно?

неа, оставил 30

просто интересно, если точки перед папками в конфиге не убирать, то парсится очень быстро

специально проверил, запустил отдельно еще одну копию с дефолтным конфигом, за 2 минуты прошло

> просто интересно, если точки перед папками в конфиге не убирать, то парсится очень быстро

> специально проверил, запустил отдельно еще одну копию с дефолтным конфигом, за 2 минуты прошло

Маразм 8|

А ты можешь посмотреть общий размер папок с точками?

> А ты можешь посмотреть общий размер папок с точками?

~/.lor%=> du -h -s groups
97M groups

97 метров :\

Оффтопик: какой шрифт используется для отображения текста писем в Evo?

скорее всего terminus

> На счёт дыряво не знаю, но криво это без сомнения. Жутко неудобное ушлёпище. Лучше бы уж Drupal какой взяли, честное слово.

гон, ЛОР - лучший движок!

А у меня вообще ничего не качает, только создает иерархию директорий.

> Оффтопик: какой шрифт используется для отображения текста писем в Evo?

Terminus 14pt

> 97 метров :\

Странно, он и правда все выкачал... не знаю даже =) вроде ему совершенно пофиг, есть там точки или нет. Может это какие незадокументированные фичи reiserfs? ;)

ну и ладно ;)

сейчас буду пробовать связку evolution + bincimap

Маэстро! А когда будет выпущен гкреллм для ЛОРА и когда тут наконец сделают тени и прозрачность ?

Наверно только после перехода на XML... :)

Для товарищей типа меня, которые пользуются связкой Exim(Sendmail и пр.) + Amavisd + Opera предлагаю применить на fetchlor.py слудеющий diff-файл:

---cut---

23a24,25
> mail_to = "key@localhost"
> MAIL = "/usr/sbin/sendmail -bm -t"
34c36
< def scan_thread(dir, processed, thread_id):
---
> def scan_thread(subj_group, dir, processed, thread_id):
102a105
> msg.write("To: %s\n" % mail_to);
110c113
< msg.write("Subject: %s\n" % subj)
---
> msg.write("Subject: [linux.org.ru: %s] %s\n" % (subj_group, subj$
114a118,129
>
> f = open(new_msg_file, 'r')
> mssg = f.read()
> f.close()
>
> p = os.popen("%s -t" % MAIL, 'w')
> p.write(mssg)
> exitcode = p.close()
> if exitcode:
> print "Exim exit code: %s" % exitcode
> p = os.popen("rm %s" % new_msg_file)
>
118c133
< def scan_group(dir, group_id, offset=0):
---
> def scan_group(subj, dir, group_id, offset=0):
159c174
< scan_thread(dir, processed, thread_id)
---
> scan_thread(subj, dir, processed, thread_id)
173c188
< scan_group(dir, group_id, offset)
---
> scan_group(subj, dir, group_id, offset)
184c199
< scan_group(maildir + "/" + folder, str(group_id))
---
> scan_group(folder, maildir + "/" + folder, str(group_id))


---/cut---
В
mail_to = "key@localhost"
MAIL = "/usr/sbin/sendmail -bm -t"
пропишите ваш e-mail локальный/глобальный и ваш mail-agent с параметрами для потокового файлового режима. Далее в Opere создайте фильтры на subject'ы типа [linux.org.ru: Admin],
[linux.org.ru: Deveplopment] etc. Настройте в фильтрах показ в потоковом режиме (View -> Threaded). В fetchrc удалите точки (.) перед .Admin, .Development etc...
Ну а далее все просто:
./fetchlor.py

Если еще будет время - покурю доку по Exim'y и прикручу отправку сообщений.

ЗЫ: За Python'вский код не судите строго - я на нем сегодня впервые в жизни пишу... ;)

Забыл! Большой РЕСПЕКТ int19h!!! Спасибо за отличную прогу ;).

КХМ-КХМ... Господа а ньюс-сервера и ньюс-клиенты уже вроде как отменили ? Или если начнем рисовать костыли на яве рискуем свалить сервак ?

за такое морду бить надо, парсят они панимаишь..

Огромный Respect
Очень нужная вещь

> Маэстро! А когда будет выпущен гкреллм для ЛОРА и когда тут наконец сделают тени и прозрачность ?

Как только LOR перепишут на OpenGL =)

> КХМ-КХМ... Господа а ньюс-сервера и ньюс-клиенты уже вроде как отменили ? Или если начнем рисовать костыли на яве рискуем свалить сервак ?

Да кто ж нам даст эти костыли рисовать... я вообще-то очень даже не против, но дык исходников все нет.

Пофиксенная версия:

http://www.webfile.ru/214030

Теперь в конец сообщения добавляются ссылки на само сообщение, а не на весь тред =) (спасибо Михаилу за неявный багрепорт).

> теперь большая часть постов будет содержать Now Playing ... :)
>А ты думал, зачем я его делал? =)
>int19h (*) (10.03.2005 17:19:25)
Обьясните шутку не просвещенному )))))

int19 --- молодец. Как говорится: афтар, пиши исчо ;). Большое спасибо, в общем!

int19h: респектище

> Обьясните шутку не просвещенному )))))

Оно позволяет постить на лор через SMTP, т.е. любым почтовиком. А там обычно есть фича, позволяющая автоматом вставлять в письмо строку "Now Playing ..." =)

молодец

Интересно как сильно траффик вырос на сервере лора. А то ить не шутка, если целиком все форумы и новости за 1998...2005 год выкачать.

Типа такого.

--
np: Jimi Hendrix -- Are You Experienced? -- Manic Depression

> Интересно как сильно траффик вырос на сервере лора. А то ить не шутка, если целиком все форумы и новости за 1998...2005 год выкачать.

никак: http://linuxhacker.ru/stats/eth0-usage.html

> А то ить не шутка, если целиком все форумы и новости за 1998...2005 год выкачать.

По дефолту там стоит смотреть не более 30 последних сообщений в каждом форуме.

молодец чувак! так держать, на таких как ты держится весь ИТ-ворлд имхо

Помниться lg форум гнусом читал иль я че путаю? И без парсилок вроде всяких.

>гон, ЛОР - лучший движок!

Ага. Ага. Среди худших.