Скрипт для выгрузки всех скриншотов linux.org.ru и описания. Локально.

Спасибо. Кстати, почему бы не генерировать время от времени архивы с скриншотами?

Возможно, сделаю это на базе gitlab.com + GitLab CI.

Это пока скажем бетка лоадера галлереи, буду дорабатывать с вашими пожеланиями.
Буду признателен, если это начнет расширятся за счет сообщества :)

Забавно, хоть и довольно специфично.

решил нарабатывать навыки написания кода на python

Если хочешь и дальше осваивать питон и развивать проект, советую сразу разобраться и создать пакет. Из основного пригодится:

• файл setup.py с метаинформацией,
• файл __main__.py для запуска,
• библиотека argparse для аргументов командной строки,
• библиотека logging для логгирования.

Для тестирования и отладки нужно будет выполнить python setup.py develop в виртуальное окружение. Для запуска — python -m lor_gallery.

from bs4 import BeautifulSoup
import re
import requests

Нормальный способ, но интереса ради, можешь посмотреть на Scrapy (лично мне нравится вытаскивать данные по xpath и генерировать задания через yield) и <hipster-mode>всякие асинхронные aiohttp</hipster-mode>.

Спасибо, действительно хороший комментарий, это все учту, завтра все запушу с изменениями для удобства использования скрипта и более «питоничной» наглядности! tnx man!)

Пробежался по коду, из того, что бросилось в глаза:

file = open(path + '/' + name + '.txt', 'w')

Тут используй with, как в случае выше.

path + '/' + name + '.txt'

base_path = os.path.abspath(os.path.dirname(__file__))
...
path = os.path.join(base_path, 'whatever', ..., '{}.txt'.format(name))

Годно! Сейчас буду правки вносить!

а какую cms использовать для ресурса собираешься?

вскоре запущу (если администрация разрешит)

Администрация это, конечно, хорошо. Вот только пользовали выкладывали скрины угадай под какой лицензией? Правильно. Свяжись с каждым автором и узнай, не против ли он, что ты будешь их скрины у себя размещать.

А скрины из описания будет выкачивать?

тогда и количество путных комментариев по ключевым словам определяемых пользователем из списка, тоже прикольно.

Во во, коллега так ошибся на

/

В случае с третьим питоном можно pathlib воспользоваться. Так удобнее как по мне.

на юкозэ жэ

Вот они срипткидисы которые ддосят ЛОР!

Эта штука все последовательно качает, фиг что заддосит она :).

Не думаю что потребуется cms, самопальный движок на flask, не более

Тогда эта затея так и останется затеей ...)

Скрины из описания - да, буду, по повод комментов не очень понял. Все технические правки сделаю, согласно ваших комментариев

да, буду

круто!

самопальный движок

надеюсь аякс джейквери и все такое там окажется, чтоб удобнее все вертеть масштабировать и тд тогда.

еще хорошо бы уметь подгружать все скрины из поста а не только описания по требованию если такие есть.

а я вот наоборот хотел без джсов, коль уж такое требуется, сделаю с ним.

А если опубликовать на сайте галереи ссылки на каждый пост со скрином и указать об авторстве этого человека, якобы галереи онли в ознакомительных целях? То есть копирайты оставить скажем так.

такое требуется

нет. делай то, что считаешь нужным

Допилил немного код, сделал пакет, теперь через setup.py

а вообще тогда хорошо бы и остальные ресурсы подключить на которых есть такие разделы, чтоб со всего мира типа если такого еще нету, вот это вообще полный фарш получится имха если пиарнуть по уму.

да, круто будет, поищу еще ресурсы со скринами древними (и не только)

unixporn на реддите?

https://ru.wikipedia.org/wiki/Добросовестное_использование

если получится то супер