LINUX.ORG.RU

Избранные сообщения devalone

Хотели бы вы, чтоб на ЛОРе добавили плюсы/минусы для комментариев?

Голосования — Голосования

Как на Хабре, Опеннете и т.д.

  1. Нет 484 (40%)

    ********************************************************************************************************************************************************************************************************************************************************************************************************************************

  2. Да 423 (35%)

    ***************************************************************************************************************************************************************************************************************************************************************************************

  3. Мне всё равно 299 (25%)

    *****************************************************************************************************************************************************************************************************

  4. Свой вариант(в комментариях) 11 (1%)

    *******

Всего голосов: 1217

 , ,

devalone
()
448 комментариев (стр. 2 3 4 5 6 7 8 9)

Добавляю тег proxypy

Форум — Linux-org-ru

для devalone и proxy_py v2.1 - Сборщик проксей

 

bvn13
()
9 комментариев

Пользуетесь ли вы «песочницами» для основных программ?

Голосования — Голосования

Речь не про запуск чего-то подозрительного, а про софт, который используется каждый день, как например браузер, мессенджер, читалка почты, etc. Защищают ли лоровцы себя от потенциальных 0day?

  1. Нет, мне нечего скрывать от моих программ! 275 (44%)

    ********************************************************************************************************************************************************************************************************************************************************************************************************************************

  2. Нет, сложно, не хочу разбираться 257 (41%)

    ***********************************************************************************************************************************************************************************************************************************************************************************************************

  3. Да, использую виртуализацию(qemu, virtualbox, etc) 113 (18%)

    ***********************************************************************************************************************************

  4. Да, запускаю всё в контейнерах(lxc, openvz, etc) 48 (8%)

    *******************************************************

  5. Да, chroot 38 (6%)

    ********************************************

  6. Да, пишу конфиги для AppArmor 19 (3%)

    **********************

  7. Да, Firejail 15 (2%)

    *****************

  8. Да, Bubblewrap 5 (1%)

    *****

Всего голосов: 770, всего проголосовавших: 628

 ,

devalone
()
82 комментария (стр. 2)

proxy_py v2.1 - Сборщик проксей

Форум — Development

Прошло чуть больше 8 месяцев с предыдущего поста(Мой проект по сбору проксей) про мой сборщик проксей и чуть больше 13 с первой реализации, написанной на коленке за вечер. За это время я многое переписал

- теперь он полностью асинхронный(peewee_async вместо SQLAlchemy)

- сильно улучшилась производительность(сейчас на vds'ке за 3 евро 16к проксей)

- появилась документация и гайд по созданию коллекторов https://proxy-py.readthedocs.io/en/latest/

- больше тестов

- несколько новых коллекторов

Поставить звёздочку и сделать пулл реквест можно тут https://github.com/DevAlone/proxy_py

Чтоб потестить, есть докер контейнер:

docker create -p 55555:55555 --name proxy_py proxypy/proxy_py:v2.1
docker start proxy_py

После запуска можно делать запросы к API вот так: 

http POST http://127.0.0.1:55555/api/v1/ model=proxy method=get

Так же есть веб интерфейс:

http://localhost:55555/i/get/proxy/

http://localhost:55555/i/get/proxy_count_item/

http://localhost:55555/i/get/collector_state/

http://localhost:55555/i/get/number_of_proxies_to_process/ (показывает, сколько проксей ждут проверки, зелёный график должен быть около нуля)

За год количество IP адресов, когда либо побывавших в моей программе(т.е. на них работал публичный прокси) - 218013

Планы на будущее(отсортировано по важности):

- peer to peer, чтобы инстансы proxy_py общались между собой и обменивались информацией, при этом нужен показатель доверия одного сервера другому, чем больше доверяем, тем меньше проверяем и список узлов, которым доверяем на 100% для создания своего кластера. Т.к. производительности одной машины уже не хватает. Мб кто-то знает годные либы?

- более удобный API(фильтр по полям, выбор проксей вокруг географической точки, стандартная сортировка должна выдавать не самые быстрые, а достаточно стабильные и при этом быстрые)

- нормальный веб интерфейс(мб на ангуляре)

- больше статистики(для каждого коллектора и каждого прокси)

- клиентская библиотека для питона

 , ,

devalone
()
14 комментариев