Что под Linux сегодня лучше всего подходит для ненапряжной раздачи 100 тыс. торрентов?

Дичковая подсистема то потянет хоть одну сотую?

Сейчас раздаю с домашнего сервера. Transmission на общие, 1800 раздач, 10к файлов, почти не грузит проц, только когда идет мощный качъ. Deluge в порядке эксперимента для музыки, 3000 раздач, 105к файлов, насилует проц даже без активности.

У Transmission захардкожен лимит в 1024 открытых файлов, я на него нарвался таки :) Но зато это единственный клиент, который держит 5+ тысяч раздач, остальное или помирает или гуй становится неюзабельным.

С точки зрения автоматизации не сравнивал, но Deluge более фичастый. Буду благодарен, если поделитесь примерами скриптов.

Delege у меня в отличии от transmission не тормозил при овер 200 _активных_ торрентах(сколько всего раздаваемых файлов было - хз). Но только система становилась менее юзабельна. Такое то i/o. Так что с тех пор я более 10 не раздаю одновременно.

Дичковая подсистема то потянет хоть одну сотую?

Там мелочь. По сути, в первую очередь, это резервирование YouTube-роликов. А то их постоянно удаляют...

Хотя, если торрент-трекер потянет сотни тысяч файлов, можно картинки и аттачи магнет-ссылками отдавать, продублировать ipfs на всякий пожарный.

Deluge в порядке эксперимента для музыки, 3000 раздач, 105к файлов, насилует проц даже без активности.

Вот я в своё время из-за этого с rtorrent на transmission ушёл. У него IO трансфер был иногда на порядок (буквально) выше, чем суммарный трансфер закачек и раздач.

У Transmission захардкожен лимит в 1024 открытых файлов

Ну, тут я, наверное, не наткнуть на ограничение. Всё же, не фильмы раздавать :)

В общем, похоже, придётся экспериментировать с разными вариантами.

Буду благодарен, если поделитесь примерами скриптов.

Там много чего будет наворочено. Задача — при размещении ссылки на YouTube на форуме в фоновой задаче скачать видеоролик, опубликовать торрент (и, по возможности, в других p2p-сетях — но это можно уже третьей задачей реализовать, републикацией), собрать коллективный magnet-link и дописать его на форум. Типа, если когда-то ролик на YouTube грохнут, можно будет скачать (или даже прямо смотреть через тот же webtorrent) уже с p2p.

Ну и с фотками думаю аналогичное решение, только там сохранение буду делать в ipfs, а в других p2p — резервирование.

rtorrent

directory="~/media/torrents/incomplete/"
watch_directory сделай ~/media/torrents/incomplete/ и будет смотреть торренты в том же каталоге, где и будут лежать скачанные файлы

Каталог не один. Тысячи :)

Тогда брать какую-то либу для torrent или p2p и пилить скрипт, который будет делать необходимое самому. Так и только так

100 тыс. торрентов
Файлов много, под 100 тыс.

Так файлов или раздач?

Один файл = одна раздача

у deluge был API замечательный на python ( учитывая что он написан на python фактически ). Т е можно прямо из python кода управлять deluge. Так что если хочешь что-то автоматизировать можешь написать свой код на python чем шаманить с bash скриптами.

я на этом API в свое время писал систему для копирования файлов на сервера через torrent протокол. Там через узкий канал 300мбит файл распространялся на несколько серверов сразу, между которыми был канал 1гбит. Так файл практически сразу окзывался на всех серверах.

Transmission

Я бы в первую очередь тестил rtorrent. Там правда одно место для .torrent файлов. Но их и скопировать можно, не страшно.

Отпиши как найдешь решение.

Круто! Этот форум (или конкретный плагин) - это продукт, или один сайт?

Каталог не один. Тысячи :)

inotify + скрипт добавления

при размещении ссылки на YouTube на форуме в фоновой задаче скачать видеоролик, опубликовать торрент (и, по возможности, в других p2p-сетях — но это можно уже третьей задачей реализовать, републикацией), собрать коллективный magnet-link и дописать его на форум.

Может в сторону webtorrent посмотришь?

Этот форум (или конкретный плагин) - это продукт, или один сайт?

Это исследования в рамках распределённой социальной системы:

https://github.com/Balancer/infonesy

Планирую делать обвязку в виде плагинов/патчей под популярные готовые движки, но пока точно планируется делать только под MyBB. Под вопросом — FluxBB/Vanilla/Flarum.

Кстати оффтоп, а какие сейчас хорошие оверкакерские кулеры по соотношению выкачиваемое_тепло/цена, если шум и тд не волнуют. Вроде читал предложения брать какой-то пассивный и ставить вентиляторы.

С нашим курсом сейчас всё фигово.

Zalman CNPS10X Performa+
Deepcool GAMMAXX 400
Thermalright Macho Rev.B
Thermalright TRUE Spirit 140

Я бы в первую очередь тестил rtorrent

При добавлении нескольких торрентов по 1000 файлов и любых последующих действиях с этими торрентами подвисал. Старт с ними - отдельная песня. Подозреваю, что на 100k файлах он вообще помрёт.

Плюс у rtorrent, в отличие от deluge, нет кэша, все операции пойдут через общий кэш ОСи.

У transmission, в отличие от rtorrent и deluge, почти нет возможности разбить раздачи на группы

С другой стороны, rtorrent может повисеть 5 минут и прийти в норму, а deluge при выходе иногда виснет намертво

Там правда одно место для .torrent файлов

Нет, можно добавить любое число каталогов для мониторинга и загрузки

лучше так:

schedule = watch_directory_1,30,30,"load_start=/mnt/library/.torrent/Музыка/_rtorrent_new_unsorted/*.torrent,d.set_directory=/mnt/library/Музыка/_new_unsorted/"
schedule = watch_directory_2,30,30,"load_start=/mnt/library/.torrent/Видео/_rtorrent_new_unsorted/*.torrent,d.set_directory=/mnt/library/Видео/_new_unsorted/"
schedule = watch_directory_3,30,30,"load_start=/mnt/library/.torrent/Музыка/_rtorrent_new_авторские/*.torrent,d.set_directory=/mnt/library/Музыка/_new_авторские/"
schedule = watch_directory_4,30,30,"load_start=/mnt/library/.torrent/Литература/_rtorrent_new_unsorted/*.torrent,d.set_directory=/mnt/library/Литература/_new_unsorted/"