Как скачать весь ютюб на диск?

Не могу понять, ты в «у меня 3 диска есть» забыл 3, 4 или 5 ноликов?

Ну например канал (бывший) «мир матизов» имеет смысл держать на диске целиком до тех пор, пока мой матиз существует.

Но кто так видео сможет порезать, чтобы оставить только важное?

Так-то некоторые главы расписывают в описании, так что можно по ним пройтись при желании. Тот же yt-dlp при скачивании умеет их в файл интегрировать.

А если глав нет, то пичаль-бида. :(

исходящий трафик

8*12*5=480

Даже суммарный не получается.

И что это за цифры?

Чтобы как следует задолбаться, а жопогарь была потом самая классная и рафинированная.

У меня в месяц суммарный трафик примерно 8 терабайт.

8 TB в месяц умножить на 12 месяцев и умножить на 5 лет.

цифры

и буквы

У меня в месяц суммарный трафик примерно 8 терабайт.

А у меня гораздо больше, и?

У тебя кэша на цепочку ответов не хватает? Сокращу тогда до двух постов.

У меня одного исходящий трафик за пять последних лет превышает петабайт.

Скорее всего таких товарищей крайне мало.

Так понятнее, или надо еще сокращать?

Давай шепну тебе на ушко волшебную команду:

mpv --ytdl-format "bestvideo[height<=144][fps<=30]+bestaudio" <URL>

(Не забудь поставить mpv и yt-dlp в систему)

На многих видео с минимумом просмотров никаких временных меток нет. Большинству некогда особо заморачиваться раскруткой канала — как-то сняли, что получилось, то и выложили, даже резать/монтировать не стал, а потом совсем забросили канал.

при желании.

Не, там исходно речь шла не про самостоятельную резку скаченого yt-dlp, а про выборочное автоматическое кеширование:

кэшировать весь ютуб вряд ли зачем то нужно. 4к и 8к - выкидываем, пукающих котов выкидываем.

Я и продолжал мысль, что если качать не все видео, то и часть закачиваемых ещё и обрезать, автоматически.

В каком это году у Яндекса хорошо работал поиск? В 2005 году он нифига не видел, допустим, лежит pdf, внутри картики (скан статьи или методички). Гугл в 2005 это распознавал и по введёным словам на русском языке выдавал эту pdf, яндекс даже близко не видел.

Вроде бы он с помощью sponsorblock рекламу резать умеет, но думается мне, что там просто пропуск глав, а не вырезание. Сам я это не пробовал, наверняка утверждать не берусь.

Про часть видео вот такое есть:

https://github.com/yt-dlp/yt-dlp/issues/2220

ИМХО, до etc можно было бы упомянуть адоб флеш, тогда на нём модно было сайтики клепать и Масяню смотреть, заходишь и ждёшь, пока всё прогрузится :)

А про самые упоротые сайты IE-only на ActiveX лучше не вспоминать.

Ох ты ж вспомнил то! :)

У меня хорошо сработал byedpi.

git clone https://github.com/hufrea/byedpi.git
cd byedpi
make
./ciadpi --port 1080 --disorder 1 --fake 0 --ttl 1 -A torst --tlsrec 1+s --debug 1

На локалхосте, либо на любом доступном по SSH хосте (можно локальном).

Далее качаем:

yt-dlp --proxy socks5://127.0.0.1:1080 -f "bestvideo+bestaudio" "https://www.youtube.com/watch?v=C6GDBxQtXuc"

И наслаждаемся нормальной скоростью. У меня лично скачет между 25 и 60 MiB/s. При том, что 60 максимум, доступный на моём тарифе (это 500 мбит/с, соответственно).

Если запустили не на локалхосте, а где-то ещё, вместо 127.0.0.1 пишем, соответственно IP того хоста, где запустили.

В браузере прописываем SOCKS5, IP и порт аналогичные. Рекомендую юзать FoxyProxy, там можно задать конкретно этот proxy конкретно для *.youtube.com и *.googlevideo.com — работает отлично. Для других сайтов, соответственно, можно юзать другие прокси или никаких. Но можно и просто в настройках браузера прописать, будет включено для всего.

Запускать в firejail — можно, работает без доп.плясок (без --net=none, естественно, по понятным причинам).

P.S. Компиляется оно в один бинарник, без зависимостей, можно его таскать по всем серверам, если архитектура совпадает.

Ну, видимо, ещё сокращай, потому что и ежу понятно, что нас таких мало. Это никак не подтверждает идиотский тезис про нанорунет меньше петабайта.

Это маргинальщина какая-то

Он просто выкачал в 2002 году весь рунет и проиндексировал.

Если он что и выкачал, то все html-старинцы, а не весь рунет. Любой жалкий сайтик, на котором пара-тройка тысяч фильмов объёмом 700 МБ каждый (да, в 2002 году в таком говнокачестве смотрели и не ворчали) весит больше терабайта.

Хотя учитывая, как он искал в 2002, он явно даже html не весь выкачал. Тогда даже Rambler искал лучше по рунету. Яндекс уже позже вперёд вырвался.

«Все видео на одном диске без смс и регистрации», https://ibb.co/gPfphRC.

У кого проблемы из-за отключенного ipv6, добавьте ещё: --conn-ip 0.0.0.0 к команде запуска.

Если 2028 написать, даже реалистично будет. Только не контент, а приложение. Оно уже сотни метров весит (вроде? не могу проверить). Через несколько лет наверняка и до 700 разжиреет.

Согласен свобода какая-то не свободная, если кто-то у тебя что-то забрал.

атк а ниче что файлы повторялись на разных ресурсах?

У меня хорошо сработал byedpi.

Если еще остались поклонники просмотра через mpv, то нужен еще socks-to-http-proxy в добавок к byedpi. Строка mpv --http-proxy='http://127.0.0.1:8080'.

Да, выглядит страшненько, как «масло масляное», но как по другому, не знаю.

Ну повторялись и повторялись, что с того

Через mpv и/или smplayer не играет, не могу понять причину. Отдельно качает отлично, через браузер работает хорошо, а через плеера нет.

$ mpv https://youtu.be/Mw1MWfilz_k
[ffmpeg] tls: Error in the pull function.
<...>
No video or audio streams selected.

mpv.conf:

script-opts=ytdl_hook-try_ytdl_first=yes
ytdl-format=ytdl

yt-dlp.conf:

--proxy socks5://127.0.0.1:1080
--format 300/311+234/298+140/22/95/232+234/136+140/94/231+234/135+140/18/93/230+234/134+140/92/229+234/133+140/91/269+234/160+140/597+140

Через mpv

Как скачать весь ютюб на диск? (комментарий)

Ого, вона чё. Спасибо! Однако это уже слишком, обойдусь 😁

Как думаешь, ipv6 надо вернуть, вроде некоторые говорят, что шустрее работает ютуп?

Хз, попробуй, попытка не пытка.

Чёт начал пробовать, а потом заглянул в роутер, включил ipv6, перегрузил роутер и понял, что провайдер (билайн) мне не выдаёт ipv6, на этом вопрос видимо закрыт.

git clone https://github.com/hufrea/byedpi.git cd byedpi make ./ciadpi --port 1080 --disorder 1 --fake 0 --ttl 1 -A torst --tlsrec 1+s --debug 1

На локалхосте, либо на любом доступном по SSH хосте (можно локальном).

Далее качаем:

yt-dlp --proxy socks5://127.0.0.1:1080 -f «bestvideo+bestaudio» "https://www.youtube.com/watch?v=C6GDBxQtXuc"

у меня не работает.

[youtube] Extracting URL: https://youtu.be/uFwFGmdldnM
[youtube] uFwFGmdldnM: Downloading webpage
WARNING: [youtube] Unable to download webpage: The read operation timed out
[youtube] uFwFGmdldnM: Downloading ios player API JSON
WARNING: [youtube] Remote end closed connection without response. Retrying (1/3)...
[youtube] uFwFGmdldnM: Downloading ios player API JSON
WARNING: [youtube] The read operation timed out. Retrying (2/3)...
[youtube] uFwFGmdldnM: Downloading ios player API JSON
[youtube] uFwFGmdldnM: Downloading iframe API JS
[youtube] uFwFGmdldnM: Downloading player 28fd7348
WARNING: [youtube] Download of https://www.youtube.com/s/player/28fd7348/player_ias.vflset/en_US/base.js failed: The read operation timed out
[youtube] uFwFGmdldnM: Downloading tv player API JSON
WARNING: [youtube] uFwFGmdldnM: nsig extraction failed: Some formats may be missing
         Install PhantomJS to workaround the issue. Please download it from https://phantomjs.org/download.html
         n = Fol2If_Mh6Db1LWo45Ry ; player = https://www.youtube.com/s/player/28fd7348/player_ias.vflset/en_US/base.js
WARNING: [youtube] uFwFGmdldnM: nsig extraction failed: Some formats may be missing
         Install PhantomJS to workaround the issue. Please download it from https://phantomjs.org/download.html
         n = mrVzUtQJS0IXjRJ9GUlX ; player = https://www.youtube.com/s/player/28fd7348/player_ias.vflset/en_US/base.js
[youtube] uFwFGmdldnM: Downloading m3u8 information
WARNING: [youtube] Failed to download m3u8 information: _ssl.c:990: The handshake operation timed out
[youtube] uFwFGmdldnM: Downloading initial data API JSON
WARNING: [youtube] [SSL: UNEXPECTED_EOF_WHILE_READING] EOF occurred in violation of protocol (_ssl.c:1007). Retrying (1/3)...
[youtube] uFwFGmdldnM: Downloading initial data API JSON
WARNING: [youtube] The read operation timed out. Retrying (2/3)...
[youtube] uFwFGmdldnM: Downloading initial data API JSON
[info] uFwFGmdldnM: Downloading 1 format(s): 299+251
[download] Got error: _ssl.c:990: The handshake operation timed out. Retrying (1/999)...
Sleeping 0.50 seconds ...
[download] Got error: _ssl.c:990: The handshake operation timed out. Retrying (2/999)...
Sleeping 0.50 seconds ...
[download] Got error: _ssl.c:990: The handshake operation timed out. Retrying (3/999)...
Sleeping 0.50 seconds ...
[download] Got error: _ssl.c:990: The handshake operation timed out. Retrying (4/999)...
Sleeping 0.50 seconds ...
[download] Got error: _ssl.c:990: The handshake operation timed out. Retrying (5/999)...
Sleeping 0.50 seconds ...

ERROR: Interrupted by user

accept: fd=5
new conn: fd=6, addr=64.233.165.198:443
host: www.youtube.com (127)
split: pos=0-1 (1), m: DESYNC_DISORDER
send: pos=1-517
close: fds=5,6
accept: fd=5
new conn: fd=6, addr=64.233.165.198:443
host: www.youtube.com (127)
split: pos=0-1 (1), m: DESYNC_DISORDER
send: pos=1-517
close: fds=6,5
accept: fd=5
new conn: fd=6, addr=64.233.165.198:443
host: www.youtube.com (127)
split: pos=0-1 (1), m: DESYNC_DISORDER
send: pos=1-517
close: fds=5,6
accept: fd=5
new conn: fd=6, addr=64.233.165.198:443
host: www.youtube.com (127)
split: pos=0-1 (1), m: DESYNC_DISORDER
send: pos=1-517
close: fds=6,5
accept: fd=5
new conn: fd=6, addr=64.233.165.198:443
host: www.youtube.com (127)
split: pos=0-1 (1), m: DESYNC_DISORDER
send: pos=1-517
close: fds=6,5
accept: fd=5
new conn: fd=6, addr=64.233.165.198:443
host: www.youtube.com (127)
split: pos=0-1 (1), m: DESYNC_DISORDER
send: pos=1-517
close: fds=5,6
accept: fd=5
new conn: fd=6, addr=64.233.165.198:443
host: www.youtube.com (127)
split: pos=0-1 (1), m: DESYNC_DISORDER
send: pos=1-517
close: fds=6,5
accept: fd=5
new conn: fd=6, addr=64.233.161.93:443
host: manifest.googlevideo.com (127)
split: pos=0-1 (1), m: DESYNC_DISORDER
send: pos=1-517
close: fds=5,6
accept: fd=5
new conn: fd=6, addr=64.233.165.198:443
host: www.youtube.com (127)
split: pos=0-1 (1), m: DESYNC_DISORDER
send: pos=1-517
recv: Connection reset by peer
close: fds=6,5
accept: fd=5
new conn: fd=6, addr=64.233.165.198:443
host: www.youtube.com (127)
split: pos=0-1 (1), m: DESYNC_DISORDER
send: pos=1-517
close: fds=5,6
accept: fd=5
new conn: fd=6, addr=64.233.165.198:443
host: www.youtube.com (127)
split: pos=0-1 (1), m: DESYNC_DISORDER
send: pos=1-517
close: fds=6,5
accept: fd=5
new conn: fd=6, addr=173.194.163.224:443
host: rr14---sn-n8v7kn7l.googlevideo.com (127)
split: pos=0-1 (1), m: DESYNC_DISORDER
send: pos=1-517
close: fds=5,6
accept: fd=5
new conn: fd=6, addr=173.194.163.224:443
host: rr14---sn-n8v7kn7l.googlevideo.com (127)
split: pos=0-1 (1), m: DESYNC_DISORDER
send: pos=1-517
close: fds=5,6
accept: fd=5
new conn: fd=6, addr=173.194.163.224:443
host: rr14---sn-n8v7kn7l.googlevideo.com (127)
split: pos=0-1 (1), m: DESYNC_DISORDER
send: pos=1-517
close: fds=5,6
accept: fd=5
new conn: fd=6, addr=173.194.163.224:443
host: rr14---sn-n8v7kn7l.googlevideo.com (127)
split: pos=0-1 (1), m: DESYNC_DISORDER
send: pos=1-517
close: fds=5,6
accept: fd=5
new conn: fd=6, addr=173.194.163.224:443
host: rr14---sn-n8v7kn7l.googlevideo.com (127)
split: pos=0-1 (1), m: DESYNC_DISORDER
send: pos=1-517
close: fds=5,6
accept: fd=5
new conn: fd=6, addr=173.194.163.224:443
host: rr14---sn-n8v7kn7l.googlevideo.com (127)
split: pos=0-1 (1), m: DESYNC_DISORDER
send: pos=1-517
close: fds=5,6
exit

у меня не работает.

Попробуй запустить в каком-нибудь популярном дистре (LiveCD). Чтоб наверняка знать, что все твои проблемы дистрозависимы от CRUX. Или нет.

Готовый бинарник возьми с release, чтоб не тратить время на make.

WARNING: [youtube] uFwFGmdldnM: nsig extraction failed: Some formats may be missing

Не должно быть такой ошибки, если обновлен yt-dlp.

вот что в выводе ciadpi:

Хотя, по логу видно, что byedpi отработал без ошибок. На мой взгляд.

В браузере прописываем SOCKS5, IP и порт аналогичные. Рекомендую юзать FoxyProxy, там можно задать конкретно этот proxy конкретно для *.youtube.com и *.googlevideo.com — работает отлично. Для других сайтов, соответственно, можно юзать другие прокси или никаких. Но можно и просто в настройках браузера прописать, будет включено для всего.

Такой вопрос. А это очень надо делать (а то мне понравилось, что шустрее стал вообще гугл работать и на прочие закрытые сайты можно ходить), это чем-то грозит? Какие-то баны, проблемы с провайдером?

блин. byedpi у меня работает! просто не в ту строку в фф прописывал, надо в Узел SOCKS, а я в HTTP прокси прописывал.
а yt-dlp не работал из-за net.ipv4.tcp_sack = 0 в /etc/sysctl.conf. где-то на просторах интернета нашёл совет добавить её для тюнинга. убрал её.

FoxyProxy

установил. как там отключить прокси, который идёт подефолту изкоробки? чтоб можно было использовать только byedpi? проверил, там даже без добавления своего byedpi rutracker открывается.

Ничем не грозит, просто сайты которые совсем заблокированы, так работать не будут, и имеет смысл для них задать другой прокси (хотя бы тот же Тор). Ну и пинг чуть-чуть ухудшает — не особо заметно, но всё же лишнее.

Да там вроде просто, вкладка proxies, и добавляй себе разные… Я не помню, чтобы там из коробки что-то уже было, но это могло измениться с того момента, как я первый раз ставил. Я им уже лет эдак 12 пользуюсь

Ну и пинг чуть-чуть ухудшает — не особо заметно, но всё же лишнее.

Как бы дозвон до сайта? Вроде есть такое незначительно, но в целом гугл бодрее мне показался и исчезли эти, эээ…, как будто никак не догрузится сайт.

имеет смысл для них задать другой прокси (хотя бы тот же Тор)

Что за тема?

а, нет. это просто почему-то у меня пропала блокировка rutracker'a и кинозала. открываются без обходов блокировки, всё отключил, на всякий случай перезагрузился — всё равно открываются. а rutor не открывается.

а через FoxyProxy что-то у меня не работает прокси. добавил, прописал адрес, порт. rutor не открывается. через настройки фф byedpi работает, и там есть список исключений для сайтов. так что FoxyProxy мне не нужен.

byedpi не позволяет обходить блокировки по IP или домену. Только по DPI которые, как с ютубом. Для доступа на рутор надо обзавестись прокси или VPN в другой стране, ну или Tor (тоже прокси, но с фишкой).

не знаю, у меня rutor открывается с byedpi. без него нет.

Ну видимо у тебя провайдер банит рутор таким способом. У меня вроде по IP. А там чёрт их знает

Если использовать SpoofDPI, то socks-to-http-proxy получается не нужен, оно как раз использует http://127.0.0.1:8080. Впрочем ничего кроме простых файлов (не стримы и не лайвы, и я только mp4 разрешаю) показывать smplayer не смог, да и то через раз и иногда надо долго ждать, короче — фигня. Может можно как-то тоньше настроить, не знаю.

Можно еще через proxychains, (помимо socks-to-http-proxy, что я упоминал). Писал об этом GUI для yt-dlp (комментарий).

Byedpi должен быть запущен, proxychains.conf поправлен (порт сменить у socks5).

И как результат? Как быстро стартует, как перемотка?