Фикс yt-dlp dzen.ru который сломался 2024-04-10

Вот сайтов-то поддерживаемых заявлено немерено, 1801 позиция. И благодаря усилиям разрабов yt-dlp, как-бы и железо мощное не нужно, да и жирный браузер под вопросом, хватило бы и netsurf, ) перетаскивай, знай, ссылки в открытый mpv.

Но вот постоянно что-то отваливается, то один сайт, то другой. И за всем этим зоопарком глаз да глаз нужен.

p.s. Только ютуб более-менее оперативно отслеживается и правится, а остальные…

Отправить им патч не могу - они всё принимают только через гитхаб а я там региться не собираюсь.

Там какой-то PR на эту тему уже два года висит… https://github.com/yt-dlp/yt-dlp/pull/5523

А если не секрет, что такого, стоящего просмотра или сохранения, есть на dzen.ru, чего нет на youtube или хотя бы на каких-то других площадках?

Речь не о том, где лучше смотреть видео, а о большем выборе. Когда набираешь «Винни Пух» в яндексе, переключаешься на вкладку «видео» и у тебя огромнейший выбор, где не только ютуб, рутуб, вк и т.д., но и дзен.

уже два года висит

Последний коммит на yandexvideo.py 5 месяцев назад (связан с дзен), и до 2024-03-10 все работало, как утверждает ТС.

Понятно, что иметь выбор лучше, чем не иметь. Но я бы, например, ради этого не стал ничего патчить, а просто забрал то же самое видео с ютуба. Стал бы я патчить ради какого-то уникального(?) контента, который нельзя взять с ютуба или с другой платформы, с которой yt-dlp «просто работает». Вот и интересуюсь у ТС, такая же причина или нет, и если такая, то что это за контент — вдруг мне оно тоже интересно, а я и не знаю, что оно есть

До 2024-04-10 то есть позавчера точно работало и вчера вроде бы тоже но уже не уверен. Это я опечатался в названии темы.

Я не пытался искать найденные на дзене видео в других местах. Наверно, какая-то их доля, может даже больше половины, и правда продублирована на ютубе, но если ссылка на дзен у меня уже есть то зачем искать другую? В техническом плане он работает хорошо - отдача статики не лагает итд. Ну а какая-то доля точно есть которой больше нигде нет.

Речь в основном про частные съёмки. Если говорить про всякие медиаматериалы типа фильмов/музыки то да, они в первую очередь находятся на ютубе.

Ну а какая-то доля точно есть которой больше нигде нет

Примеры бы такого. Из стоящего, я имею в виду. Я из такого видел там только дублирование ютуб-каналов, да и всё… Понятно, что уникальное там есть, вопрос в том, есть ли уникальное помимо треша вроде каких-то колхозных рецептов, «я приварил подшипник к гаечному ключу, теперь все завидуют» и «как отмыть какашки с помощью соды, уксуса и такой-то матери»…

Спасибо, от души!

yt-dlp это питонячий пакет. можно просто свой пакет создать

Патч нормас, продолжаем парсить хтмл регулярками.

Только ютуб более-менее оперативно отслеживается и правится, а остальные…

А остальным дороже бороться чем платить за канал. Смешно, что например ты или опчик не понимаете, что чем больше смотрят Ютуб в обход, тем больше он закрутит гайки, тем сложнее вам будет его обходить и так дальше.

Глупые люди просто не понимают, откуда берутся деньги и кто платит за то что они смотрят дзены и ютуб.

вот так вот, ТС

firkax, а пропатчите https://www.linux.org.ru/tag/youtube-dl под YouTube? :-)

А что не так у youtube-dl с ютубом? Хоть релиз у него и заморожен, но коммиты все же исправно пишутся.

Клонируй гит, и собери с make.

Я тут шуршу как раз про парсинг хтмл-ей и xml-ей и с ужасом наблюдаю что там внутри часто регулярки. Больше всего меня порадовал «браузер» NetSurf (мне всего-то интересно найти как браузеры нынче внутри обрабатывают вложенные друг в друга надстрочные и подстрочные индексы ака теги  и , потому что у меня идеи лучше чем оставить DOM и работать с ним честно говоря нет, т.к. последовательность вложений важна, а значит её надо хранить), так вот, там я нашел внутри интереснейший пакет называется HTML-Parser, там просто изумительные регулярки на перловке и сишке. Ладно links2 внутри говнокод-говнокодом, там понятно в одно рыло пишется чтоб в консольке мог гугл открыть. ХЗ, думаю может уже в tex-овские сорцы заглядывать пора? Мне всего-то надо формулы уметь рисовать из xml-я, а перегонять в html и рисовать через вебвью/браузер уже как-то оверкилом ощущаю.

Ну всё-таки одно дело прога общего назначения для обработки текста (браузер именно такая), а другое - где надо распарсить вывод строго конкретной штуки. Во втором случае я обычно даже не регулярки использую а побайтовый строковый поиск сигнатур - это самый лёгкий, в плане затрат проца, вариант.

А к чему прицепился аноним я не знаю, патч вообще про извлечение данных из json-а (у которого поменялась структура) и там честный json-парсер с деревом как был так и остался. Регулярки там рядом есть в коде который не ломался и не менялся.

Примеры бы такого. Из стоящего, я имею в виду.

Бывает личное видео из каких нибудь тур поездок автомобильных. Вот недавно смотрел там такое видео из поездки по русскому северу. Мне это интересно, т.к. сам планирую такую поездку. А то что оно продублировано на ютубе - очень сомневаюсь. И таких видео думаю довольно много.

Опубликовано решение, но пока не принято, https://github.com/yt-dlp/yt-dlp/pull/9813/files.

Проверил, у меня работает.

В том фиксе забор поля duration не починили. Хотя может быть оно и не используется вообще и было и раньше сломано.

Опубликовано решение, но пока не принято

Принято. Но чтоб не ждать до следующего релиза, с некоторых пор, можно простым способом обновляться до последних комитов. Переключившись на определенный канал master/nightly (дефолт stable).

$ sudo yt-dlp --update-to master

Current version: stable@2024.04.09 from yt-dlp/yt-dlp
Latest version: master@2024.05.11.215834 from yt-dlp/yt-dlp-master-builds
Current Build Hash: 7f12092fb95ffa2c8947c855298c94c612c9c0e969e132d7eca5502981955c99
Updating to master@2024.05.11.215834 from yt-dlp/yt-dlp-master-builds ...
Updated yt-dlp to master@2024.05.11.215834 from yt-dlp/yt-dlp-master-builds

Правда, зависит от способа установки yt-dlp. У меня просто закинут бинарник в /usr/local/bin/. )
С установленным с реп дистров, такое не прокатит, наверно.

спрошу здесь:
что за хостинг видосов «abc»? у меня бывает при попытке скачать видео с некоторых сайтов ругается, что не находит соответствующий модуль. вот думаю, включить ли его в whitelist. у меня просто при сборке yt-dlp кастомно собирается с только разрешёнными сайтами из whitelist. просто зачем мне, например, скрипты yt-dlp для скачивания гей порно.

Выборочную сборку кусков кода в zip зачем-то сделал, а посмотреть внутрь этого самого кода не подумал? Там ж написаны урлы везде, abc.net.au австралийский новостной сайт.

Эт самое, тут ещё не ныли - а что написать для ИИ, посоветуйте? Ну вот это и написать. Дуру, которая будет разбирать любой видеохостинг сама с целью файл вытащить

abc.net.au

abc.com ## Американская радиовещательная компания
Причем, в «Supported sites» не вижу, но в коде есть упоминание URL.

Конечно не видишь abc.com, потому что abc это abc.net.au

https://github.com/yt-dlp/yt-dlp/blob/master/supportedsites.md

всё на месте.

А с сайта abc.com качает модуль «go» т.к. у них видео в abc.go.com - это совсем другое.

firkax, у тебя все еще работает дзен? Или только у меня опять отвалился, причем давно уже.
Раз уж тут такую утилиту наваяли, Видео искалка - reptube, то хотелось бы опять реанимировать его, чтоб mpv ‘переваривал’.

На гитхаб не хочу писать, что-то смутные подозрения, что запрос задвинут, как и с «Платформа» было.

Да, я тож вчера хотел что-то скачать а он сломан. Мелким фиксом как в тот раз кажется не обойтись, там формат веб-страницы сильно поменялся. И там регулярки эти а я в них только методом тыка разбираюсь, вобщем всё печально(

Хотя может и попробую.

что запрос задвинут, как и с «Платформа» было.

Не думаю что задвинут, всё-таки дзен популярный сайт в отличие от. Мне кажется политика там ни при чём.

Похоже уже заявлен баг, как у меня, неделю назад, ZenYandex: Unable to extract ‘metadata’ #11385.

Фикс dzen.ru

$ cat /etc/hosts
127.0.0.1 dzen.ru

Хм, кажется я примерно понял как исправить, они там всё переименовали но внутренний урл который можно сунуть в mpv я уже нашёл.

Ты не первый, кто на ЛОРе кривит губу на площадки типа дзена, рутуба, вк, и т.д. Но, как я уже говорил, совсем не обязательно прям заходить на эти сайты, чтоб смотреть видео, достаточно перетащить ссылку на плеер.

Главное, чтоб где-то был агрегатор всех этих ссылок и не пришлось самому лазить по эти сайтам. )

Всё, сделал патч, только наверно лучше в новой теме его выложу иначе мало кто заметит.