LINUX.ORG.RU
Форум — Talks  

Улучшаем изображения и видео с помощью нейросетей [увеличение, очистка артефактов сжатия, 60 FPS]


4

2

(!) Во-первых, если вы хотите сразу, ни в чем не разбираясь, просто сходу нажать пару кнопок и получить результат, то вам нужна графическая программа, которая написана только под Windows -
Waifu2x-Extension-GUI: https://github.com/AaronFeng753/Waifu2x-Extension-GUI/releases
Она уже содержит все необходимое, и позволяет в полностью автоматическом режиме разбить видео на кадры, улучшить их с помощью одной нейросети, увеличить плавность (60 FPS) в другой, и собрать итоговое видео в пару кликов.
Пример такой конверсии: https://www.youtube.com/watch?v=qGk4E9ss95s
Оригинал видео: https://www.youtube.com/watch?v=ht39JUr5wm8

Свободные Vulcan-реализации нейросетей представлены 是 nihui !

Нейросети для улучшения фотографий

Topaz Gigapixel AI - Лучшая нейросеть для улучшения фотографий, дает самое четкое и детальное изображение. Только для Windows и macOS. Может работать как плагин для Photoshop. Встречайте на всех файлопомойках страны.

realsr-ncnn-vulcan - Лучшая-свободная нейросеть для улучшения фотографий, победитель конкурса 2020 года среди собратьев. Скачать: https://github.com/nihui/realsr-ncnn-vulkan


Нейросети для улучшения рисунков

Topaz Gigapixel AI - Также является лучшей и для улучшения рисунков, дает самое четкое и детальное изображение. Только для Windows и macOS. Может работать как плагин для Photoshop. Встречайте на всех файлопомойках страны.

waifu2x-ncnn-vulcan - Лучшая-свободная нейросеть для улучшения рисунков, значительно опережает по качеству всех своих собратьев. Скачать: https://github.com/nihui/waifu2x-ncnn-vulkan


Нейросети для улучшения видео
В принципе, для улучшения видео, будь то фильм или мультфильм, можно использовать любую нейросеть, разложив на кадры и применив наиболее подходящую по типу контента. Но существует нейросеть, обученная на видео-материале и дающая лучшие результаты:

Topaz Video Enhance AI - Дает более лучший результат на видео-материале, чем нейросети, обученные на статике. Подходит как для фильмов, так и мультфильмов. Только для Windows и macOS. Встречайте на всех файлопомойках страны.


Нейросети для увеличения плавности видео (60 FPS)

rife-ncnn-vulkan - Лучшая нейросеть для увеличения плавности видео. На голову опережает всех, как по качеству, так и по скорости. Скачать: https://github.com/nihui/rife-ncnn-vulkan


Обзоры и примеры

Обзор RealSR - https://linuxreviews.org/RealSR
Обзор Waifu2x - https://linuxreviews.org/Waifu2x

480p видео, улучшенное при помощи Topaz Gigapixel AI - https://www.youtube.com/watch?v=b-U8CA1yF4U
(Topaz Video Enhance AI даст еще более лучший результат, при использовании модели Gaia-HQ)

Плейлист видео с увеличенной плавностью (60 FPS) - https://www.youtube.com/playlist?list=PLbZqiWS25MmQAJSuE4MbsvzriRfew_kNQ

★★

Последнее исправление: Moderators (всего исправлений: 2)
← Как быстро работать с OSM данными?
Sennheiser - для глухих →

Ответ на: комментарий от i-rinat

Мне больше интересно, сколько людей придет на ЛОР. Но Макс формочку «У нас нашли» не предоставляет.

Moderators ★★
() автор топика

Ох, на голову...

Разницы с Splash Player нету

TooPar ☆
()

аналоговый том и джери запортился. выглядит бездушно будто на макромедия флеше в нулевых делали, как масяню и прочие флеш-мульты.

n_play ☆
()
Ответ на: комментарий от n_play

Бери самый лучший мультфильм за всю историю и на нём проверяй.

fornlr ★★★★★
()
Ответ на: комментарий от n_play

Но ведь в нулевых на макромедиа флэше и шоквейве делали очень даже с душой.

token_polyak ★★★★★
()

Это всё здорово и замечательно а теперь усложняем…

Как насчёт без вулканов, cuda а исключительно на opencl, CPU? Да и обёрнутое в docker было бы просто изумительно.

init_6 ★★★★★
()

Любой ИИ апскеилинг подходит только для простого рисованного 2д
Анимация 60 фпс смотрится стремно

Ros ★★★★
()

А можно уже там десять линий нарисовать, типа собачка 🐕, а ИИ всё остальное дорисует?

fornlr ★★★★★
()

rife-ncnn-vulkan - Лучшая нейросеть для увеличения плавности видео. На голову опережает всех, как по качеству, так и по скорости. Скачать: https://github.com/nihui/rife-ncnn-vulkan

Мыло какое-то. И повышает количество кадров только в два раза. Но быстрое — да. Однако, SVP работает в реалтайме и делает это +- неплохо. Давайте сравним их:

https://i.imgur.com/TDiKA3K.png

Сложная сцена в мультике: слева svp (240 fps), справа rife-ncnn-vulkan (48 fps). Да, у svp немного грубовато и призрачно, зато не такое мыло как у rife-ncnn-vulkan. И, что для меня важнее всего, с svp я получаю свои 240 Гц. Победил SVP.

Пробовал dain-ncnn-vulkan в 240fps 1080p. Мало того, что на моей видеокарте оно полгода мультфильм будет рендерить (1660Ti без всяких обрезок по мощности, несмотря на ноутбучное исполнение), так ещё и ужасно артефачит. На сценах, где объекты движутся медленно — всё отлично (тут уже svp сливает из-за волнообразных артефактов на границах объектов), а вот на такой динамике, как на скриншоте выше — ужас-ужас.

В общем, игрушки это всё. Пока я не видел ничего, что было бы лучше и удобнее чем svp.

А апскейл ненужно.

Slavik763 ★
()
Ответ на: комментарий от Slavik763

Ты написал это для незрячих. Твои пояснения им не к чему, как и сами программы, а зрячие и сами все прекрасно увидят.
Может быть ты хочешь навязать кому-то свою точку зрения, тут я развожу руками.

Moderators ★★
() автор топика
Ответ на: комментарий от Moderators

Ты написал это для незрячих.

Незрячим не нужны эти улучшайзеры.

зрячие и сами все прекрасно увидят

Комповые железки тоже вслепую покупаешь? Обзоры не нужны, ага. Как минимум мой пост позволит кому-то понять стоит ли тратить время на эти пукалки или нет. Я провёл небольшие эксперименты и вывел результат. Считать мнение какого-то левого чувака (меня) навязыванием — слишком большая честь, спасибо =)

Может быть ты хочешь навязать кому-то свою точку зрения, тут я развожу руками.

И мысли не было, просто поделился своими наблюдениями и мнением обо всём этом. Всё субъективно. Тред есть, почему бы не поделиться и обсудить тогда?

Slavik763 ★
()
Ответ на: комментарий от Slavik763

Спасибо за обзор.
Но мог дать только картинку, она дает исчерпывающую информацию.
Комментарии, а тем более обзоры, в таких случаях не нужны.

Moderators ★★
() автор топика

Улучшить видео и изображения нельзя, это всё обман и провокация

/thread

Harald ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
← Как быстро работать с OSM данными?
Talks
Sennheiser - для глухих →