KI Forum



Neue NVIDIA KI skaliert Videos in Echtzeit im Browser von 1080p nach 4K



Alles rund um KIs (DeepLearning), Algorithmen für spezielle Effekte, zur Generierung von Bildern und Videos und mehr
Antworten
slashCAM
Administrator
Administrator
Beiträge: 11264

Neue NVIDIA KI skaliert Videos in Echtzeit im Browser von 1080p nach 4K

Beitrag von slashCAM »


NVIDIA hat auf der CES 2023 seine neue RTX Video Super Resolution Technologie vorgestellt, mit deren Hilfe Besitzer von GeForce-Grafikkarten der Serien RTX 4000 und 3000 ...
Bild
Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
Neue NVIDIA KI skaliert Videos in Echtzeit im Browser von 1080p nach 4K



medienonkel
Beiträge: 740

Re: Neue NVIDIA KI skaliert Videos in Echtzeit im Browser von 1080p nach 4K

Beitrag von medienonkel »

Dann ist also die von vielen namhaften Monitor/TV Herstellern beworbene "AI Engine XY" zu Bildverbesserung und eben Skalierung primitiv und taugt nix.

Aber wenn Nvidia mit so einer Technik daherkommt soll alles sehr viel besser sein?

Glaube ich erst, wenn ich's sehe.



andieymi
Beiträge: 1597

Re: Neue NVIDIA KI skaliert Videos in Echtzeit im Browser von 1080p nach 4K

Beitrag von andieymi »

medienonkel hat geschrieben: Sa 07 Jan, 2023 08:22 Dann ist also die von vielen namhaften Monitor/TV Herstellern beworbene "AI Engine XY" zu Bildverbesserung und eben Skalierung primitiv und taugt nix.

Aber wenn Nvidia mit so einer Technik daherkommt soll alles sehr viel besser sein?
Der Vergleich hinkt, weil das in etwa so wäre, als könnte der TV dann das native 4K Bild nur in 12-16 fps wiedergeben. Da schaut man dann unter Umständen doch lieber den flüssigen FullHD Stream. Du gehst davon aus, dass da 1080p Content standardmäßig daherkommt, was aber nicht der Fall ist. Die Auflösung von Spielen ist nun einmal individuell wählbar, die Rechenleistung allerdings nicht.

Schon die momentane Lösung (selbst AMD FSR 1.0) sieht auf UHD Monitoren bei einer 1080 Renderauflösung besser aus, als die native, nicht speziell skalierte 1080p Version. Man soll nicht TV mit gerendertem PC-Spiel-Bild vergleichen, das funktioniert nicht. Weil da unter Umständen nie natives 4K mit sinnvoller Framerate möglich ist (bei gegebenem System), sondern eben immer nur Full HD ohne Hochskalieren. Obwohl man für andere Inhalte (z.B. Netflix) dann doch gern den UHD Monitor behalten möchte. Und da ist ein intelligenter Upscale halt viel besser als eine reine Vervierfachung(?) jedes Pixels.

Fazit: Es geht nicht um den Vergleich zum nativ gerenderten 4K Bild (auch wenn alle Hersteller die Lösung damit bewerben.) - sondern in erster Linie um flüssige Wiedergabe auf 4K Monitoren (auch da sind die Anforderungen beim Gaming mit 60 fps minimum, ernsthaft erst ab 120fps), die vielleicht vorhanden sind und auch so genutzt werden können (Streaming, Fotobearbeitung, etc.) und besseres Aussehen als 1080p dumm auf 4K skaliert.

Der Vergleich liegt also zwischen dummen 1080p und AI-hochskaliertem 1080p->4K. Und da gewinnt quasi immer Letzteres.



tom
Administrator
Administrator
Beiträge: 1488

Re: Neue NVIDIA KI skaliert Videos in Echtzeit im Browser von 1080p nach 4K

Beitrag von tom »

andieymi hat geschrieben: Mo 09 Jan, 2023 10:42
medienonkel hat geschrieben: Sa 07 Jan, 2023 08:22 Dann ist also die von vielen namhaften Monitor/TV Herstellern beworbene "AI Engine XY" zu Bildverbesserung und eben Skalierung primitiv und taugt nix.

Aber wenn Nvidia mit so einer Technik daherkommt soll alles sehr viel besser sein?
Der Vergleich hinkt, weil das in etwa so wäre, als könnte der TV dann das native 4K Bild nur in 12-16 fps wiedergeben. Da schaut man dann unter Umständen doch lieber den flüssigen FullHD Stream. Du gehst davon aus, dass da 1080p Content standardmäßig daherkommt, was aber nicht der Fall ist. Die Auflösung von Spielen ist nun einmal individuell wählbar, die Rechenleistung allerdings nicht.

Schon die momentane Lösung (selbst AMD FSR 1.0) sieht auf UHD Monitoren bei einer 1080 Renderauflösung besser aus, als die native, nicht speziell skalierte 1080p Version. Man soll nicht TV mit gerendertem PC-Spiel-Bild vergleichen, das funktioniert nicht. Weil da unter Umständen nie natives 4K mit sinnvoller Framerate möglich ist (bei gegebenem System), sondern eben immer nur Full HD ohne Hochskalieren. Obwohl man für andere Inhalte (z.B. Netflix) dann doch gern den UHD Monitor behalten möchte. Und da ist ein intelligenter Upscale halt viel besser als eine reine Vervierfachung(?) jedes Pixels.

Fazit: Es geht nicht um den Vergleich zum nativ gerenderten 4K Bild (auch wenn alle Hersteller die Lösung damit bewerben.) - sondern in erster Linie um flüssige Wiedergabe auf 4K Monitoren (auch da sind die Anforderungen beim Gaming mit 60 fps minimum, ernsthaft erst ab 120fps), die vielleicht vorhanden sind und auch so genutzt werden können (Streaming, Fotobearbeitung, etc.) und besseres Aussehen als 1080p dumm auf 4K skaliert.

Der Vergleich liegt also zwischen dummen 1080p und AI-hochskaliertem 1080p->4K. Und da gewinnt quasi immer Letzteres.
Zudem dürfte die Rechenleistung einer NVIDIA RTX 3X/4X GPU die einer integrierten TV KI Lösung weit übersteigen.
slashCAM



dienstag_01
Beiträge: 13603

Re: Neue NVIDIA KI skaliert Videos in Echtzeit im Browser von 1080p nach 4K

Beitrag von dienstag_01 »

tom hat geschrieben: Mo 09 Jan, 2023 11:34
andieymi hat geschrieben: Mo 09 Jan, 2023 10:42

Der Vergleich hinkt, weil das in etwa so wäre, als könnte der TV dann das native 4K Bild nur in 12-16 fps wiedergeben. Da schaut man dann unter Umständen doch lieber den flüssigen FullHD Stream. Du gehst davon aus, dass da 1080p Content standardmäßig daherkommt, was aber nicht der Fall ist. Die Auflösung von Spielen ist nun einmal individuell wählbar, die Rechenleistung allerdings nicht.

Schon die momentane Lösung (selbst AMD FSR 1.0) sieht auf UHD Monitoren bei einer 1080 Renderauflösung besser aus, als die native, nicht speziell skalierte 1080p Version. Man soll nicht TV mit gerendertem PC-Spiel-Bild vergleichen, das funktioniert nicht. Weil da unter Umständen nie natives 4K mit sinnvoller Framerate möglich ist (bei gegebenem System), sondern eben immer nur Full HD ohne Hochskalieren. Obwohl man für andere Inhalte (z.B. Netflix) dann doch gern den UHD Monitor behalten möchte. Und da ist ein intelligenter Upscale halt viel besser als eine reine Vervierfachung(?) jedes Pixels.

Fazit: Es geht nicht um den Vergleich zum nativ gerenderten 4K Bild (auch wenn alle Hersteller die Lösung damit bewerben.) - sondern in erster Linie um flüssige Wiedergabe auf 4K Monitoren (auch da sind die Anforderungen beim Gaming mit 60 fps minimum, ernsthaft erst ab 120fps), die vielleicht vorhanden sind und auch so genutzt werden können (Streaming, Fotobearbeitung, etc.) und besseres Aussehen als 1080p dumm auf 4K skaliert.

Der Vergleich liegt also zwischen dummen 1080p und AI-hochskaliertem 1080p->4K. Und da gewinnt quasi immer Letzteres.
Zudem dürfte die Rechenleistung einer NVIDIA RTX 3X/4X GPU die einer integrierten TV KI Lösung weit übersteigen.
In Summe ja, aber wenn man sich spezialisierte Hardwarelösungen anschaut - man braucht ja nur mal die De-/Encoder auf den GPUs zu nehmen - wird klar, dass die GPU da verlieren kann. Es sei denn, die Aufgabe lässt sich hardwaretechnisch nicht besser lösen.



andieymi
Beiträge: 1597

Re: Neue NVIDIA KI skaliert Videos in Echtzeit im Browser von 1080p nach 4K

Beitrag von andieymi »

dienstag_01 hat geschrieben: Mo 09 Jan, 2023 11:57
tom hat geschrieben: Mo 09 Jan, 2023 11:34

Zudem dürfte die Rechenleistung einer NVIDIA RTX 3X/4X GPU die einer integrierten TV KI Lösung weit übersteigen.
In Summe ja, aber wenn man sich spezialisierte Hardwarelösungen anschaut - man braucht ja nur mal die De-/Encoder auf den GPUs zu nehmen - wird klar, dass die GPU da verlieren kann. Es sei denn, die Aufgabe lässt sich hardwaretechnisch nicht besser lösen.
Niemand schließt aus, dass das spezialisierte Hardware besser kann. Aber sowas gibt's jetzt gefühlt 1-2 Jahre, das könnte auch jederzeit als dezidierte Lösung auf einer GPU kommen, das ist kein Argument gegen die GPUs. Im Gegenteil besitzen die GPU-Fertiger (vgl. mit den meisten TV-fertigern) mittlerweile weitaus mehr Erfahrung in komplexem Upscaling.

Für Gaming ist das einfach die Zukunft, wenn die Hardwarehersteller weiter auf 4K+ setzen. Es gibt heute schon kaum mehr Konfigurationen mit GPUs, die überhaupt aktuelle Titel in 4K 120fps rendern können. Bei Rechnern für Schnitt/Grading merkt man den Unterschied FHD/4K Performancemäßig mittlerweile weniger, weil da weniger in Echtzeit passiert, zumindest keine Neuberechnung mit 120 Frames.



medienonkel
Beiträge: 740

Re: Neue NVIDIA KI skaliert Videos in Echtzeit im Browser von 1080p nach 4K

Beitrag von medienonkel »

andieymi hat geschrieben: Mo 09 Jan, 2023 10:42
medienonkel hat geschrieben: Sa 07 Jan, 2023 08:22 Dann ist also die von vielen namhaften Monitor/TV Herstellern beworbene "AI Engine XY" zu Bildverbesserung und eben Skalierung primitiv und taugt nix.

Aber wenn Nvidia mit so einer Technik daherkommt soll alles sehr viel besser sein?
Der Vergleich hinkt, weil das in etwa so wäre, als könnte der TV dann das native 4K Bild nur in 12-16 fps wiedergeben. Da schaut man dann unter Umständen doch lieber den flüssigen FullHD Stream. Du gehst davon aus, dass da 1080p Content standardmäßig daherkommt, was aber nicht der Fall ist. Die Auflösung von Spielen ist nun einmal individuell wählbar, die Rechenleistung allerdings nicht.

Schon die momentane Lösung (selbst AMD FSR 1.0) sieht auf UHD Monitoren bei einer 1080 Renderauflösung besser aus, als die native, nicht speziell skalierte 1080p Version. Man soll nicht TV mit gerendertem PC-Spiel-Bild vergleichen, das funktioniert nicht. Weil da unter Umständen nie natives 4K mit sinnvoller Framerate möglich ist (bei gegebenem System), sondern eben immer nur Full HD ohne Hochskalieren. Obwohl man für andere Inhalte (z.B. Netflix) dann doch gern den UHD Monitor behalten möchte. Und da ist ein intelligenter Upscale halt viel besser als eine reine Vervierfachung(?) jedes Pixels.

Fazit: Es geht nicht um den Vergleich zum nativ gerenderten 4K Bild (auch wenn alle Hersteller die Lösung damit bewerben.) - sondern in erster Linie um flüssige Wiedergabe auf 4K Monitoren (auch da sind die Anforderungen beim Gaming mit 60 fps minimum, ernsthaft erst ab 120fps), die vielleicht vorhanden sind und auch so genutzt werden können (Streaming, Fotobearbeitung, etc.) und besseres Aussehen als 1080p dumm auf 4K skaliert.

Der Vergleich liegt also zwischen dummen 1080p und AI-hochskaliertem 1080p->4K. Und da gewinnt quasi immer Letzteres.
Soweit ich den Artikel verstanden habe, geht es um das Hochskalieren von Video im Browser. Also exakt das, was auch im Fernseher passiert.

Jedes Display muss nicht native Auflösung skalieren. Das 1080p Video muss ja auf UHD aufgeblasen werden. Und umgekehrt. Im simpelsten Fall tatsächlich durch Verfierfachung der Pixel. (nearest neighbour)

Selbstverständlich läuft das auf hochspezialisierten DSPs, die ohne Probleme in Echtzeit laufen. Halt fest in Hardware gegossen.
Der große Nachteil dieser Lösungen ist natürlich die nicht vorhandene Programmierbarkeit.

Mit dem Performancegewinn durch DLSS (Spiel in niedriger Auflösung rendern und per AI Hochskalieren) hat das erstmal nichts zu tun, da es hier um höhere fps geht, die in Echtzeit gerendert werden müssen.

Video liegt ja schon fertig vor.

Interessant wird KI Skalierung ja erst bei möglichst schlechtem Ausgangsmaterial. Kompressionsartefakte lassen sich sehr schön rausrechnen, da hier ja ein erlernbarer Prozess dahinter steckt.



MK
Beiträge: 4352

Re: Neue NVIDIA KI skaliert Videos in Echtzeit im Browser von 1080p nach 4K

Beitrag von MK »

NVIDIA hat in den neuesten Treibern RTX Video HDR hinzugefügt womit man sich in Browsern auf Chromium Basis (Chrome, Edge, etc.) Videos AI-unterstützt von SDR nach HDR wandeln lassen kann (HDR Monitor vorausgesetzt). RTX Video HDR und RTX Video Super Resolution sind zeitgleich nutzbar.

https://blogs.nvidia.com/blog/rtx-video ... io-driver/



 Aktuelle Beiträge [alle Foren]
 
» Blackmagic DaVinci Resolve 19 Public Beta 3 ist da
von roki100 - Di 1:46
» Blackmagic Cinema Camera 6K um 40% billiger
von roki100 - Di 1:40
» Lumix G9M2
von roki100 - Di 0:55
» Soviele Bugs in Resolve?
von rush - Mo 23:44
» MANIFEST für einen neuen öffentlich-rechtlichen Rundfunk in Deutschland
von iasi - Mo 23:36
» Was hörst Du gerade?
von Funless - Mo 22:28
» Neues Sigma 28-45mm-f 1.8 im Anflug
von MrMeeseeks - Mo 22:15
» Streetview Deutschland aktualisiert!
von macaw - Mo 21:40
» FUJIFILM GFX100S II: Stabilisierte 102-Megapixel für 5.499 Euro
von cantsin - Mo 21:36
» Möchte ich Outdoor-Kameramann werden?!
von Franz86 - Mo 21:24
» Was schaust Du gerade?
von roki100 - Mo 20:41
» i can't do this on youtube anymore
von berlin123 - Mo 17:47
» Lumix S FF Kameras und der APS-C Modus is amazing and magic ;)
von Darth Schneider - Mo 16:51
» Der Nachtmahr - Autorenfilme aus Deutschland
von 7River - Mo 15:52
» 240p Raw mit FS700
von Darth Schneider - Mo 13:37
» Bis zu 500€ sparen bei Kameras und Objektiven von Canon, Laowa und Sigma
von Skeptiker - Mo 13:09
» Panasonic S5 - Allgemeine Fragen, Tipps und Tricks, Zeig deine Bilder/Videos usw.
von Bildlauf - Mo 12:08
» SmallRig Zubehör für Panasonic S9: Retro Half Cases, Cages und Griffe …
von rob - Mo 10:53
» Philips Evnia 49M2C8900L: Extrabreiter 49" 5K-Monitor mit QD-OLED
von MK - Mo 10:44
» Blackmagic Micro Color Panel - Günstigstes Color Grading Panel für DaVinci Resolve
von Darth Schneider - Mo 10:09
» Ein paar Resolve-Tricks
von Axel - Mo 5:51
» Heimvideos in 4K anschauen
von konsolenchris - Mo 0:51
» Deutsche Filme waren in diesem Jahr nicht in Cannes vertreten.
von iasi - So 23:56
» Vielleicht bleib' ich doch lieber bei Stills... :)
von pillepalle - So 9:35
» Blackmagic DaVinci Resolve Livetour kommt im Juni nach Berlin
von slashCAM - So 9:00
» Nach 7 Jahren mit der OG BMPCC finde ich das Bild noch immer schön.
von roki100 - So 3:25
» Virtuelle Figuren mit KI - Autodesk übernimmt Macher von Wonder Studio
von Hayos - So 0:54
» Was hast Du zuletzt gekauft?
von klusterdegenerierung - Sa 22:28
» Erste Erfahrungen Sony A1
von gammanagel - Sa 22:27
» Copilot+PC - NPU beschleunigt Resolve AI Funktionen
von markusG - Sa 17:11
» Peter Kraus TEASER - Der Pauli aus Bamberg - vom Fan zum Freund
von Alex - Sa 11:40
» Field Monitor mit Recording für unter 300 Euro
von berlin123 - Sa 11:33
» Zwei neue Laowa 4x OOOM Cine-Zoomobjektive verfügbar
von slashCAM - Sa 10:57
» Blackmagic Cinema Camera 6K im Praxistest inkl. anamorphotischer Aufnahmen (DZO Pavo)
von GaToR-BN - Fr 12:50
» Panasonic LUMIX S9 - Kleinste 6K V-Log Kamera für 1.699 Euro
von Bildlauf - Fr 10:03