Hier ist eine Bild-für-Bild-Führung durch unseren ×3-Interpolationsansatz. Wir behandeln die beiden Untervarianten, die wir einsetzen – die Kreuzvarianten-Technik, die verhindert, dass das Korn «kocht», und warum wir niemals zulassen, dass die Interpolation über einen Schnitt hinweg malt.

Das handgehaltene Double-8-Material des Festumzugs unten ist ein perfekter Testfall. Die meisten Filme in diesem Format wurden mit 16 Bildern pro Sekunde (fps) aufgenommen, aber diese Rolle wurde mit ziemlicher Sicherheit langsamer gefilmt – eher mit 14 fps. Das Filmen mit geringerer Bildrate wurde als «Undercranking» bezeichnet und war unter Filmamateuren weit verbreitet. Wenn die Kamera unterhalb ihrer Standardgeschwindigkeit lief, liess sich eine teure Filmrolle auf mehr Aufnahme-Sekunden strecken – und als oft übersehener Nebeneffekt wurde der Film dabei leicht überbelichtet, wenn das nicht ausgeglichen wurde. Durch Undercranking fiel mehr Licht auf jedes einzelne Filmbild, und wie Sie bemerken werden, ist diese Festumzugsrolle tatsächlich leicht überbelichtet. Bei Wiedergabe mit 16 fps wirkt sie deshalb zu schnell. Mithilfe von Interpolation setzen wir sie auf ihre tatsächlichen 14 fps zurück!

Im ursprünglichen Zustand mit 14 fps ist zwischen einem Bild und dem nächsten kaum Bewegung abgetastet. Die Marschierenden springen in sichtbaren Schritten nach vorn, Fahnen ruckeln statt zu wehen, und ein langsamer Schwenk über die Menge erzeugt einen discoartigen Stroboskop-Effekt. Genau hier erzeugt unsere Technik die Art von Material, bei der ×3-Interpolation ihren Wert beweist!

Unten sehen Sie die tatsächliche Verarbeitungspipeline, die wir bei dieser Rolle eingesetzt haben, in der richtigen Reihenfolge, mit Standbildern direkt aus den Arbeitsordnern. Die Standbilder, auf denen unsere Interpolation basiert, sind unbeschnitten und im Vollbildformat (klicken Sie auf ein Bild, um den Overscan sichtbar zu machen). Dieser Overscan zeigt den Bereich der Perforationslöcher und zusätzliche Bildinformationen an den Seiten – Details, die der Interpolation zugutekommen. Diese Dateien wurden bereits farbkorrigiert und bildstabilisiert und sind kompressionsfreie 8-Bit-Masterdateien.

Die Master. Unser Ausgangspunkt belässt den ursprünglichen Film-Overscan, Schmutzpartikel und Korn unverändert. Hier wird nichts verändert; diese Bilder überleben bis in den finalen Schnitt genau so, wie sie gescannt wurden.

01Zwei Untervarianten aus einem Bild

extrahieren → scharf · kornfrei

Bevor irgendeine Bewegung berechnet wird, wird jedes Masterbild in zwei bereinigte Untervarianten gerendert. Sie sind keine Ausgabedateien – sie dienen als Gerüst für den Interpolationsschritt.

Scharf bedeutet: Es werden nur Fremdpartikel entfernt; Staub, Kratzer und Klebestellen-Spuren verschwinden, aber das Filmkorn und feine Details bleiben vollständig erhalten.

Kornfrei geht einen Schritt weiter und entfernt zusätzlich das Korn, sodass ein glattes, leicht weicheres Bild entsteht, das den Inhalt der Szene ohne ihr Rauschen trägt.

02Der Kreuzvarianten-Trick

interpolieren · die schärfenahe Hälfte behalten

Auf diesen Teil sind wir still und leise stolz. Statt scharf-zu-scharf zu interpolieren (was das Korn kochen lässt) oder kornfrei-zu-kornfrei (was Details verliert), interpolieren wir zwischen den beiden Varianten – und zwar zweimal, in entgegengesetzten Anordnungen.

Für ein ×3-Ergebnis benötigen wir zwischen jedem Masterpaar zwei neue Bilder: eins bei einem Drittel des Weges, eins bei zwei Dritteln. Jedes wird aus einem Paar erzeugt, dessen scharfes Ende der Master ist, dem es am nächsten liegt, und dessen fernes Ende kornfrei ist. Weil an einem Ende jeder Interpolation kein Korn vorhanden ist, findet das Modell keine falsche Bewegung in den Körnern – und dennoch bleibt das verwendete Bild nah an einem scharfen Master, sodass echte Details erhalten bleiben.

Aus jedem Durchgang verwerfen wir die Hälfte, die näher am kornfreien Ende liegt, und behalten nur die schärfenahe Hälfte. Setzt man die beiden behaltenen Hälften zusammen, ist jedes Zwischenbild dort detailreich, wo es wichtig ist, und kornstabil überall sonst – über die gesamte Sequenz hinweg bleibt Korn als Korn lesbar, statt in einen Schneesturm zu zerkochen.

Ein Bild, das nie aufgenommen wurde. Zwischen zwei Mastern erzeugt, scharf dort, wo sich der Marschierende bewegt, ruhig dort, wo das Korn lebt.

Die Naht unsichtbar machen

Der Umgang mit Korn allein reicht noch nicht aus. Ein erzeugtes Bild kann sich immer noch verraten, wenn es mehr – oder weniger – Kantendetails trägt als die Originalbilder darum herum. Passiert das, scheint jedes dritte Bild leicht «aufzupoppen», wenn das Bild zwischen aufgenommenen und berechneten Frames wechselt – ein subtiles Flimmern an Kanten, das das Auge selbst dann bemerkt, wenn jedes Einzelbild für sich gut aussieht.

Der Übeltäter ist meist zu starke Schärfung in der Variante. Überschärft man sie, werden harte Kanten überbetont – und weil das Korn genau entlang dieser Kanten sitzt, scheint es von Bild zu Bild an ihnen zu kriechen und seine Position zu verändern. Die Lösung ist einfach: Wir nehmen die Schärfung der Variante so weit zurück, bis sie dem Detailniveau des Masters entspricht, statt es zu übersteigen. Wenn beide auf demselben Niveau liegen, gibt es keine Kante, die sich verschieben könnte, die ⅓- und ⅔-Bilder fügen sich ohne sichtbare Naht ein, und – worauf die nächsten Schritte aufbauen – die gesamte Sequenz wird konsistent genug, um als ein Stück bereinigt zu werden.

03Wo Interpolation scheitert

Ein bewegungsbewusstes Modell interpoliert, indem es erkennt, wohin sich jeder Teil des Bildes zwischen zwei Frames bewegt hat, und dann die Zwischenposition zeichnet. Das funktioniert gut genug für den Arm eines Marschierenden oder einen vorbeiziehenden Festwagen. Aber es scheitert auf drei typische Arten.

1. Korn. Filmkorn ist im Wesentlichen zufälliges Rauschen – in jedem einzelnen Bild ein anderes Sprenkelmuster. Fordert man das Interpolationsmodell auf, Bewegung zwischen zwei körnigen Bildern zu verfolgen, versucht es pflichtbewusst, Sprenkel mit Sprenkeln abzugleichen, und erfindet dabei im ganzen Bild winzige, inkohärente «Bewegungen». Das Ergebnis ist kochendes Korn: ein schneesturmartiges Artefakt erfundener Bewegung, das über das Bild schmiert und kriecht; sein wechselnder Fluss erinnert manchmal an einen Vogelschwarm oder einen Fischschwarm beim Richtungswechsel – sodass ein eigentlich stiller Bereich wie Himmel oder Pflaster nie wirklich stillsteht. Gerade diese Festumzugsrolle eignet sich nicht perfekt, um das zu zeigen. Die Einstellungen sind zu kurz und enthalten zu viel Kamerabewegung sowie zu viele sich schnell bewegende Marschierende. Kochendes Korn erkennt man am leichtesten in einer längeren Einstellung mit wenig Kamerabewegung und einer grossen, gleichmässigen Fläche wie Himmel.

2. Bereiche, die hinter einem bewegten Objekt sichtbar werden: Wenn sich etwas bewegt, gibt es einen Bildbereich frei, der im vorherigen Frame nicht sichtbar war – das Modell hat keine frühere Information, aus der es zeichnen könnte, also verschmiert es stattdessen den neu freigelegten Bereich. Dieses Festumzugsmaterial zeigt das Problem perfekt. Richten Sie Ihren Blick auf die Wand und den Gehweg hinter den fahnentragenden Kindern, die vorbeimarschieren, und Sie sehen, wie Standardinterpolation hier schnell auseinanderfällt. Der Optical-Flow-Durchgang fügt eine geisterhafte Schliere hinzu, die der Bewegung der Kinder folgt. Sogar unser Cross-Sub-Variant-Ansatz beginnt hier an seine Grenzen zu kommen – aber er hält sich deutlich besser als der Optical-Flow-Filter.

3. Interpolation über Schnitte hinweg. Diese Festumzugsrolle ist eine Kette aus getrennten Einstellungen. An jedem Schnitt zeigen zwei benachbarte Bilder vollständig unterschiedliche Szenen. Ein Interpolator, der nicht weiss, wo die Schnitte liegen, liest diesen Sprung als eine einzige enorme Bewegung und versucht, eine Einstellung in die nächste zu verwandeln. Für ein paar Frames schmelzen die beiden Szenen in einer verschmierten Überblendung zusammen, die nie jemand gefilmt hat. Im Vergleichs-Player können Sie das beobachten: Wechseln Sie zu «EDIUS optical flow» und reduzieren Sie die Geschwindigkeit auf ¼×, dann achten Sie auf die Schnitte. Unser CrossFrame-Durchgang erkennt jeden Schnitt im Voraus und hält stattdessen das Bild an, sodass jeder Übergang ein sauberer, harter Schnitt bleibt – genau so, wie der Film es beabsichtigt! (Abschnitt 04 zeigt wie)

Wiedergabe mit halber Geschwindigkeit, damit die Unterschiede leicht zu erkennen sind

Bei 1× laufen beide Seiten in derselben Echtzeitlänge, während die zusätzlichen Bilder nur die Bewegung glätten. Sie dehnen sie nicht. Ziehen Sie den Regler, um zwischen beiden Seiten zu wischen, und beobachten Sie die Wand und den Gehweg hinter den Marschierenden.

Das Versagen, um das wir herumkonstruieren. Verfolgt man Bewegung zwischen zwei körnigen Bildern, wird das Korn selbst als Bewegung gelesen – und beginnt zu kriechen.

04SCHNITTE – Ereignisse, die das Modell nicht überqueren darf

jeden Schnitt erkennen · Interpolation unterdrücken

Eine Festumzugsrolle ist keine einzige durchgehende Einstellung. Sie besteht aus Dutzenden separater Takes. Zum Beispiel: eine Totale der Strasse, eine Nahaufnahme der Kapelle, zurück zur Menge. Bei jeder neuen Einstellung (Schnitt) zeigen zwei benachbarte Frames völlig unterschiedliche Szenen.

Für einen Interpolator sieht diese Lücke wie eine gewaltige, augenblickliche Bewegung aus, also versucht er, sie zu «glätten», verwandelt eine Einstellung in die nächste und hinterlässt bei jeder neuen Aufnahme ein verschmiertes, fehlerhaftes Bild. Deshalb erkennen wir vor der Interpolation jeden Schnitt in der Rolle und verbieten dem Modell, über ihn hinweg zu zeichnen. An einem Schnitt halten wir einfach das nächste Bild an, statt einen Übergang zu erfinden. Das Ergebnis ist ein sauberer, harter Schnitt, genau wie vom Film beabsichtigt.

05Die beste Ausgangsquelle – ein overscannter Transfer

zusätzliche Seitenränder hinein → interpolieren → am Ende beschneiden

Es gibt noch einen weiteren Punkt, an dem Interpolation an ihre Grenze stösst: den Bildrand. Ein bewegungsbewusstes Modell funktioniert, indem es jeden Teil eines Frames mit seiner Position im nächsten abgleicht. Am Rand bricht dieser Abgleich bei einem «sauberen» Bild (einem beschnittenen Overscan) viel schneller zusammen – was auch immer ins Bild hinein- oder aus ihm herausgleitet, hat im Nachbarbild kein Gegenstück, weil es dort schlicht nicht vorhanden ist. Das Modell ist zum Raten gezwungen, und seine Vermutungen zeigen sich als gedehnte, verschmierte oder wabernde Pixel entlang des Randes, als bestünde der Bildrand aus Gummi.

Handgehaltenes Material verschärft das Problem überall gleichzeitig. Jedes kleine Zittern verschiebt das ganze Bild, sodass in jedem einzelnen Frame an einer Seite neuer Inhalt ins Bild kommt und an der anderen verschwindet – ein ständiges Wirbeln von Pixeln, das das Modell nie fest verankern kann.

Die Lösung besteht darin, dem Modell mehr Bild zu geben, als der fertige Film jemals zeigen wird. Wir scannen mit Overscan. Die Erfassung reicht über den eigentlichen Bildbereich hinaus und nimmt links und rechts alles auf, was der Film zu bieten hat. Jetzt erscheint ein Marschierender, der von rechts ins Bild gleitet, nicht mehr aus dem Nichts – das Modell hat ihn bereits im Randbereich verfolgt, bevor er in das endgültige Bild eintritt. Das Raten findet immer noch statt, aber es findet im opferbaren Rand statt, nicht im Bild, das am Ende erhalten bleibt.

Mehr Film, als Sie je sehen werden

Der Scan reicht links und rechts über das ausgelieferte Bild hinaus. Interpolationsartefakte haften am äusseren Rand – der den finalen Beschnitt niemals überlebt.

06Ein sauberer Durchgang über eine konsistente Sequenz

zusammenbauen → finale Filterung · temporaler Radius 4

Nachdem die Schnitte berücksichtigt sind, wird die Rolle zusammengesetzt – Originale und erzeugte Frames werden zu einem einzigen durchgehenden Clip verflochten – und wir führen einen einzigen finalen Restaurierungsdurchgang über das gesamte Material aus. Dieser Schritt ist nur wegen der vorangegangenen Angleichungsarbeit möglich. Ein temporaler Reiniger beurteilt jedes Bild im Vergleich zu seinen Nachbarn; wenn aufgenommene und erzeugte Bilder bei Schärfe oder Korn voneinander abweichen würden, würde er diese Abweichung als Bewegung lesen und entweder Details verschmieren oder die Reinigung verweigern.

Weil jetzt jedes Bild so aussieht, als gehöre es dazu, können wir diesen Durchgang stark ausreizen. Wir verwenden einen grossen temporalen Radius – eine Einstellung von 4 –, bei der mehrere benachbarte Frames gleichzeitig zusammengeführt werden, um echte Details von Restrauschen und Fremdpartikeln zu trennen, deutlich aggressiver, als es der ursprüngliche, inkonsistente Scan je zulassen würde. Die verdreifachte Bildrate spielt uns dabei in die Hände – mehr benachbarte Bilder, die übereinstimmen, ermöglichen eine sauberere Trennung von Signal und Rauschen.

Dieser finale Durchgang ist gründlich – so gründlich, dass das Bild leicht digital wirken kann. Deshalb besteht der allerletzte Schritt darin, ihm wieder eine feine, gleichmässige Filmtextur zu geben. Das sieht nicht nur richtig aus: Ein wenig wiederhergestelltes Korn lässt das Bild schärfer erscheinen und hält es in der Bewegung zusammen, indem es dem Auge stabile Kanten bietet, an denen es sich von Frame zu Frame orientieren kann. Mehr dazu, was diese Textur ist – und was nicht – weiter unten.

07Sehen Sie es selbst

vorher · nachher

Hier ist derselbe Festumzug-Clip, auf einer Seite unberührt und auf der anderen mit ×3 interpoliert. Achten Sie auf die Beine der Marschierenden und auf den Schwenk über die Menge. Das Ruckeln, das als «alter Film» gelesen wird, ist verschwunden, während das Korn weiterhin wie Film aussieht.

Alle drei gleichzeitig — Original 14 fps (oben), Optical Flow 42 fps
(unten links), FilmFix CrossFrame 42 fps (unten rechts). Derselbe Moment,
dieselbe Geschwindigkeit.

08Was es nicht beheben kann: eingebrannte Bewegungsunschärfe

Grenzen

Es gibt ein Problem, das keine noch so ausgefeilte Interpolation rückgängig machen kann. Wenn die Kamera selbst wackelt – also nicht das Motiv sich bewegt, sondern das ganze Bild in der Hand des Kameramanns ruckt –, dann wird jedes betroffene Bild bereits mit direkt eingebrannter Bewegungsunschärfe aufgenommen. Diese Unschärfe ist kein Korn oder Rauschen, das über dem Bild liegt; sie ist das Bild, in dem Moment weich aufgezeichnet, als der Verschluss geöffnet war.

Stabilisierung hilft dem Material, ruhig zu stehen, aber sie verschiebt nur die Frames. Sie kann keines schärfen, das schon bei der Aufnahme verschwommen war. Deshalb kann eine stabilisierte, wackelige Sequenz vollkommen ruhig stehen und dennoch zwischen scharfen und weichen, verschmierten Bildern flackern. Die Unschärfe strobt dann im Takt des Kamerawackelns hinein und heraus.

Interpolation kann das sogar verschlimmern. Das Modell geht davon aus, dass die Frames, mit denen es arbeitet, saubere Ziele für die Bewegung dazwischen sind. Gibt man ihm ein unscharfes Bild, trägt es diese Unschärfe treu in die neu erzeugten Frames weiter und verstärkt die Schliere manchmal eher, als sie zu mildern. Wenn eine Einstellung starke eingebrannte Bewegungsunschärfe enthält, können wir die Bewegung glätten, aber nicht die Schärfe zurückholen, die die Kamera nie aufgenommen hat. Es ist wichtig, das von Anfang an zu wissen.

09Was wir nicht tun werden

künstliches Korn = Trickerei

Es lohnt sich, bei dieser finalen Textur präzise zu sein, denn die Praktiken der Transferhäuser unterscheiden sich. Manche legen starkes Korn über das Bild, um Interpolationsartefakte zu kaschieren oder eine Auflösung vorzutäuschen, die ein weicher Scan nie wirklich erfasst hat. Das tun wir nicht! Unsere Textur ist leicht und gleichmässig. Sie verbessert, wie sauber das Bild in Bewegung zusammenhält, aber sie erfindet niemals Details, die Ihr Film nicht besitzt, und sie tapeziert nie eine Naht zwischen einem aufgenommenen und einem erzeugten Bild zu. Wo ein Bild scharf aussieht, sind die darunterliegenden Details echt.

Keiner der einzelnen Schritte hier ist für sich genommen exotisch. Ungewöhnlich ist die Kombination: die Varianten so anzugleichen, dass erzeugte Frames keine Naht hinterlassen, das Korn zu umgehen, indem zwischen einem scharfen und einem kornfreien Paar interpoliert wird, jeden Schnitt als Grenze zu behandeln, die das Modell nicht überschreiten darf, und erst dann die zusammengesetzte Rolle als ein konsistentes Ganzes zu reinigen. Einfache Bausteine, passend zusammengesetzt – und gemeinsam machen sie saubere Interpolation bei körnigem Archivfilm tatsächlich möglich!

· · ·

Ein grosses Dankeschön an unseren Schweizer Kunden Steven Ganter, der uns erlaubt hat, dieses Material zu verwenden – und der mich, nachdem wir sehr ausführlich über den Prozess und den heutigen Stand von KI gesprochen hatten (er hat selbst einen Programmierhintergrund), mit einer einfachen Frage anstiess: «Bieten Sie Interpolation an?» Jetzt tun wir es!

Ausserdem danken wir Tom Huebner für seine Mitarbeit an diesem Blog.