Erzeugung von HDR-Bildern in CinePaint

Zusammenfassung
Es wird beschrieben, wie mit einem CinePaint-Werkzeug aus einer Belichtungsreihe ein Bild mit hohem Dynamikumfang (HDR-Bild) erzeugt wird.

Inhaltsverzeichnis

• Einführung
  • HDR-Bilder
  • Über diesen Text
• Theoretischer Hintergrund
• Das CinePaint-Werkzeug
  • Aufnahmedaten
  • Numerische Parameter
  • Folgekurven
  • Verschiebungen
  • Arbeitsablauf
  • Das Farbenspiel der Knöpfe
    • Bilder de/aktivieren
    • Der "Init"-Knopf
    • Der "Compute Response"-Knopf
    • Der "HDR"-Knopf
• Schluss

Die an Kontrast und Detailreichtum in HDR-Bildern kodierte Helligkeitsinformation übersteigt in der Regel das durch normale Wiedergabemedien wie Bildschirm oder Papier noch Auflösbare. Wird die gekalkte Wand bspw. mit dem hellsten, d.h. unvergrautem Weiß wiedergeben, kann die Sonne nur noch maximal ebenso weiß ("hell") erscheinen — das Weiß des Papieres oder Bildschirms eben, wohingegen an meßbarer Strahlungsintensität der Wand vielleicht ein Wert (in irgendeinem Maßstabe) von 1, dem Sonnenzentrum aber von 1000 zukam! Einer der Vorteile von HDR-Bildern ist, daß erst im Moment des Betrachtens und nicht schon zum Aufnahmezeitpunkt entschieden werden muß, welche Informationen interessieren. Ein anderer, daß sie eine Basis darbieten, um gezielt Bildstellen mit mehr Zeichnung zu versehen oder auch, um durch Algorithmen, die den automatischen Helligkeitsausgleich unsers Sehsinnes nachempfinden, Bilder zu generieren, die dem subjektiven Seheindruck kontrastreicher Szenen näher kommen als gewöhnliche Fotos.

Über diesen Text

Die von den Objekten einer Szene ausgesandte bzw. reflektierte Strahlung läßt nach Durchgang durch die Blende und das Linsensystem in der Ebene der Fotoelemente ("Pixel") eine gewisse Lichtintensität E (Strahlungsleistung) an einem Pixel anliegen; — während einer Aufnahme wird E als konstant unterstellt. Aufintegriert über die Belichtungszeit Δt erhalten wir aus E die für ein Belichtungsergebnis maßgebliche Lichtmenge X = E⋅Δt. In einem anschließenden Digitalisierungsprozeß wird X nach einer uns zunächst unbekannten nichtlinearen Funktion z=f(X) in einen ganzzahligen Wert z überführt (z.B. z=0...255 für 8-Bit-Wandler) — jene Werte, die wir später als die digitalen RGB-Daten auslesen. Die "Antwortfunktion" z = f(X) ist ein Gerätespezifikum, sie charakterisiert einen ganzen Digitalisierungsprozeß X --> z eines Farbkanals inklusive Fotoelementcharakteristik und eventueller kamerainterner Korrekturalgorithmen, ja selbst der Zwischenschritt eines zunächst naßchemisch entwickelten Filmmaterials, das anschließend digitalisiert wurde, kann hierunter befaßt werden. Im folgenden gilt es, aus den gegebenen z-Werten einer Belichtungsreihe und den bekannten Belichtungszeiten die Funktion z=f(X)=f(E⋅Δt) bzw. deren Inverse zu rekonstruieren, um anschließend die E-Werte zu ermitteln. Die Intensitätswerte E bilden hierdann den Inhalt eines HDR-Bildes.

Dazu werden vier Annahmen gemacht:

1. Daß die Antwortfunktion z=f(X) streng monoton sei, d.h. daß eine Erhöhung der Lichtmenge X stets auch eine Erhöhung von z zur Folge habe — zumindest im Arbeitsbereich eines Fotoelementes eine vernünftige Annahme. Dann existiert die Umkehrfunktion f^{-1}(z) = X.
2. Daß in allen Aufnahmen einer Belichtungsreihe dieselbe Antwortfunktion wirksam war. (Natürlich, da ja sonst gar kein Zusammenhang zwischen den Aufnahmen, könnte aber unterlaufen werden, falls kameraintern in Abhängigkeit von der Belichtungssituation verschiedene Korrekturalgorithmen zum Einsatz kämen.)
3. Daß sämtliche Fotoelemente eines Bildsensors (innerhalb eines Farbkanals) identische Antwortfunktionen besitzen. Räumlich über das Bild variierende z-Werte können dann interpretiert werden als Blick auf verschiedene Arbeitspunkte ein und derselben Funktion z=f(X) zu lediglich verschiedenen Argumentwerten X.
4. Daß die an einem festgehaltenen Pixel anliegende Lichtintensität E in sämtlichen Aufnahmen einer Belichtungsreihe dieselbe war (statische Szene + identische Kamerapositionen).

  z_ij = f(E_i⋅Δt_j)   für alle i=1...N, j=1...P

  g(z_ij) = ln(E_i) + ln(Δt_j)  für alle i=1...N, j=1...P,

  g(z) := ln[f^{-1}(z)] 

      N  P
  Ω = ∑ ∑ [g(z_ij) - ln(E_i) - ln(Δt_j)]^2 + λ ∑ g''(z)^2
      i  j                                     z

Da die Zielfunktion Ω quadratisch in den Unbekannten g(z_k) und ln(E_i), führt die Minimierung von Ω auf ein lineares Quadratmittelproblem, das mit Standardverfahren wie QR-Zerlegung oder Singulärwertzerlegung (SVD) geradlinig gelöst werden kann.

Nachdem auf diese Weise die Funktion g(z) und damit auch exp(g(z)) = f^{-1}(z) gefunden, lassen sich vermöge f^{-1}(z) = E⋅Δt die z-Bilddaten in die zugehörigen Intensitätswerte E umrechnen: E_i = f^{-1}(z_ij) / Δt_j.

Drei Bemerkungen:

1.) Die Lösungen für E und f^{-1}(z) sind soweit eindeutig nur bis auf einen konstanten Faktor α>0, denn die Gleichungen bleiben erfüllt, wird ln(E) durch ln(E)+ln(α) und g(z) durch g(z)+ln(α) ersetzt. Die Sache eindeutig zu machen, wird die zusätzliche Forderung g(z_mid)=0, also f^{-1}(z_mid)=1 erhoben, wo z_mid der mittlere z-Wert. D.h. es wird festgesetzt, daß der mittlere z-Wert der Lichtmenge X=1 entspreche. Das ist zunächst eine rein willkürliche Festsetzung über die absolute Höhe der X- bzw. E-Werte, die als solche dann auch nur relativen — aufeinander bezogenen — Gehalt haben. Für absolute Strahlungsdaten müßte umskaliert werden. Zudem erfolgt diese Normierung für jeden Farbkanal unabhängig, so daß definitorisch an dieser Stelle ein Grauton behauptet wird. Aber insbesondere für Kamera-Rohdaten muß ein Sensor-Output von (z_mid, z_mid, z_mid) nicht unbedingt einen Grauton repräsentieren, und eine nachträgliche Farbkorrektur würde erforderlich.

2.) Digitalkameras arbeiten zuweilen mit motivabhängigen Korrekturalgorithmen (wozu auch schon ein automatischer Weißabgleich gehört). Solange für alle Aufnahmen einer Belichtungsreihe derselbe Algorithmus zum Einsatz kommt, stellt das noch kein Problem dar, lediglich wird man je nach Motiv u.U. verschiedene Antwortfunktionen erhalten. Problematisch aber wären verschiedene Algorithmen innerhalb einer Belichtungsreihe (Annahme 2 verletzt) oder auch, wenn Zonen innerhalb eines Bildes unterschiedlich nachbearbeitet würden (Annahme 3 verletzt). Irgendein Ergebnis würde dann trotzdem zwar erzielt, schließlich handelt es sich um eine Minimierungsaufgabe, aber vermutlich kein gutes. Auf der sicheren Seite sollte man mit Kamera-Rohdaten liegen.

3.) Die unterstellte Monotonie der Antwortfunktion wird im numerischen Verfahren selbst nicht erzwungen, es können auch nichtmonotene Verläufe herauskommen. Es ist das oft ein Hinweis auf problematische ("regelwidrige") Ausgangsdaten.

Das CinePaint-Werkzeug

Gestartet aus CinePaint heraus wird das Programm im <Toolbox>-Menü "File" -> "New From" -> "Bracketing to HDR". Im sich öffnenden Hauptfenster sind unter "File" -> "Open" sodann die Bilder einer Belichtungsreihe zu laden, erlaubt sind alle von CinePaint unterstützen Dateiformate. Die Bilder werden automatisch nach mittlerer Helligkeit je Pixel sortiert, oben das dunkelste, das also anzunehmen kürzest belichtete.

Im Eingabefeld "Glättungskoeffizient" ("smoothing") ist der oben erwähnte Parameter λ zu justieren. Ziel sollte sein, eine monotone, glatte Antwortfunktion mit möglichst kleinem λ zu erhalten. Hier kann man etwas probieren. Für gute Ausgangsdaten erhielt ich mit λ=10...20 vernünftige Ergebnisse. Mit hinreichend großem λ>200...500 lassen sich wohlverstanden selbst aus irregulärsten Ausgangsdaten (vgl. Abschnitt "Folgekurven"), deren Antwortfunktionen für λ=20 wild oszillierten, noch glatte, montone Kurven erzwingen, doch Substanz besitzen solchen Kurven natürlich dann kaum mehr.

Folgekurven

  (9,43,122), (15,55,135), ...  (N Stück)

Derzeit wird diesbzgl. so verfahren: Zunächst werden die "Folgekurven" ermittelt, worunter ich nun dies verstehe: Für alle (z=0)-Punkte in Bild 1 wird ihr zugehöriger Folgewert in Bild 2 aufgesucht und der Mittelwert <z> all dieser sowie ihre Streuung Δz bestimmt. Das gibt für z=0 das Tripel (0, <z>, Δz). Und so für alle z-Werte 0, 1, ..., z_max im ersten Bild. Diese Mittelwerte <z> aufgetragen über z gibt die Folgekurve des Bildes 2 zum Referenzbild 1. Natürlich ist auch jedes andere Bild als Referenzbild möglich. Solche Kurven sind aufgeführt in der Karteikarte "Folgekurven", die Streuung Δz dabei angezeigt durch vertikale Balken. Folgekurven sind ein guter Indikator für die Qualität einer Datenbasis. Ideal sollte die Streuung minimal und der Anstieg möglichst gleichmäßig sein. Unten linkerhand ein Beispiel, wobei das mittlere Bild (grün) das Referenzbild gab. (Die "Pseudo-Folgekurve" des Referenzbildes selbst ist immer eine Gerade und ohne Streuung und wird nur der besseren Orientierung wegen mit eingetragen.) Rechts daneben sehen wir dieselben Aufnahmen, nur diesmal war das blaue Bild willkürlich um 20 Pixel gegen die beiden anderen verschoben worden. Die Streuung der blauen Kurve ist jetzt erheblich und der Verlauf nichtmonoton. Klar, daß eine auf solcher Datenbasis errechnete Antwortfunktion seltsam aussehen wird und das HDR-Bild mit kuriosen Farbverläufen das Auge beleidigen dürfte. Man bemerke ferner auch dies: Würde in dieser Situation das blaue Bild zum Referenzbild erhoben, wären beide Folgekurven (grün und rot) miserabel, statt nur der einen blauen. Die schwarze Linie zeigt übrigens das Histogramm: die Anzahl von Punkten im Referenzbild zum entsprechenden z-Wert; was noch fehlt ist der zugehörige Maßstab am rechten Rand.

Aus den Folgekurven, und zwar für das aktuell gewählte Referenzbild, werden intern dann die oben erwähnten N Tupel ausgewählt (N vertikale Schnitte durch ein Folgekurven-Diagramm). Eine Bewertung der Umgebung der Pixel erfolgt gegenwärtig also nicht. Hier bleibt noch Raum für alternative Algorithmen.

Verschiebungen

Nach dem Laden der Bilder und Abgleich der Aufnahmedaten wird im Folgekurven-Diagramm ein erster Blick auf die Qualität der Datenbasis geworfen; man spiele mit verschiedenen Referenzbildern! Gegebenenfalls können mit dem "Shift"-Modul, so es denn fertig sein wird, kleine Verschiebung der Bilder korrigiert werden, welcher Versuch insbesondere dann empfehlenswert, wenn die ursprünglichen Folgekurven bereits bedenklich stimmten.

Nun ist über die Methode zur Generierung der N Tupel zu entscheiden. Gegenwärtig beschränkt sich das darauf, in der "Folgekurven"-Karte ein solches Referenzbild festzulegen, für das die Folgekurven ein günstiges Gepräge annehmen. Später könnten hier alternative Algorithmen angeboten werden, noch wahrscheinlicher aber, daß dieser ganze Posten, zumindest in einer Standardvariante, später automatisiert sein wird.

Mit der "Compute Response"-Taste wird jetzt die Berechnung dreier Antwortfunktionen gestartet, für jeden Farbkanal eine, die in einem sich öffnenden Fenster beurteilt werden können. Nichtmonotone Verläufe wären in jedem Fall ein Grund zur Sorge, man überprüfe noch einmal die Wahl des Referenzbildes oder versuche es mit einem größeren Glättungskoeffizienten und berechene die Antwortfunktionen erneut. Sollten vernünftige Kennlinien mit maßvollen Glättungskoeffizienten λ ≤ 50 dennoch nicht zu erzielen sein, liegt möglicherweise ein Problem in den Ausgangsdaten vor. Es sind gegenwärtig vier Größen, die bei gegebenen Bilddaten die Antwortfunktion beeinflussen: 1) die Belichtungszeiten, 2) die Stützstellenzahl N, 3) der Glättungskoeffizient, 4) das Referenzbild. Jede Änderung einer der vier läßt eine dargestellte Kennlinie augenblicklich veralten und machte eine Neuberechnung erforderlich. Weil die Kennlinienberechnung aber der zeitaufwendigste Schritt, erfolgt diese Aktualisierung nicht automatisch, sondern immer erst nach ausdrücklicher Aufforderung durch die "Compute Response"-Taste.

Ein Klick auf die "HDR"-Taste berechnet — mit den zuletzt ermittelten Antwortfunktionen — schließlich ein HDR-Bild. Es prangt auf in einem eigenen Fenster als CinePaint-Bild. Das "32-bit IEEE Float" im Fenstertitel gibt kund, daß tatsächlich ein Gleitkommazahlen-Bild erzeugt wurde. Mit dem CinePaint-Farbenpflücker <Bildmenü> -> "Tools" -> "Color Picker" lassen sich die RGB-Daten auslesen, man bemerkt die Floatzahlen, per Konvention ist 1.0 der hellste darstellbare Wert jedes Farbkanals, in einem HDR-Bild können wohlverstanden jetzt auch Werte über 1.0 dabei sein.

Das im <Bildmenü> unter "Image" -> "Colors" -> "Gamma-Expose" aufzurufende CinePaint-Utensil [3] erlaubt mit dem "expose"-Regler verschiedene Belichtungen zu simulieren und gewissermaßen die Lichtsituationen der Ausgangsbilder noch einmal zu durchlaufen, allein diesmal kontinuierlich. Mit dem "gamma"-Regler kann von der Linearität (γ=1) des Helligkeitsübertragungsprofils abgewichen werden. Werte über 1.0 betonen die dunklen und die hellen Bereiche und rücken Helligkeitsdifferenzen, die bisher im Schwarzen oder Weißen untergingen, ins Sichtbare, auf Kosten natürlich der Auflösung der bisherigen Mitten. Damit lassen sich z.B. Feinheiten des Glühfadens zusammen mit Nuancen aus dunklen Bildstellen in einem einzigen Bild sichtbar machen, wie obiges Beispiel demonstriert. Anspruchsvollere Manipulationen werden natürlich dann auch die Vergrauung noch vermeiden, doch ist das bereits nicht mehr unser Thema hier, hier generieren wir die Ausgangsdaten für derlei.

Das Farbenspiel der Knöpfe

Neu geladene Bilder sind standardmäßig zunächst immer aktiviert.

Der "Init"-Knopf

Zusammengefaßt: Der "Init"-Knopf ist blau, wenn noch gar kein HDR-Kalkulator existiert, er hat Normalfarbe, wenn ein initialisierter HDR-Kalkulator existiert und die benutzten Bilder mit den momentan aktivierten übereinstimmen, er ist gelb, wenn diesbezüglich eine Differenz eingetreten ist; und er ist — gleich in welcher Farbe — inaktiv (ausgegraut), falls eine (Re)Initialisierung auf den gegewärtigen Satz aktivierter Bilder unmöglich ist.

Der "Compute Response"-Knopf

Hartmut Sbosny    <hartmut.sbosny@gmx.de>
Chemnitz, 2005

Fußnoten