Das Pixelraster eines Bildes – die Diskretisierung – begrenzt auf den ersten Blick die Genauigkeit von Positions- und Abstandsangaben von Objekten oder Kanten. Tatsächlich können aber manche Größen, wie z.B. der Schwerpunkt oder die Lage einer Kante im Graustufenbild, in Bruchteilen einer Pixelkantenlänge verlässlich ermittelt werden. In diesem Zusammenhang steht der Begriff „Subpixel-Genauigkeit“. Der Artikel erläutert die Grundprinzipien und stellt heraus, unter welchen Bedingungen Subpixel-Verfahren sinnvoll eingesetzt werden können.

Ein Beispiel: Der Schwerpunkt

Eine wichtige Größe, die mit Subpixel-Genauigkeit ermittelt werden kann, ist der Schwerpunkt eines Objekts im Bild. Der Schwerpunkt wird häufig als Merkmal verwendet, wenn die Position eines Objekts bestimmt werden soll, z.B. bei einer „pick-and-place“-Anwendung in der Robotik. Eine Roboterhand, die nach den beiden großen Orangen in Abb. 1 oben greifen soll, muss irgendwie auf den „Mittelpunkt“ des Objekts zielen und dann den Gegenstand von außen mit einer zangenartigen Greifbewegung umfassen. Dazu wird das RGB-Ausgangsbild zunächst nach HSI umgerechnet und in die drei Kanäle separiert. Der Sättigungs-Kanal bietet den besten Kontrast gegenüber der Umgebung. Das S-Bild wird binarisiert, so dass nur noch weiße und schwarze Pixel vorhanden sind, und anschließend mit einem Median-Filter geglättet. Dann wird eine Zusammenhangsanalyse („labeling“) durchgeführt. Reife Orangen im Sichtbereich des Greifers sind alle zusammenhängenden Flächen, die mehr als 15000 Pixel enthalten. Nach diesem Kriterium bleiben zwei Objekte übrig, die im unteren Teilbild der Abb. 1 deutlich zu erkennen sind. Ihre Flächen betragen 37786 Pixel und 29131 Pixel.

Die genauen Zahlen hängen von der verwendeten Binarisierungsschwelle ab. Die Koordinaten der Schwerpunkte, die der Greifer als Zielpunkte verwenden kann, sind: N ist dabei die Zahl der Pixel im Objekt, xi und yi sind die Koordinaten derObjektpixel. Die Koordinaten (xs, ys) des Schwerpunkts sind bei einem Binärbildobjekt also nichts anderes als die Mittelwerte der x- und y-Koordinaten der Objektpixel. Auch in einem Grauwertbild kann der Schwerpunkt eines Bildbereichs berechnet werden. Die Koordinaten werden dann lediglich noch mit dem Grauwert des jeweiligen Pixels gewichtet, so dass ein gewichtetes Mittel entsteht. Dies entspricht der Begriffsbildung des Schwerpunkts oder Massenmittelpunkts in der Physik, wobei den Grauwerten tatsächliche Gewichte oder Massen entsprechen. Im unteren Teilbild der Abb. 1 liegen die Schwerpunkte der beiden Objekte bei den Koordinaten (1121, 423) und (423, 506). Die Abmessungen des Bildes betragen 1280 x 960 Pixel, und der Nullpunkt des Koordinatensystems liegt in der oberen linken Bildecke.

Robustheit

Wegen der Division durch N ist es unmittelbar einleuchtend, dass sich bei genauer Rechnung für die Koordinaten des Schwerpunkts normalerweise keine ganzen Zahlen, sondern rationale Zahlen ergeben. In der oben genannten Anwendung genügt die Pixel-Genauigkeit jedoch vollkommen, deshalb wurden lediglich die gerundeten Werte angegeben. Es gibt jedoch durchaus Anwendungen, bei denen eine Positionsbestimmung mit „Nachkomma-Genauigkeit“, also mit Subpixel-Genauigkeit, gefordert und sinnvoll ist. Dies ist z.B. bei der Vermessung von Passermarken der Fall, die zur Ausrichtung verschiedener Objekte zueinander verwendet werden. Früher wurden dafür, z.B. in der Drucktechnik, kreuzförmige Marken benutzt. Inzwischen wählt man zu diesem Zweck lieber kreis- oder ringförmige Objekte, deren Position sich automatisch sehr genau erfassen lässt. Ein

Beispiel zeigt Abb. 2. Dabei handelt es sich um einen Ausschnitt aus einer präzise gefertigten Vorlage, die zur geometrischen Kalibrierung von Kameras benutzt wird, so dass z. B. die Korrektur der perspektivischen Verzerrung und der optischen Verzeichnung möglich wird. Das Verfahren beruht auf einer Ausgleichsrechnung auf der Basis der bekannten Abstände der Eichmarken auf der Vorlage. Die Schwerpunkte der kreisförmigen Marken werden dazu mit Subpixel-Genauigkeit aus dem Bild entnommen. Im rechten Teil von Abb. 2 ist das Ergebnis einer Binarisierung dargestellt. Die Szene ist offenbar nicht homogen ausgeleuchtet. Dennoch zerfällt die Grauwertverteilung (Abb. 3) in zwei gut getrennte Bereiche für Vordergrund und Hintergrund.

In Abb. 4 ist oben die ringförmige Marke aus Abb. 2 vergrößert dargestellt. Darunter sind die Resultate der Binarisierung mit den Schwellen 130, 160, 190 und 220 wiedergegeben. Es ist deutlich erkennbar, dass die Fläche des Objekts mit zunehmender Binarisierungsschwelle erheblich anwächst. Die zugehörigen Daten sind in der Tab. 1) in Abhängigkeit von der Binarisierungsschwelle auch für Zwischenwerte zusammengefasst. Die Fläche des Rings nimmt bei dieser Reihe bei einer mittleren Fläche von etwa 1000 Pixeln kontinuierlich um insgesamt etwa 200 Pixel zu, also um etwa 20%. Die Koordinaten des Schwerpunkts hingegen ändern sich nicht systematisch mit dem Schwellwert. Sie verschieben sich insgesamt nur geringfügig, weil durch eine höhere Binarisierungsschwelle dem Objekt rundherum weitere Pixel hinzugefügt werden.

Bei der Mittelung hebt sich dann der Zuwachs auf der einen Seite gegen den auf der anderen Seite annähernd wieder heraus. Obwohl das Objekt mit etwa 1000 Pixeln relativ klein ist und die Szene nicht gut ausgeleuchtet wurde, schwanken die Schwerpunktkoordinaten mit einer Standardabweichung von nur etwa 1/10 Pixelkantenlänge um den Mittelwert (31,33; 31,79). Die gesamte Schwankungsbreite ist etwa dreimal so groß. Selbst ein Bildausschnitt, der wie in Abb. 4 nur 63 x 65 Pixel groß ist, genügt für eine zuverlässige subpixelgenaue Bestimmung der Position eines Objekts.

Subpixel-Genauigkeit bei der Vermessung

In der Praxis kommen weitere Störfaktoren hinzu, z. B. das Rauschen bei der Bildaufnahme mit 8-bit-Analogkameras oder Änderungen der Beleuchtungsverhältnisse, insbesondere bei Anwendungen im Freien. Ob die oben demonstrierte Subpixel- Genauigkeit tatsächlich erreicht werden kann, muss daher immer sorgfältig geprüft werden. Der Schwerpunkt hat sich jedoch in der industriellen Praxis als sehr robustes Merkmal erwiesen. Er wird nicht nur bei der Ausrichtung von flächigen Objekten anhand von Passermarken benutzt, sondern häufig auch in der Robotik, wenn Referenzpunkte in einer Szene gefunden werden sollen, beider geometrischen Kalibrierung oder bei Stereo-Anwendungen, wenn ausgezeichnete Punkte benötigt werden.

Es liegt nahe, die Differenz zwischen den Schwerpunktkoordinaten zweier Objekte zur Vermessung des Abstands zu verwenden. Dazu ist jedoch eine Umrechnung der Pixelkoordinaten im Bildspeicher in Weltkoordinaten erforderlich, im einfachsten Fall durch eine Umrechnung der Pixelkantenlänge in ein Längenmaß. An dieser Stelle soll nur angemerkt werden, dass dabei äußerste Vorsicht ratsam ist. Es gibt eine Fülle von Störeinflüssen, die mit Leichtigkeit die Subpixel-Genauigkeit, die bei der Bestimmung der Schwerpunktkoordinaten im Bild erreicht werden kann, um eine Größenordnung überdecken können. Dazu gehören die perspektivische Verzerrung, die optische Verzeichnung, inhomogene Beleuchtung, Signalrauschen, die Geometrie des Pixelrasters im Bildaufnehmer sowie die Diskretisierung, die Digitalisierung und Übertragung des Bildsignals in den Rechnerspeicher. Die Übertragung der Subpixel-Genauigkeit vom Bild in den realen Raum ist eine Domäne der Präzisionsvermessung, die als ein eigenes, schwieriges Teilgebiet der Bildverarbeitung angesehen werden kann.

Auch der Umfang, der Durchmesser und sogar die Fläche eines Objekts im Bild können subpixel-genau bestimmt werden. Diese Größen hängen jedoch weitaus empfindlicher von Störeinflüssen ab als die Position des Schwerpunkts. Beispielsweise könnte in Abb. 2 der Durchmesser einer der kreisförmigen Markierungen bestimmt werden (das Bild einer Glas- oder Metallplatte mit einem Lochraster sieht bei entsprechender Aufnahmetechnik nicht wesentlich anders aus). Wenn die Fläche A als Zahl der Objektpixel ermittelt wird, kann über die bekannte Beziehung d2 = 4A/π der Wert für den Durchmesser d subpixel- genau berechnet werden.

Alternativ können die Koordinaten mehrerer Pixel auf dem Rand des Objekts bestimmt und auf dieser Basis eine optimale Kreiskontur durch diese Punkte berechnet werden. Dazu genügen bereits drei Punkte, besser ist jedoch eine größere Zahl, so dass eine Ausgleichsrechnung möglich wird, z. B. nach der Methode der kleinsten Quadrate. Das Ergebnis ist dann ein Kreisdurchmesser mit Subpixel-Genauigkeit. Für beide Verfahren ist das Resultat jedoch stark von der Binarisierungsschwelle abhängig, weil sich sowohl die Fläche als auch die Berandung damit verändern. Die verlässliche Anbindung an tatsächliche Abmessungen ist daher sehr schwierig. Außerdem ist in beiden Fällen vorausgesetzt, dass es sich tatsächlich um einen Kreis handelt. Wenn auf der Vorlage eine Ellipse aufgebracht ist, die Bohrung etwas ausgeschlagen oder das Bild leicht verzerrt ist, wird lediglich der Durchmesser eines fiktiven Kreises bestimmt. Die Berechnung beruht hier also auf einem Modell und kann nur so gut sein wie das Modell den tatsächlichen Verhältnissen entspricht.

Subpixel-genaue Bestimmung einer Kantenlage

Oft wird von Subpixel-Genauigkeit im Zusammenhang mit der Bestimmung der Position einer Kante gesprochen. Bei der Vermessung eines Werkstücks tritt diese Fragestellung häufig auf, wenn der Abstand zweier Kanten die gesuchte Messgröße ist. Abb. 5 zeigt ein Beispiel für den Grauwertverlauf an einer gut ausgeprägten Kante eines dunklen Objekts auf hellem Untergrund. Im großen Diagrammfeld sind die mittleren sechs Pixel vergrößert dargestellt. Wegen der Diskretisierung des Bildes mit dem Pixelraster des Bildaufnehmers sind dort nur an den sechs Pixelpositionen die Grauwerte als Messgrößen erfasst. Die durchgezogenen Kurven sind Interpolationen zwischen diesen Grauwerten, die den Verlauf zwischen den Stützstellen annähern sollen. Die kräftige, relativ glatte Kurve ist eine Spline-Interpolation, die etwas wellige Kurve ist eine Approximation mit einem Polynom 5. Grades. Obwohl der Grauwertabfall sich lediglich über einen Bereich von drei Pixeln erstreckt, kann aufgrund des interpolierten Verlaufs die Kantenposition nun subpixel-genau ermittelt werden. Es ist lediglich ein Kriterium erforderlich, das die Kante in der Interpolationsfunktion eindeutig lokalisiert.

Meist wird dafür der Wendepunkt der Funktion benutzt, andere Kriterien sind aber ebenfalls möglich.Der Wendepunkt wird normalerweise irgendwo zwischen zwei Pixelpositionen liegen und führt damit zu einer Kantenlage mit Subpixel-Genauigkeit. Welches Interpolationsverfahren und welches Kriterium am besten geeignet ist, um zu möglichst genauen Messergebnissen zu kommen, können nur Vergleichstests mit einer Maßanbindung entscheiden. Auch hier wird schließlich wieder ein Modell für den Grauwertverlauf zwischen den diskreten Werten an den einzelnen Pixeln verwendet. In der Praxis hängt die Stabilität des Verfahrens wiederum davon ab, ob Störeinflüsse kontrolliert und reduziert werden können. Eine inhomogene Ausleuchtung wirkt sich sehr störend aus, und auch das Rauschen bei der Bildaufnahme ist nicht vernachlässigbar. Gute Ergebnisse werden erreicht, wenn das Grauwertprofil vor der Interpolation zunächst mit einem Gaußfilter geglättet wird. Im Labor sind bereits mit Standard-Analogkameras Subpixel-Genauigkeiten von 1/10 Pixel und besser erreichbar, im industriellen Einsatz etwa 1/5 Pixel.

Resümee

Subpixel-Genauigkeit kann durch Mittelung, z. B. beim Schwerpunkt, durch Ausgleichsrechnung, z. B. bei der Anpassung einer Kreiskontur an mehrere Randpixel, und durch Interpolation erreicht werden, wie z. B. bei der Lokalisierung einer Kante als Wendepunkt des interpolierten Grauwertprofils. Diese Verfahren werden in der Praxis häufig eingesetzt und gehören zum grundlegenden Instrumentarium der Bildverarbeitung. Die verwendeten Modelle müssen jedoch sorgfältig auf ihre Tauglichkeit für die jeweilige Anwendung überprüft werden. Die Anbindung an Absolutmaße, etwa zur Bestimmung des Abstands zweier Kanten in Weltkoordinaten, ist schwierig und wird von vielen äußeren Faktoren störend beeinflusst. Modellbasierte Subpixel-Verfahren sollten nur dann eingesetzt werden, wenn die erforderliche Pixelauflösung auf andere Weise nicht oder nur mit unvertretbarem Aufwand erreicht werden kann.

Prof. Dr. Christoph Heckenkamp FH Darmstadt – University of Applied Sciences Studiengang Optotechnik und Bildverarbeitung heckenkamp@fh-darmstadt.de www.fbmn.fh-darmstadt.de