Eine Smartphone-Kamera, die auf eine Oberfläche gerichtet ist, liefert fast keine quantitativen Aussagen über diese Oberfläche, da das Bild von dem Licht dominiert wird, das gerade darauf fällt. Eine Küchenarbeitsplatte, die mittags und in der Dämmerung fotografiert wird, ergibt zwei völlig unterschiedliche Bilder desselben Materials. Die Kamera ist ein hervorragender Detektor; das Problem ist, dass die Beleuchtung unbekannt ist.

Das Smartphone besitzt jedoch eine eigene Lichtquelle, nur wenige Millimeter von der Linse entfernt. Die Taschenlampe ist nicht einstellbar, ihre Farbe lässt sich nicht anpassen und sie ist nicht im Laborsinn kalibriert — aber sie ist konsistent: dieselbe LED, dieselbe Position, jedes Mal die gleiche Leistung. Ein bekanntes Licht und ein Detektor bilden das Grundgerüst eines echten optischen Instruments. Zwei der Werkzeuge von Sentio basieren genau auf diesem Gerüst, nutzen es jedoch in entgegengesetzte Richtungen: Das eine wirft das Licht von einer Oberfläche zurück, das andere lässt es hindurchscheinen.

Reflexion: Das Bilderpaar ist der Trick

Das Werkzeug „Reflexion“ macht kein Foto von einer Oberfläche. Es macht zwei: eines mit ausgeschalteter und eines mit eingeschalteter Taschenlampe, aus derselben Position, und ermittelt die Differenz.

Dieses Paar ist der eigentliche Clou. Das Umgebungsbild erfasst alles, was der Raum beiträgt — Licht vom Fenster, Deckenlampen, Schatten. Das von der Taschenlampe beleuchtete Bild erfasst dieselbe Szene plus eine Sache mehr: die Reaktion der Oberfläche auf die Taschenlampe. Subtrahiert man das erste vom zweiten, hebt sich der Raum größtenteils auf. Was übrig bleibt, ist die Reaktion der Oberfläche auf ein Licht, dessen Intensität, Position und Spektrum bei jedem Durchlauf gleich sind. Sie haben „ein Foto unter beliebigem Licht“ durch „die Reaktion dieser Oberfläche auf einen bekannten Stimulus“ ersetzt — und diese Größe ist von einer Messung zur nächsten vergleichbar.

Damit das funktioniert, darf die Kamera nicht mehr eigenmächtig eingreifen. Die Belichtungsautomatik würde das von der Taschenlampe beleuchtete Bild als heller einstufen und im Stillen die Verstärkung herunterregeln; der automatische Weißabgleich würde jedes Bild unabhängig neu einfärben. Beides zerstört die Subtraktion, weil die beiden Bilder nicht mehr auf derselben Skala gemessen würden. Deshalb sperrt das Werkzeug AE und AWB für das Paar — dieselbe Disziplin aus demselben Grund, aus dem der Klopftest den unverarbeiteten Audiopfad des Telefons nutzt. Die werkseitigen Pipelines von Smartphones sind darauf ausgelegt, Dinge gut aussehen und klingen zu lassen; für eine Messung müssen sie uns aus dem Weg gehen.

Wofür ist das gut? Überall dort, wo die interessante Eigenschaft ist, wie eine Oberfläche Licht zurückwirft, und nicht, welche Farbe sie hat:

Transluzenz: Durchleuchten mit der Linse als Kehrseite

Das Schwester-Werkzeug dreht die Geometrie um. Anstatt das Licht der Taschenlampe von einer Oberfläche zurückzuwerfen, drücken Sie die Probe gegen die Kamera-Linse, während sich die Taschenlampe dahinter befindet. Das Werkzeug misst, wie viel Licht hindurchgelangt — und, was besonders nützlich ist, wie sich diese Transmission zwischen dem roten, grünen und blauen Kanal unterscheidet. Das ist Schieren — der alte Trick, ein Ei vor eine Lampe zu halten —, wobei das Smartphone sowohl die Lampe als auch das Auge stellt.

Die Aufteilung in Farbkanäle ist wichtig, da Materialien Licht selten gleichmäßig über das Spektrum dämpfen. Ein Blatt lässt Rot leichter durch als Blau; der Inhalt eines Eies verändert die durchscheinende Farbe im Laufe der Entwicklung; die Schale von Früchten lässt Licht anders durch, wenn sich die Pigmente verändern. Der Messwert lautet also nicht nur „wie viel kam durch“, sondern „wie viel von jeder Farbe kam durch“ — und das Verhältnis zwischen den Kanälen ist oft aussagekräftiger und stabiler als jeder einzelne Absolutwert.

Anwendungsfälle, bei denen die Frage lautet: „Wie viel Licht geht hindurch und welche Farbe bleibt übrig?“:

Die ehrliche Einschränkung: gleicher Aufbau oder kein Vergleich

Transluzenz-Messungen sind nur zwischen Durchläufen desselben Aufbaus vergleichbar, nicht zwischen verschiedenen Aufbauten — und es lohnt sich, das offen anzusprechen, denn der Grund liegt in der Physik, nicht an einer Software-Einschränkung.

Wenn Sie eine Probe gegen die Linse drücken, wird die Geometrie dieses Kontakts Teil der Messung. Wie stark Sie drücken, verändert die Dicke der Probe und wie flach sie aufliegt. Wo genau sie aufliegt, verändert die Weglänge von der Taschenlampe zum Sensor. Ein Luftspalt streut das Licht; ein engerer Safe-Kontakt tut das nicht. Nichts davon wird aufgezeichnet, also kann auch nichts davon korrigiert werden. Zwei Messungen desselben Blattes, auf dieselbe Weise am selben Telefon gehalten, sind ein fairer Vergleich. Eine Messung von Ihrem Telefon im Vergleich zu einer Messung von dem eines Freundes — andere Taschenlampenposition, andere Linse, anderer Druck — ist es nicht, und das Werkzeug wird nicht so tun, als ob.

Dies ist derselbe Gedanke, ehrlich angewandt, der alles andere auf der Plattform prägt: Nutzen Sie Messungen relativ, innerhalb eines konsistenten Aufbaus, und sie sind vertrauenswürdig; betrachten Sie sie als absolute, universelle Werte, und sie sind es nicht. Die Schalldämmungs-Aktivität mit zwei Telefonen betreibt einigen Aufwand, um genau diese Verhältnisstruktur aus genau diesem Grund in ihr eigenes Protokoll einzubauen.

Designregel: Trauen Sie niemals einem absoluten Pegel. Die LEDs der Taschenlampe unterscheiden sich je nach Telefonmodell, Kamerasensoren weisen unterschiedliche Empfindlichkeiten auf und beide sind nicht kalibriert. Daher basieren diese Werkzeuge auf Differenzen und Verhältnissen — mit Taschenlampe beleuchtet minus Umgebungslicht, Rot im Verhältnis zu Blau, der Messwert dieser Woche im Vergleich zum Messwert der letzten Woche für dasselbe Objekt — Größen, bei denen sich die unbekannten Konstanten aufheben. Es ist die optische Variante der Regel, der die akustischen Werkzeuge folgen: Merkmale müssen den Wechsel des Geräts überstehen oder ehrlich auf ein einziges Gerät beschränkt sein.

Zwei Werkzeuge, ein Instrument

Reflexion und Transluzenz sind dasselbe Instrument in zwei Konfigurationen: ein festes Licht, ein fixierter Detektor und ein Merkmal, das aus einem Vergleich statt aus einem einzelnen Bild berechnet wird. Beide laufen vollständig auf dem Telefon, beide speichern ihre Messungen im Objektkatalog, sodass eine Oberfläche oder eine Probe eine Historie aufbaut, und beide können nachträglich mit einer Ground-Truth-Kennzeichnung versehen werden — die Beschichtung, die tatsächlich versagt hat, das Ei, das befruchtet war — sodass jede Messung ein zukünftiges Trainingsbeispiel ist.

Sie sind zwei Einträge in einer längeren Liste. Für einen vollständigen Rundgang darüber, in was sich die Sensoren eines Telefons verwandeln lassen, beginnen Sie mit der Werkzeug-Übersicht.