Een telefooncamera die op een oppervlak is gericht, vertelt je bijna niets kwantitatiefs over dat oppervlak, omdat de foto wordt gedomineerd door het licht dat er toevallig op valt. Een aanrecht dat tussen de middag en in de avondschemering wordt gefotografeerd, levert twee verschillende beelden op van hetzelfde materiaal. De camera is een prima detector; het probleem is dat de belichting onbekend is.
De telefoon heeft echter een eigen lichtbron, op een paar millimeter van de lens. De zaklamp is niet instelbaar, de kleur is niet aan te passen en hij is niet in een laboratorium gekalibreerd — maar hij is wel consistent: dezelfde led, dezelfde positie, elke keer dat je hem aanzet hetzelfde vermogen. Een bekend licht plus een detector vormt de basis van een echt optisch instrument. Twee van de tools van Sentio zijn op precies dat principe gebouwd, en ze richten het in tegenovergestelde richtingen: de ene laat het licht van een oppervlak reflecteren, de andere schijnt er doorheen.
Reflectie: het paar frames is de truc
De Reflection-tool maakt geen foto van een oppervlak. Hij maakt er twee vanaf dezelfde positie: één met de zaklamp uit en één met de zaklamp aan, en berekent het verschil.
Dat combineren is het hele idee. Het omgevingsframe registreert alles wat de kamer bijdraagt — licht door het raam, plafondlampen, schaduwen. Het frame met de zaklamp registreert dezelfde scène plus nog iets extra's: de reactie van het oppervlak op de zaklamp. Trek de eerste van de tweede af en de kamer valt grotendeels weg. Wat overblijft is hoe het oppervlak reageerde op een licht waarvan de intensiteit, positie en het spectrum bij elke meting hetzelfde zijn. Je hebt "een foto onder willekeurig licht" vervangen door "de reactie van dit oppervlak op een bekende prikkel" — en die waarde is vergelijkbaar van de ene Meting naar de volgende.
Om dit te laten werken, moet de camera ophouden met helpen. Automatische belichting zou het frame met de zaklamp als helderder zien en de versterking stilletjes omlaag schroeven; automatische witbalans zou elk frame afzonderlijk een andere tint geven. Beide verpesten de aftrekking, omdat de twee frames niet langer op dezelfde schaal gemeten zouden worden. Dus vergrendelt de tool de AE and AWB voor het paar — dezelfde discipline, om dezelfde reden, waarom de tiktest het onbewerkte audiopad van de telefoon gebruikt. De pipelines waarmee telefoons worden geleverd, zijn gebouwd om dingen er goed uit te laten zien en goed te laten klinken; voor een Meting moeten ze juist uit de weg.
Waar is dit goed voor? Overal waar de interessante eigenschap hoe een oppervlak licht terugkaatst is, in plaats van welke kleur het heeft:
- Afwerkingen vergelijken — twee verfmonsters, twee reststukken van een aanrechtblad, satijn versus zijdeglans, gemeten in plaats van op het oog beoordeeld onder showroomverlichting.
- Glans versus mat — een glanzend oppervlak kaatst het licht van de zaklamp scherp terug; een mat oppervlak verstrooit het. Het verschilframe scheidt de twee veel netter dan een enkele foto dat kan.
- Slijtage van een coating — meet gedurende enkele maanden dezelfde plek op een gelakt tafelblad of een autopaneel. Naarmate de lak doffer wordt, verandert de reactie op hetzelfde licht. Omdat elke meting onder hetzelfde Object in je catalogus wordt opgeslagen, is die verandering een geschiedenis die je daadwerkelijk kunt zien.
- Heeft het schoonmaken geholpen? — metingen voor en na op dezelfde plek beantwoorden de vraag met een getal in plaats van een gok.
Translucentie: schouwen, met de lens aan de overkant
De zustertool draait de geometrie om. In plaats van het zaklampricht van een oppervlak te laten reflecteren, druk je het monster tegen de camera-lens met de zaklamp erachter. De tool meet hoeveel licht erdoorheen komt — en, heel handig, hoe die transmissie verschilt tussen de rode, groene en blauwe kanalen. Dit is schouwen — de oude truc waarbij je een ei voor een lamp houdt — waarbij de telefoon zorgt voor zowel de lamp als het oog.
De splitsing in kleurkanalen is belangrijk omdat materialen licht zelden gelijkmatig over het spectrum dempen. Een blad laat rood makkelijker door dan blauw; de inhoud van een ei verandert de doorgelaten kleur naarmate het ei zich ontwikkelt; de schil van fruit laat licht anders door naarmate de pigmenten veranderen. De meting is dus niet alleen "hoeveel is er doorgelaten", maar "hoeveel van elke kleur is er doorgelaten" — en de verhouding tussen de kanalen is vaak informatiever en stabieler dan een op zichzelf staand niveau.
Use cases waarin "hoeveel licht er doorheen gaat en welke kleur overblijft" de vraag is:
- Eieren schouwen — de klassieker, nou met cijfers die je binnen een partij met elkaar kunt vergelijken.
- Gezondheid van bladeren — dezelfde bladpositie op dezelfde plant, van week tot week gevolgd.
- Opaciteit van folie en papier — het vergelijken van kalkpapier, diffusiefilters of verpakkingsfolie van dezelfde rol, of tussen verschillende opties voor een project.
- Fruitschil — pigment- en schilveranderingen zijn zichtbaar in wat er wordt doorgelaten, een ander venster op de rijping dan het akoestische venster.
De eerlijke kanttekening: dezelfde opstelling, of geen vergelijking
Translucentiemetingen zijn vergelijkbaar tussen metingen met dezelfde opstelling, niet tussen verschillende opstellingen — en het is goed om daar eerlijk over te zijn, want de reden is natuurkunde, niet een softwarebeperking.
Wanneer je een monster tegen de lens drukt, wordt de geometrie van dat contact deel van de meting. Hoe hard je drukt, verandert de dikte van het monster en hoe vlak het aansluit. Waar het precies ligt, verandert de weglengte van de torch naar de sensor. Een luchtspleet verstrooit het licht; een nauwer contact doet dat niet. Niets daarvan wordt geregistreerd, dus er kan ook niet voor gecorrigeerd worden. Twee metingen van hetzelfde blad, op dezelfde manier vastgehouden op dezelfde telefoon, zijn een eerlijke vergelijking. Een meting van jouw telefoon vergeleken met een meting van die van een vriend — andere positie van de torch, andere lens, andere druk — is dat niet, en de tool zal niet doen alsof.
Dit is dezelfde redenering, eerlijk toegepast, die al het andere op het platform vormgeeft: gebruik metingen relatief, binnen een consistente opstelling, en ze zijn betrouwbaar; behandel ze als absolute universele waarden en ze zijn dat niet. De geluidsisolatie-activiteit met twee telefoons doet er alles aan om die verhoudingsstructuur in het eigen protocol op te nemen, precies om deze reden.
Ontwerpregel: vertrouw nooit een absoluut niveau. Torch-leds verschillen per telefoonmodel, camerasensoren verschillen in gevoeligheid, en geen van beide is gekalibreerd. Dus deze tools zijn gebouwd op verschillen en verhoudingen — torch-verlicht minus omgevingslicht, rood ten opzichte van blauw, de meting van deze week vergeleken met die van vorige week van hetzelfde object — grootheden waarbij de onbekende constanten tegen elkaar wegvallen. Het is de optische versie van de regel die de akoestische tools volgen: kenmerken moeten de overstap naar een ander apparaat overleven, of eerlijk worden beperkt tot één apparaat.
Twee tools, één instrument
Reflectie en Translucentie zijn hetzelfde instrument in twee configuraties: een vast licht, een vergrendelde detector en een kenmerk dat wordt berekend op basis van een vergelijking in plaats van een enkel frame. Beide draaien volledig op de telefoon, beide slaan hun metingen op in de catalogus met objecten zodat een oppervlak of monster een geschiedenis opbouwt, en beide kunnen achteraf een 'ground truth'-label krijgen — de coating die daadwerkelijk faalde, het ei dat vruchtbaar was — zodat elke meting een toekomstig trainingsvoorbeeld is.
Het zijn twee items in een langere lijst. Voor een volledig overzicht van wat er van de sensoren van een telefoon gemaakt kan worden, begin je bij het overzicht van de tools.