Kamera ponsel yang diarahkan ke permukaan hampir tidak memberikan informasi kuantitatif apa pun tentang permukaan tersebut, karena gambar didominasi oleh cahaya apa pun yang kebetulan mengenainya. Meja dapur yang difoto pada siang hari dan senja hari menghasilkan dua gambar berbeda dari bahan yang sama. Kamera adalah detektor yang baik; masalahnya adalah pencahayaannya tidak diketahui.

Namun, ponsel membawa sumber cahayanya sendiri, beberapa milimeter dari lensa. Senter tidak dapat disesuaikan, warnanya tidak dapat diatur, dan tidak dikalibrasi dalam standar laboratorium — tetapi senter ini konsisten: LED yang sama, posisi yang sama, output yang sama setiap kali Anda menyalakannya. Cahaya yang diketahui ditambah detektor adalah kerangka dari instrumen optik nyata. Dua dari alat Sentio dibangun di atas kerangka tersebut, dan mengarahkannya ke arah yang berlawanan: satu memantulkan cahaya dari permukaan, yang lain menyinarinya hingga tembus.

Refleksi: triknya ada pada pasangan bingkai

Alat Refleksi tidak mengambil foto dari suatu permukaan. Alat ini mengambil dua foto: satu saat senter mati, satu saat senter menyala, dari posisi yang sama, dan bekerja berdasarkan perbedaan keduanya.

Penyandingan tersebut adalah inti idenya. Bingkai sekitar merekam semua kontribusi ruangan — cahaya jendela, lampu langit-langit, bayangan. Bingkai dengan cahaya senter merekam pemandangan yang sama ditambah satu hal lagi: respons permukaan terhadap senter. Kurangi bingkai pertama dari yang kedua dan sebagian besar pengaruh ruangan akan hilang. Yang tersisa adalah bagaimana permukaan merespons cahaya yang intensitas, posisi, dan spektrumnya sama pada setiap pengujian. Anda telah mengganti "foto di bawah cahaya apa pun" dengan "respons permukaan ini terhadap stimulus yang diketahui" — dan nilai kuantitas tersebut dapat dibandingkan dari satu pengukuran ke pengukuran berikutnya.

Agar ini berfungsi, kamera harus berhenti bersikap "sok membantu". Auto-exposure akan menganggap bingkai yang disinari senter lebih terang lalu menurunkan gain secara diam-diam; auto-white-balance akan mengubah rona warna setiap bingkai secara independen. Keduanya akan merusak proses pengurangan, karena kedua bingkai tidak lagi diukur pada skala yang sama. Jadi, alat ini mengunci AE dan AWB untuk pasangan bingkai tersebut — disiplin yang sama, untuk alasan yang sama, seperti saat uji ketuk menggunakan jalur audio ponsel yang tidak diproses. Alur pemrosesan bawaan ponsel dibuat untuk membuat gambar dan suara tampak bagus; pengukuran membutuhkannya untuk disingkirkan.

Untuk apa ini berguna? Di mana saja properti yang menarik adalah bagaimana suatu permukaan memantulkan kembali cahaya daripada apa warnanya:

Translusensi: candling, dengan lensa sebagai sisi seberang

Alat pendampingnya membalikkan geometri ini. Alih-alih memantulkan cahaya senter dari permukaan, Anda menempelkan sampel ke lensa kamera dengan senter di belakangnya, dan alat ini mengukur seberapa banyak cahaya yang menembusnya — dan, yang berguna, bagaimana transmisi tersebut berbeda antara saluran merah, hijau, dan biru. Ini adalah candling — trik lama mendekatkan telur ke lampu — dengan ponsel yang menyediakan lampu sekaligus matanya.

Pemisahan saluran warna ini penting karena material jarang melemahkan cahaya secara merata di seluruh spektrum. Selembar daun melewatkan warna merah lebih mudah daripada warna biru; isi telur menggeser warna yang ditransmisikan seiring perkembangan telur; kulit buah meneruskan cahaya secara berbeda seiring perubahan pigmen. Jadi hasil pembacaannya bukan sekadar "seberapa banyak yang tembus" melainkan "seberapa banyak dari setiap warna yang tembus" — dan rasio antar saluran sering kali lebih informatif, dan lebih stabil, daripada tingkat tunggal apa pun.

Skenario penggunaan di mana pertanyaannya adalah "seberapa banyak cahaya yang lewat, dan warna apa yang bertahan":

Peringatan jujur: pengaturan harus sama, atau tidak ada perbandingan

Pembacaan translusensi dapat dibandingkan antara pengujian dengan pengaturan yang sama, bukan di antara pengaturan yang berbeda — dan kami perlu menjelaskannya secara gamblang, karena alasannya adalah fisika, bukan batasan perangkat lunak.

Saat Anda menekan sampel ke lensa, geometri dari kontak tersebut menjadi bagian dari pengukuran. Seberapa keras Anda menekan akan mengubah ketebalan sampel dan seberapa rata posisinya. Di mana tepatnya posisi sampel tersebut mengubah panjang jalur dari senter ke sensor. Celah udara membiaskan cahaya; kontak yang lebih rapat tidak. Semua itu tidak direkam, sehingga tidak ada yang bisa dikoreksi. Dua pembacaan dari daun yang sama, yang dipegang dengan cara yang sama pada ponsel yang sama, adalah perbandingan yang adil. Pembacaan dari ponsel Anda dibandingkan dengan pembacaan dari ponsel teman — posisi senter berbeda, lensa berbeda, tekanan berbeda — tidaklah adil, dan alat ini tidak akan berpura-pura sebaliknya.

Ini adalah penalaran yang sama, yang diterapkan secara jujur, yang membentuk segala hal lain di platform ini: gunakan pembacaan secara relatif, dalam konfigurasi alat yang konsisten, maka pembacaan tersebut dapat dipercaya; anggap pembacaan tersebut sebagai nilai universal absolut, maka pembacaan tersebut tidak dapat dipercaya. aktivitas insulasi suara dua ponsel berupaya keras untuk membangun struktur rasio tersebut ke dalam protokolnya sendiri, tepat karena alasan ini.

Aturan desain: jangan pernah memercayai tingkat absolut. LED senter berbeda-beda di setiap model ponsel, sensor kamera berbeda dalam hal sensitivitas, dan keduanya tidak dikalibrasi. Jadi, alat-alat ini dibangun berdasarkan perbedaan dan rasio — cahaya senter dikurangi cahaya sekitar (ambient), merah relatif terhadap biru, pembacaan minggu ini dibandingkan dengan minggu lalu dari objek yang sama — besaran di mana konstanta yang tidak diketahui akan saling menghilangkan. Ini adalah versi optis dari aturan yang diikuti oleh alat akustik: fitur harus tetap berfungsi meskipun perangkatnya berganti, atau secara jujur dibatasi hanya pada satu perangkat.

Dua alat, satu instrumen

Refleksi dan Translusensi adalah instrumen yang sama dalam dua konfigurasi: lampu tetap, detektor terkunci, dan fitur yang dihitung dari perbandingan alih-alih satu bingkai tunggal. Keduanya berjalan sepenuhnya di ponsel, keduanya menyimpan pembacaannya ke dalam katalog objek sehingga permukaan atau sampel memiliki riwayat pengumpulan data, dan keduanya dapat menerima label kebenaran mutlak (ground-truth) setelah kejadian — lapisan yang memang gagal, telur yang fertil — sehingga setiap pengukuran menjadi sampel pelatihan di masa mendatang.

Keduanya adalah dua entri dalam daftar yang lebih panjang. Untuk tur lengkap tentang fungsi apa saja yang bisa dihasilkan dari sensor ponsel, mulailah dengan ringkasan alat.