スマートフォンのカメラを表面に向けても、その表面についての定量的な情報はほとんど得られません。なぜなら、写真はたまたまそこにある光に大きく左右されるからです。正午と夕暮れに撮影したキッチンの天板は、同じ素材であってもまったく異なる2つの画像になります。カメラは優れた検出器ですが、問題は照明が不明である点です。
しかし、スマートフォンにはレンズからわずか数ミリのところに独自の光源が備わっています。そのトーチは、光量の調節も、色の調整もできず、実験室のような厳密な校正も施されていません。しかし、一貫性があります。点灯するたびに、同じLEDが、同じ位置で、同じ出力を放ちます。既知の光と検出器の組み合わせこそが、本物の光学機器の骨組みです。Sentioの2つのツールはまさにこの骨組みに基づいて構築されており、それぞれ逆方向を向いています。一方は表面で光を反射させ、もう一方は光を透過させます。
「反射」：フレームのペアが鍵
「反射」ツールは、表面の写真を1枚撮るだけではありません。同じ位置からトーチがオフの状態とオンの状態で合計2回撮影し、その差分を処理します。
このペアリングこそが、最大のポイントです。環境光のみのフレームには、窓からの光、天井の照明、影など、部屋のあらゆる要素が記録されます。トーチを点灯したフレームには、同じ光景に加えて、トーチに対する表面の反応というもう1つの要素が記録されます。1つ目のフレームから2つ目のフレームを差し引くことで、部屋の光の影響がほぼ相殺されます。残るのは、測定のたびに強度、位置、スペクトルが常に同一である光に、その表面がどう反応したかです。これにより、「そこにある適当な光の下で撮った写真」を「既知の刺激に対するこの表面の反応」に置き換えることができます。そして、この値（測定値）は次の測定値と比較可能になります。
これを機能させるためには、カメラの「お節介な機能」を止める必要があります。自動露出（AE）は、トーチを点灯したフレームを明るいと判断してゲインを静かに下げてしまいます。オートホワイトバランス（AWB）は、それぞれのフレームの色合いを個別に調整してしまいます。どちらも引き算を台無しにします。2つのフレームが同じスケールで測定されなくなってしまうからです。そのため、このツールはペアの撮影中にAEとAWBをロックします。これは、タップテストでスマートフォンの未処理のオーディオパスを使用するのと同じ理由による、同じ基本原則です。スマートフォンに搭載されている画像・音声処理パイプラインは、見た目や音を良くするために構築されていますが、測定値を得るためには、これらを無効にする必要があります。
これは何に役立つのでしょうか？注目すべき性質が「何色であるか」ではなく、表面がどのように光を返すかである場合に有効です：
- 仕上げの比較 — 2つの塗料サンプルや、天板の端材、サテン仕上げとセミグロス仕上げの違いなどを、ショールームの照明の下で目視する代わりに測定します。
- 光沢とマット — 光沢のある表面はトーチの光を鋭く反射し、マットな表面は光を散乱させます。差分フレームを使用すると、1枚の写真よりもはるかに鮮明にこの2つを区別できます。
- コーティングの摩耗 — ニスを塗ったテーブルの天板や車のボディの同じ箇所を、数ヶ月にわたって測定します。コーティングがくすむにつれて、同じ光に対する反応が変化していきます。測定値はカタログ内の同じオブジェクトに保存されるため、この変化の推移を視覚的な履歴として確認できます。
- きれいに掃除できたか？ — 同じ箇所の掃除前後の測定値により、目を細めて見比べる代わりに数値で答えを出すことができます。
「透光性」：カメラレンズを受光部にする検卵法
もう一方のツールは、この配置を反転させます。トーチの光を表面で反射させる代わりに、トーチをサンプルの背後に置き、サンプルをカメラレンズに押し当てます。そして、どれだけの光が透過したか、さらに便利なことに、その透過率が赤・緑・青の各チャンネルでどのように異なるかを測定します。これは、卵をランプにかざす古典的な手法「検卵」と同じですが、スマートフォンがランプと目の両方の役割を果たします。
カラーチャンネルの分割が重要なのは、物質がスペクトル全体で均等に光を減衰させることがほとんどないからです。木の葉は青よりも赤の光を通しやすく、卵の内部は発育に伴って透過する色を変化させ、果物の皮は色素の変化によって光の透過の仕方が変わります。そのため、測定値は単に「どれだけの光が通り抜けたか」ではなく、「それぞれの色がどれだけ通り抜けたか」になります。そして、チャンネル間の比率は、単一の数値よりも情報量が多く、安定していることがよくあります。
「どれだけの光が通り抜け、どの色が残るか」が重要となるユースケース：
- 卵の検卵 — 古典的な手法を、群全体で比較可能な数値を使って行えます。
- 葉の健康状態 — 同じ植物の同じ位置にある葉を、毎週追跡測定します。
- フィルムや紙の不透明度 — トレーシングペーパー、拡散ゲル、同じロールから切り出した包装フィルムの比較、あるいは採用候補となる資材同士の比較。
- 果物の皮 — 色素や皮の変化は透過光に現れ、音響的な手法とは異なる角度から熟度を観察できます。
注意点：同じセットアップでなければ比較できません
透光性の測定値は、同じセットアップでの測定間でのみ比較可能であり、異なるセットアップ間では比較できません。その理由はソフトウェアの制限ではなく、物理法則にあるため、ここを明確にしておく価値があります。
サンプルをレンズに押し当てると、その接触状態（ジオメトリ）が測定値の一部になります。押し当てる強さによって、サンプルの厚みやどれだけ密着するかが変わります。正確にどの位置に置くかによって、トーチからセンサーまでの光路長が変わります。空気の隙間があると光が散乱しますが、密着していると散乱しません。こうした情報は一切記録されないため、補正することもできません。同じスマートフォンの上で、同じように保持された同じ葉の2つの測定値であれば、公正な比較になります。自分のスマートフォンでの測定値と、友人のスマートフォンでの測定値（トーチの位置も、レンズも、押し当てる圧力も異なる）との比較は公正ではなく、このツールもそうでないかのように取り繕うことはしません。
これは、誠実に応用するならば、このプラットフォーム内の他のすべての設計を方向付けるのと同じ理屈です。一貫したセットアップ内で測定値を相対的に使用するのであれば信頼できますが、絶対的な普遍の値として扱うのであれば信頼できません。2台のスマートフォンを使用する遮音性能のアクティビティが、まさにこの理由から、その比率の構造を独自のプロトコルに組み込むためにわざわざ手厚い手順を踏んでいるのもそのためです。
設計ルール：絶対に絶対レベルを信用しないこと。トーチのLEDはスマートフォンの機種によって異なり、カメラセンサーの感度も異なり、どちらもキャリブレーションされていません。そのため、これらのツールは差分や比率（トーチ点灯時マイナス環境光、青に対する赤の割合、同じオブジェクトの先週の測定値に対する今週の測定値など）に基づいて構築されており、未知の定数が相殺されるようになっています。これは、音響ツールが従う『特徴量はデバイスの変更に耐えるものでなければならず、そうでなければ誠実に対象を1台のデバイスに限定すべきである』というルールの光学版です。
2つのツール、1つの器具
『反射』と『透光性』は、2つの構成を持つ同じ器具です。固定された光源、ロックされた検出器、そして単一のフレームからではなく比較から計算される特徴量です。どちらも完全にスマートフォン上で動作し、測定値をオブジェクトのカタログに保存するため、表面やサンプルの履歴が蓄積されます。また、どちらも事後的に正解ラベル（剥がれてしまったコーティング、有精卵だった卵など）を付与できるため、すべての測定値が将来のトレーニングサンプルになります。
これらは長いリストの内の2つの項目にすぎません。スマートフォンのセンサーがどのようなものに生まれ変わるのか、その全体像を知るには、まずツールの概要からご覧ください。