ほとんどの測定アプリは、画面が1つ付いた単一の計測器にすぎません。騒音計、コンパス、照度計などです。アプリを開き、数値を読み取り、アプリを閉じる。その数値はアプリを閉じた瞬間に消えてしまいます。
Sentio は、まったく逆の発想で作られています。数値には保存する価値があり、生活の中の何らかの対象に関連付けられるべきであり、その意味は測定値そのものよりも比較から生まれるという前提に基づいています。この前提から、ツール、オブジェクト、工程を連結するアクティビティという3つのコンセプトが生まれました。この3つさえ理解すれば、アプリ全体の仕組みが説明できます。
ツール:測定値の1つの単位
ツールとは、ポケットの中のハードウェアを使って物理世界に問いかける方法のことです。果物を叩いてリングダウンを記録する。カメラをかざして壁の色を読み取る。トーチを表面に向けてどれだけの光が戻ってくるかを測定する。スピーカーからスイープ音を再生し、部屋がその音にどう作用するかを聴く。
現在、26種類のツールがあり、周囲の環境に対して徐々により多くの条件を求めるようになる4つのファミリーに分類されます。
- シングルセンサーツール。スマートフォンは、ただ聴くか、ただ見るか、そのどちらかしか行いません。マイクから得られる音響スペクトル、カメラから得られる光の測定値、加速度センサーから得られる振動特性。部屋の状態について、他に満たすべき条件はありません。
- 複合ツール。2つのセンサーを組み合わせて1つの測定値を得ます。ライトで表面を照らし、そこから戻ってくる光をカメラで測定する。反射率や半透明性を測定できるのは、まさにこの仕組みがあるからです。
- アクティブツール。スマートフォンは単なる観察をやめ、自ら働きかけるようになります。振動モーターがオブジェクトに振動を与え、加速度センサーとマイクがその反応を記録します。スマートフォンが、ハンマーと耳の両方の役割を果たすのです。
- 基準比率ツール。2つのキャプチャを比較します。壁を透過した音と部屋の中での同じ音、ガラスを透過した光と遮るもののない同じ光、といった具合です。これらには、光源や音源の役割を果たすもの(任意のスピーカー、画面、ランプ、あるいは2台目のスマートフォンなど)が必要です。
この最後の要件は、説明書の脚注などではなく、すべてのツールに不可欠な属性として定義されています。そのため、「ツール」タブでフィルターをかけることができます。このスマートフォンだけで、今すぐ1人でできることだけを表示する。あるいは、テーブルの上にもう1台スマートフォンがあるからすべてを表示する、といった具合です。
具体例:このカウンター天板は中身が詰まっているか?
あなたは店で、石製と表記されたカウンターの前にいます。素材のタップテストを開き、スマートフォンを表面から手の幅ほど離して持ち、指の関節でコンコンと3回強く叩きます。それぞれの打撃が伝えるべき内容を語り終えるまで、約50 msしかかかりません。アプリは各打撃の立ち上がりを検出し、リングダウンを分離して、2つの数値を報告します。主な共振周波数と、響きがどれだけ早く減衰するかです。
中身が詰まった石は高い音で響き、ゆっくりと消えていきます。パーティクルボードにラミネートを貼ったものは、より低い音で響き、すぐに消えます。中空の石膏ボードはほとんど響きません。これは画面の判定をそのまま鵜呑みにするのではなく、目の前にあるカウンターと3つ隣の通路にあるカウンターとの違いを読み取る作業です。それにはもう20秒かかりますが、この比較こそが最終的な答えを導き出します。
2つ目の例:冷蔵庫の調子が悪くなっているか?
冷蔵庫から異音がし始めました。音響スペクトルツールを開き、コンプレッサーから30 cmほど離してスマートフォンを構え、5秒間録音します。これで、周波数の「指紋」が得られます。エネルギーがどこに集中しているか、どの高調波が際立っているか、ノイズフロアに対してピークがどれだけ高いか、などがわかります。
それ単体ではただの画像であり、診断ではありません。その真の価値は、来月同じ場所で、再び同じ5秒間を録音し、その2つを重ね合わせて比較できることにあります。8月にはなかった、コンプレッサーの運転周波数の3倍の場所に現れた新しいピークは、冷蔵庫に関する紛れもない事実を示しています。デシベル単位の絶対値では、それは分かりません。
オブジェクト:測定値が何についてのものなのか
これこそが冷蔵庫の例を可能にする部分であり、大半の測定アプリが見落としているコンセプトです。
Sentioは、測定する対象を4つの階層にネストしたカタログとして保持します。カテゴリ(家電など)がオブジェクト(台所の冷蔵庫など)を保持し、そのオブジェクトがシナリオ(「コンプレッサーの異音、左手前、30 cm」といったユースケース)を保持し、その下に測定値そのものが保持されます。シナリオにはデフォルトで使用するツールが紐付けられているため、1か月後に測定を繰り返すのも1タップで済み、おおよその再現ではなく、まったく同じセットアップで測定できます。
事前に分類しておく必要はありません。キャプチャしたデータは未割り当てのまま保存し、後からオブジェクトに関連付けることができます。これはお店でよくあるパターンです。まず測定し、それが何であったかは後から決めるのです。
すべての測定値には、事後的に正解(グランドトゥルース)ラベルを付けることもできます。火曜日にメロンを叩き、土曜日に切って中身を確認したとします。ラベルは火曜日の測定値に付与され、これによってただの録音データが、本物のスマートフォンで測定された本物の果物の学習用サンプルへと生まれ変わります。このループは意図的なものです。ユーザーがツールを使ったからこそ分類器が賢くなるのであり、その逆ではありません。
なぜカタログがこの製品の「誠実な」部分なのか:スマートフォンは、カウンターの天板が御影石かどうかを教えてくれるわけではありません。それができると主張するアプリがあるなら、それはユーザーの期待を裏切るただの勘にすぎません。スマートフォンが本当に得意とするのは、この表面があの表面とは異なること、あるいはこの機械が過去の自分自身とは異なることを教えてくれることです。比較を行うには、過去を保存しておく場所が必要です。その場所こそが、オブジェクトなのです。
アクティビティ:複数のツール、1つの目的
一部の疑問は、1回測定するだけでは解決しません。「寝室の壁は、隣のテレビの音を遮断できるほど厚いか?」という疑問には、基準となるキャプチャと透過したキャプチャが必要です。「聴力検査を受けるべきか?」という疑問には、制御された音量のトーン音を正しい順序で連続して再生し、その結果をまとめて保持する必要があります。「これは何の素材か?」という疑問は、1回のタップの判定を鵜呑みにするよりも、3回のタップ結果が一致する方が信頼できます。
アクティビティは、1つの目的に向けて複数のツールを連携させるガイド付きの手順です。ステップに沿って案内し、各キャプチャの前に満たすべき条件を指示します。そして、ここが強調したい部分ですが、キャプチャ結果が互いに矛盾している場合、あえて答えを出さないようになっています。矛盾したデータを適当に平均化してごまかすようなアクティビティは、アクティビティがないよりも悪質です。不確実性を「もっともらしい数値」へとロンダリング(隠蔽)してしまうからです。
アクティビティのセッションは、意図的に一時的なものとして設計されています。アクティビティを実行して答えを得ても、「オブジェクトに保存」を押すまではカタログに何も書き込まれません。保存した時点で、手動で測定したものと区別がつかない通常の測定値が、通常のオブジェクトの下に書き込まれます。これとは別個に並行して存在するようなデータ形式はありません。
現在、アクティビティは4つあります。以前は7つありました。そのうち3つは、1つのセンサーで2回キャプチャするだけのプロトコルであることが分かりました。何も連携させない手順は変装したツールにすぎないため、ツールへと変更されました。それぞれのコンセプトは、その存在価値を自ら証明しなければならないのです。
固定された計測器ではなく、プラットフォームとして
このセクションの第2段落にあるツールの数は、この投稿を書いている間に3回も変わってしまいました。しかし、それこそが重要なポイントなのです。
測定値は、ツール識別子と、特徴量を含む1つの不透明なペイロードとして保存されます。新しいツールを追加するとは、レジストリにエントリを追加し、そのペイロードを埋める分析を追加することを意味します。これは測定値の保存方法の変更ではなく、移行でもなく、既存の履歴が読み取れなくなる原因にも決してなりません。これは意図的なアーキテクチャ上の賭けであり、これこそが「センサーのリストは増え続ける」という言葉を、単なるマーケティングの文句ではなく約束にしている理由です。
したがって、このアプリを正直に説明するなら、「1つのダウンロードで照度計と騒音計が手に入る」ではありません。すでに所有しているセンサーで物理値を測定し、それらが説明する対象に関連付けて保存し、時間の経過とともにそれらが変化する様子を観察するためのプラットフォームです。新しいツールが登場しても、昨年の冷蔵庫の記録は今年の記録と並べて表示されます。履歴はそのままに、測定器具が進化していくのです。
And all of it runs on the device. Analysis takes under a second, the network is optional, and nothing leaves the phone unless you sign in and press sync. A measurement platform that stops working in a basement, a warehouse or a field is not measuring the world you actually live in.
何から始めるか
センサーにできることとできないことの全体像を知りたい場合は、まずスマートフォンで実際に測定できるものを、次に本物の測定器具との誠実な比較をお読みください。まずは試してみたいという方は、アカウント登録不要のウェブアプリを使って、ブラウザ上で本物の音響スペクトルを記録できます。ハミング音などを発するものにスマートフォンを向けてみてください。