Apa yang sebenarnya bisa diukur oleh ponsel?

Sebuah ponsel biasanya dijelaskan dari fungsinya — panggilan, foto, aplikasi. Namun, mari kita jelaskan dari apa yang dikandungnya: mikrofon yang cukup terkalibrasi dengan sampling pada 48 kHz, dua atau tiga kamera, senter LED yang terang, motor getar, akselerometer, dan layar yang dapat berkedip pada laju yang presisi. Itu bukan sekadar ponsel. Itu adalah laboratorium kecil dengan layar sentuh.

Sebagian besar aplikasi menggunakan salah satu dari bagian tersebut pada satu waktu, untuk tujuan yang semestinya. Pengukuran yang menarik dimulai saat Anda menggunakannya di luar tujuan aslinya dan secara kombinasi: senter sebagai sumber cahaya untuk kamera, motor getar sebagai pengeksitasi untuk akselerometer, ponsel kedua sebagai bagian lain dari sebuah eksperimen. Pos ini adalah peta dari wilayah tersebut, dalam tiga tingkatan dengan ambisi yang kian meningkat.

Tingkat 1: satu sensor, mendengarkan secara pasif

Alat yang paling sederhana mengarahkan satu sensor ke dunia luar dan menganalisis apa yang kembali:

• Spektrum suara — merekam audio, menghitung spektrum, melihat di mana energi berada. Ini adalah pekerja serbaguna: motor, dengung, gemertak, bunyi berdenting dari objek yang dipukul.
• Uji ketukan — mengetuk buah atau mengetuk suatu bahan dan menganalisis ring-down: resonansi dominan dan seberapa cepat ia meluruh menceritakan lebih banyak tentang apa yang ada di dalamnya daripada yang bisa diungkapkan oleh kenyaringan suara. (Selengkapnya di pos uji ketukan.)
• Getaran — letakkan ponsel di atas mesin cuci, kompresor, pencetak 3D, dan akselerometer akan merekam tanda getaran.
• Warna dan cahaya kamera — pengukuran warna titik, deteksi kedipan/laju kedipan untuk layar dan pencahayaan LED, iluminansi, menghitung objek yang berulang, membaca meteran analog, memperkirakan dimensi.

Disiplin yang menyatukan: pengambilan data harus se-raw mungkin yang diizinkan oleh platform. Di Android, itu berarti meminta jalur mikrofon yang tidak diproses — tanpa kontrol gain otomatis, tanpa peredaman bising yang menulis ulang sinyal yang ingin Anda ukur — dan mengunci eksposur otomatis serta keseimbangan putih kamera kapan pun pengukuran bergantung pada tingkat cahaya yang tetap jujur.

Tingkat 2: ponsel mengeksitasi, lalu mengukur eksitasinya sendiri

Ponsel juga membawa aktuator, dan memasangkan aktuator dengan sensor mengubah pendengaran pasif menjadi instrumen aktif:

• Senter + reflektansi kamera — ambil sepasang bingkai gambar dengan senter mati dan menyala; perbedaannya mengisolasi bagaimana permukaan memantulkan cahaya yang diketahui, sebagian besar meniadakan pencahayaan sekitar ruangan dari hasil pengukuran.
• Senter sebagai iluminan: denyut dan translusensi — tekan ujung jari di atas kamera dengan senter menyala dan kamera menjadi fotodetektor yang mengamati perubahan volume darah pada setiap detak jantung. Optik yang sama mengukur seberapa translusensi suatu bahan.
• Motor getar + akselerometer + mikrofon — ponsel menggetarkan dirinya sendiri terhadap suatu objek sambil merekam bagaimana objek tersebut merespons, baik secara mekanis maupun akustik. Panel berongga dan panel padat akan menjawab secara berbeda.

Alat aktif memiliki sifat yang tidak dimiliki alat pasif: stimulusnya diketahui. Saat Anda mengontrol eksitasi, Anda dapat membangun fitur dari rasio dan respons, alih-alih tingkat absolut — yang membuat hasil dapat dibandingkan di berbagai model ponsel tanpa perlu mengkalibrasi setiap perangkat.

Tingkat 3: dua ponsel, satu eksperimen

Beberapa besaran pada dasarnya bersifat dua sisi: seberapa banyak suara yang dihalangi dinding, seberapa banyak cahaya yang diteruskan jendela. Satu ponsel tidak dapat berada di kedua sisi sekaligus — tetapi dua ponsel bisa, dan sebagian besar rumah tangga memiliki dua ponsel.

Trik yang membuat ini berfungsi tanpa peralatan lab adalah rasio penerima yang sama. Ponsel pemancar memutar stimulus yang mengidentifikasi dirinya sendiri — sapuan nada bertahap, atau layar yang berkedip pada laju yang tetap. Ponsel pengukur menangkap dua kali: sekali dengan jalur langsung ke pemancar (referensi), sekali melalui dinding atau jendela. Hanya rasio dari kedua tangkapan tersebut, yang diambil pada mikrofon atau kamera yang sama, yang digunakan sebagai jawaban. Kenyaringan pemancar, sensitivitas penerima, ruangan — semuanya saling meniadakan. Jadi kedua ponsel tidak memerlukan sinkronisasi jam, tanpa kabel, dan tanpa kalibrasi satu sama lain. (Panduan lengkap di pos insulasi suara.)

Dari pembacaan tunggal ke katalog

Sebuah pembacaan saja hanyalah trivia. Pembacaan menjadi pengetahuan saat dikaitkan dengan benda nyata: melon ini, roda ini, dinding ini, diukur hari ini dan minggu depan lagi. Jadi setiap pengukuran dapat dimasukkan ke dalam objek di dalam katalog — Kategori → Objek → Skenario penggunaan → Pengukuran — dan pengukuran apa pun dapat menerima label fakta riil (ground-truth) setelah kejadian: Anda mengetuk melon, lalu membelahnya, lalu merekam apa yang Anda temukan. Siklus tertutup itu, yang diulangi di banyak pengguna dan banyak objek, adalah cara pengklasifikasi uji ketukan dilatih menggunakan buah asli, alih-alih sampel laboratorium.

Dan untuk pekerjaan alih-alih pembacaan — menyetel roda sepeda, memeriksa insulasi ruangan — aktivitas terpandu merangkai beberapa alat dalam urutan yang benar dan memberi tahu Anda apa yang harus dilakukan di antara pengukuran, serta menulis hasilnya ke dalam katalog yang sama. Pos penyetelan jari-jari memandu Anda melalui aktivitas yang pertama.

Ke mana arah langkah ini

Daftar alat terus bertambah — dan arsitekturnya dibangun sedemikian rupa sehingga menambahkan alat bersifat aditif: entri baru dalam registri, tidak pernah merombak apa yang sudah disimpan. Semuanya berjalan di perangkat, secara offline, dengan hasil di bawah satu detik; pos yang mengutamakan offline menjelaskan mengapa batasan tersebut sangat penting, bukan sekadar pelengkap fitur.