표면을 향한 스마트폰 카메라는 그 표면에 대해 정량적인 정보를 거의 알려주지 못합니다. 사진이 그 순간 우연히 비치는 조명에 좌우되기 때문입니다. 정오와 황혼에 촬영한 주방 상판은 동일한 자재임에도 서로 다른 두 개의 이미지로 보입니다. 카메라는 훌륭한 감지기이지만, 문제는 조명을 알 수 없다는 점입니다.

하지만 스마트폰에는 렌즈에서 불과 몇 밀리미터 떨어진 곳에 자체 광원이 있습니다. 플래시는 조절이 불가능하고, 색상을 바꿀 수도 없으며, 실험실 수준으로 보정되어 있지도 않습니다. 하지만 플래시는 일관적입니다. 켤 때마다 항상 동일한 LED, 동일한 위치, 동일한 출력을 유지합니다. 알려진 빛과 감지기의 조합은 실제 광학 장비의 뼈대와 같습니다. Sentio의 도구 중 두 가지가 바로 이 뼈대를 기반으로 구축되었으며, 빛을 서로 반대 방향으로 향하게 합니다. 하나는 표면에서 빛을 반사시키고, 다른 하나는 빛을 투과시킵니다.

반사: 프레임 쌍이 핵심 비결입니다

반사 도구는 표면 사진을 한 장만 찍는 것이 아닙니다. 동일한 위치에서 플래시를 끈 상태로 한 장, 켠 상태로 한 장, 이렇게 두 장을 촬영한 뒤 그 차이를 분석합니다.

이 두 장의 조합이 핵심 개념입니다. 주변광 프레임에는 창문으로 들어오는 빛, 천장 조명, 그림자 등 실내가 미치는 모든 영향이 기록됩니다. 플래시가 켜진 프레임에는 동일한 장면에 플래시에 대한 표면의 반응이라는 한 가지 요소가 더 기록됩니다. 두 번째 프레임에서 첫 번째 프레임을 빼면 실내의 영향은 대부분 상쇄됩니다. 남는 것은 실행할 때마다 항상 일정한 세기, 위치, 스펙트럼을 가진 빛에 표면이 어떻게 반응했는지뿐입니다. '아무 조명 아래서나 찍은 사진'을 '알려진 자극에 대한 이 표면의 반응'으로 대체한 것이며, 이 값은 측정할 때마다 서로 비교할 수 있습니다.

이 기능이 제대로 작동하려면 카메라가 과도한 편의 기능 제공을 멈춰야 합니다. 자동 노출(AE)은 플래시가 켜진 프레임을 더 밝게 인식하여 임의로 게인(gain)을 낮출 것이고, 자동 화이트 밸런스(AWB)는 각 프레임의 색조를 제각각 보정해 버릴 것입니다. 두 프레임이 더 이상 동일한 기준으로 측정되지 않으므로, 둘 중 어느 쪽이든 뺄셈 연산을 망가뜨립니다. 따라서 이 도구는 한 쌍의 프레임에 대해 AE와 AWB를 고정합니다. 이는 두드림 테스트가 스마트폰의 처리되지 않은 오디오 경로를 사용하는 이유와 동일한 원칙입니다. 스마트폰에 탑재되어 출시되는 이미지 처리 파이프라인은 사물이 보기 좋고 듣기 좋게 보이도록 설계되어 있으므로, 정확한 측정을 위해서는 이러한 기능을 배제해야 합니다.

이것은 어디에 유용할까요? 표면의 색상보다는 표면이 빛을 어떻게 반사하는지가 중요한 모든 상황에 유용합니다:

반투명도: 렌즈를 반대편에 둔 검란

자매 도구는 그 기하학적 배치를 뒤집습니다. 플래시 빛을 표면에 반사시키는 대신, 플래시를 뒤에 두고 샘플을 카메라 렌즈에 밀착시키면 이 도구가 투과되는 빛의 양을 측정합니다. 이때 유용하게도 적색, 녹색, 청색 채널 간에 투과율이 어떻게 다른지까지 측정합니다. 이는 등불에 달걀을 비추어 보던 옛 지혜인 '검란'과 같으며, 스마트폰이 등불과 눈의 역할을 모두 수행합니다.

색상 채널 분리가 중요한 이유는 물질이 스펙트럼 전체에 걸쳐 빛을 균일하게 감쇄시키는 경우가 드물기 때문입니다. 잎사귀는 청색보다 적색을 더 잘 통과시키며, 달걀 속 내용물은 발달 단계에 따라 투과되는 색상을 변화시킵니다. 과일 껍질은 색소가 변함에 따라 빛을 다르게 투과시킵니다. 따라서 측정값은 단순히 '얼마나 많은 빛이 통과했는가'가 아니라 '각 색상의 빛이 얼마나 통과했는가'가 되며, 채널 간의 비율이 단일한 투과 수준보다 더 많은 정보를 제공하고 훨씬 안정적인 경우가 많습니다.

'얼마나 많은 빛이 투과하고 어떤 색상이 살아남는가'가 관건인 사용 사례:

솔직한 경고: 동일한 설정이 아니면 비교할 수 없습니다

반투명도 측정값은 동일한 설정의 측정 간에만 비교할 수 있으며, 서로 다른 설정 간에는 비교할 수 없습니다. 그 이유를 명확히 짚고 넘어갈 필요가 있습니다. 이는 소프트웨어의 한계가 아닌 물리학적 법칙 때문입니다.

샘플을 렌즈에 대고 누르면, 그 접촉 방식 자체가 측정의 일부가 됩니다. 얼마나 세게 누르는지에 따라 샘플의 두께와 밀착 정도가 달라집니다. 정확히 어느 위치에 놓이는지에 따라 플래시에서 센서까지의 경로 길이가 달라집니다. 공기 틈새가 있으면 빛이 산란하지만, 밀착되면 산란하지 않습니다. 이러한 요소는 기록되지 않으므로 보정할 수도 없습니다. 같은 스마트폰에서 같은 방식으로 잡고 측정한 동일한 나뭇잎의 두 값은 신뢰할 만한 비교 대상이 됩니다. 하지만 내 폰으로 측정한 값과 친구의 폰으로 측정한 값(서로 다른 플래시 위치, 다른 렌즈, 다른 압력)을 비교하는 것은 그렇지 않으며, 이 도구는 그렇지 않은 것을 그렇다고 속이지 않습니다.

이것이 바로 플랫폼의 다른 모든 요소를 형성하는 솔직하고 일관된 논리입니다. 즉, 측정값을 상대적으로 일관된 측정 환경 내에서 사용하면 신뢰할 수 있지만, 절대적인 범용 값으로 취급하면 신뢰할 수 없다는 것입니다. 스마트폰 두 대를 사용하는 방음 측정 활동이 바로 이러한 이유 때문에 설계 단계부터 프로토콜 자체에 비율 구조를 반영하도록 공을 들인 이유입니다.

설계 원칙: 절대적인 측정값은 절대 신뢰하지 마세요. 스마트폰 모델마다 플래시 LED가 다르고 카메라 센서의 감도도 다르며, 둘 다 보정되어 있지 않습니다. 따라서 이러한 도구는 차이와 비율(플래시를 켰을 때와 주변 광의 차이, 청색 대비 적색의 비율, 동일한 대상에 대한 이번 주 측정값과 지난주 측정값의 비교 등)을 기반으로 설계되어 알 수 없는 상수들이 서로 상쇄되도록 합니다. 음향 도구들이 따르는 규칙의 광학 버전이라고 할 수 있습니다. 즉, 특성은 장치가 바뀌어도 유지되거나, 그렇지 않다면 솔직하게 단 하나의 장치로만 범위를 제한해야 합니다.

두 개의 도구, 하나의 장비

반사율과 반투명도는 두 가지 구성으로 설계된 동일한 장비입니다. 고정된 광원, 고정된 검출기, 그리고 단일 프레임이 아닌 비교를 통해 계산된 기능으로 구성됩니다. 두 도구 모두 스마트폰에서 전적으로 실행되며, 측정값을 대상 카탈로그에 저장하여 표면이나 샘플의 이력을 누적합니다. 또한 손상된 코팅이나 유정란 여부 등 사후에 실제 데이터(ground-truth) 라벨을 지정할 수 있으므로, 모든 측정은 향후의 학습 데이터가 됩니다.

이 두 가지는 긴 목록 중 일부에 불과합니다. 스마트폰 센서를 어떤 도구로 활용할 수 있는지 전체적으로 둘러보려면 도구 개요부터 시작해 보세요.