카메라는 눈앞에 들어온 빛을 기록해왔지만, 벽과 모서리 너머의 공간까지 보지는 못했다. 소비자용 라이다와 계산 영상 기술의 결합은 여러 번 반사된 미세한 빛의 흔적을 분석해 숨은 물체의 위치와 형태를 3차원으로 복원하기 시작했다. 이 변화는 자율주행과 로봇, 스마트폰, 재난 구조 기술을 확장하며 카메라가 ‘보는 장치’에서 ‘추론하는 장치’로 진화하고 있음을 보여준다.
[Key Message]
* 카메라는 보이는 장면을 기록하는 장치에서 보이지 않는 공간을 추론하는 장치로 진화하고 있다.
* 소비자용 라이다는 벽과 바닥에 여러 번 반사된 미세한 빛의 흔적을 분석해 숨은 물체의 위치와 형태를 3차원으로 재구성할 수 있다.
* 이번 연구의 핵심은 고가의 센서 대신 움직임과 여러 측정값을 결합해 저가형 하드웨어의 한계를 보완했다는 데 있다.
* 비가시선 영상은 자율주행차와 로봇이 모서리와 장애물 너머의 움직임을 미리 감지해 사고를 예방하는 새로운 안전 기술로 발전할 수 있다.
* 보이지 않는 공간을 감지하는 기술이 일상적인 기기에 탑재될수록 프라이버시와 데이터 관리, 감시의 경계를 둘러싼 기준도 중요해진다.
***
벽과 모서리 너머의 움직임을 3차원으로 재구성하는 카메라의 다음 진화
카메라는 오랫동안 인간의 눈을 확장해온 기술이었다. 눈으로 붙잡기 어려운 짧은 순간을 기록하고, 멀리 있는 풍경을 확대하며, 어둠 속 장면과 미세한 세계까지 보여주었다. 렌즈와 영상 센서의 성능이 발전하면서 카메라는 인간이 볼 수 있는 범위를 넓혀왔다. 그러나 아무리 뛰어난 카메라라도 쉽게 넘지 못하는 한계가 있었다. 렌즈와 물체 사이를 벽이나 장애물이 가로막으면 그 너머를 볼 수 없다는 점이었다.
일반적인 카메라가 영상을 만들려면 물체에서 나온 빛이 렌즈까지 도달해야 한다. 빛이 벽에 가로막히거나 물체가 모서리 뒤에 숨으면 카메라에는 아무것도 나타나지 않는다. 골목 모퉁이에서 접근하는 자전거와 주차된 자동차 뒤에서 도로로 나오는 어린이, 붕괴된 건물 잔해 뒤에 있는 사람은 카메라의 직접 시야에 들어오기 전까지 감지하기 어렵다.
2026년 5월 Nature에 게재된 연구는 이러한 오랜 한계를 소비자용 라이다로 넘어설 수 있는 가능성을 보여주었다. 연구진은 스마트폰에 탑재할 수 있는 수준의 저가형 라이다를 이용해 카메라의 시야 밖에 숨은 물체를 3차원으로 재구성했다. 가려진 물체의 위치와 형태를 복원하고, 여러 물체의 움직임을 추적하며, 보이지 않는 물체의 정보를 이용해 센서 자체의 위치까지 추정했다.
비가시선 영상 기술은 이전에도 연구돼 왔다. 다만 대부분 크고 값비싼 레이저 장비와 고감도 검출기, 정밀한 실험 환경을 필요로 했다. 이번 연구는 100달러 미만의 상용 하드웨어로 비슷한 기능을 구현했다는 점에서 의미가 크다. 특별한 연구실 장비에 머물렀던 기술이 스마트폰과 소형 로봇, 자동차처럼 일상적인 기기에 적용될 수 있는 방향으로 이동하기 시작한 것이다.
물론 스마트폰으로 벽 너머 사람의 얼굴이나 방 안의 모습을 선명하게 볼 수 있게 됐다는 뜻은 아니다. 현재 복원되는 정보는 제한적이며, 복잡한 실제 환경에서 안정적으로 작동하려면 해결해야 할 문제도 많다. 그럼에도 이번 연구가 제시한 변화의 방향은 분명하다. 카메라가 눈앞에 도달한 빛을 기록하는 장치에서 벗어나, 주변 공간에 남겨진 미세한 빛의 흔적을 계산해 보이지 않는 장면을 추론하는 장치로 진화하고 있기 때문이다.
카메라가 볼 수 없었던 공간
사람이 무언가를 본다는 것은 그 물체에서 반사된 빛이 눈에 들어온다는 뜻이다. 햇빛이나 조명이 물체에 닿으면 빛이 여러 방향으로 반사되고, 그중 일부가 눈에 도달하면서 색과 형태를 인식하게 된다. 일반적인 카메라도 같은 원리로 작동한다. 렌즈에 들어온 빛을 영상 센서가 받아들이고, 밝기와 색에 관한 정보를 화면 속 영상으로 바꾼다.
문제는 물체가 벽이나 모서리 뒤에 숨었을 때다. 물체에서 반사된 빛이 렌즈까지 직접 도달하지 못하면 일반 카메라는 그 물체를 기록할 수 없다. 카메라의 해상도가 아무리 높고 렌즈가 아무리 밝아도, 빛이 들어오지 않는 공간의 영상은 만들 수 없다. 기존 카메라의 성능 경쟁은 직접 보이는 장면을 얼마나 선명하고 정확하게 기록하느냐에 집중돼 있었다.
이 한계를 넘어서는 분야가 비가시선 영상이다. 영어로는 엔엘오에스 영상이라고 하며, 센서와 물체 사이에 직접적인 시야가 확보되지 않은 상태에서 숨은 대상을 탐지하고 복원하는 기술을 뜻한다. 비가시선 영상은 물체를 직접 촬영하지 않는다. 대신 벽과 바닥, 천장처럼 주변에 보이는 표면에 남겨진 간접적인 빛의 흔적을 분석해 보이지 않는 물체의 위치와 형태를 추정한다.
빛은 거울처럼 매끄러운 표면에서만 반사되는 것이 아니다. 벽이나 바닥처럼 거칠어 보이는 표면에 부딪힌 빛도 여러 방향으로 흩어진다. 라이다가 보이는 벽을 향해 빛을 쏘면 일부는 센서로 바로 돌아오지만, 일부는 모서리 너머의 공간으로 퍼져나간다. 그 빛이 숨은 물체에 닿은 뒤 다시 벽으로 돌아오고, 벽에서 한 번 더 반사돼 센서에 도달할 수도 있다.
이렇게 여러 차례 반사된 빛은 매우 약하다. 사람의 눈으로는 알아차릴 수 없고, 일반 카메라에서도 주변 밝기와 잡음에 묻히기 쉽다. 하지만 빛이 돌아오는 시간과 반사 패턴을 정밀하게 측정하면 그 속에 숨은 물체에 관한 정보가 남아 있다는 사실을 확인할 수 있다.
빛이 센서에서 출발해 벽과 숨은 물체를 거쳐 돌아오기까지 걸린 시간은 이동 거리에 따라 달라진다. 벽의 여러 지점에서 이 시간을 반복해 측정하면, 숨은 물체가 어느 방향에 있고 얼마나 멀리 떨어져 있는지 추정할 수 있다. 서로 다른 위치에서 얻은 정보를 하나로 결합하면 직접 보이지 않는 공간의 구조를 역으로 복원할 수 있다.
이 과정에서 벽은 일종의 간접적인 거울 역할을 한다. 다만 일반 거울처럼 선명한 상을 비추지는 않는다. 빛을 사방으로 흩뜨리는 거친 반사면이기 때문에 센서가 받아들이는 정보는 매우 흐리고 불완전하다. 따라서 숨은 장면을 복원하려면 약한 신호를 찾아내고, 여러 반사 경로를 구분하며, 잡음 속에서 의미 있는 패턴을 추출하는 복잡한 계산이 필요하다.
비가시선 영상은 단순히 카메라의 시야를 조금 더 넓히는 기술이 아니다. 기존 카메라가 강하고 직접적인 빛을 기록했다면, 비가시선 영상은 여러 번 반사되며 거의 사라질 정도로 약해진 신호에서 공간 정보를 찾아낸다. 보이는 장면을 촬영하는 것이 아니라, 보이는 공간에 남겨진 흔적을 통해 보이지 않는 장면을 계산한다는 점에서 영상 기술의 성격 자체가 달라진다.
반사된 빛으로 물체를 복원하다
라이다는 빛을 이용해 거리를 측정하는 기술이다. 레이저 빛을 발사한 뒤 물체에 반사돼 돌아오기까지 걸린 시간을 측정하면 센서와 물체 사이의 거리를 알아낼 수 있다. 빛은 매우 빠르게 이동하지만 속도가 일정하기 때문에, 왕복 시간을 정밀하게 측정하면 공간의 깊이를 계산할 수 있다.
일반 카메라가 밝기와 색을 기록한다면 라이다는 물체까지의 거리를 기록한다. 같은 장면 안에서도 가까운 물체와 먼 물체가 센서에서 얼마나 떨어져 있는지를 구별할 수 있다. 이러한 특성 때문에 라이다는 자율주행차의 주변 인식과 로봇의 장애물 회피, 건물과 지형의 3차원 측량, 증강현실을 위한 공간 스캔 등에 활용돼 왔다.
스마트폰에 탑재되는 라이다도 기본 원리는 같다. 기기에서 눈에 보이지 않는 적외선 계열의 빛을 발사한 뒤 돌아온 신호를 분석해 주변 공간의 거리 정보를 얻는다. 이를 이용하면 어두운 장소에서도 카메라의 초점을 빠르게 맞추고, 방의 크기를 측정하며, 가구나 실내 공간을 3차원으로 기록할 수 있다. 증강현실에서는 가상의 물체를 실제 바닥이나 탁자 위에 자연스럽게 배치하는 데 활용된다.
그러나 기존 소비자용 라이다는 대부분 센서와 직접 마주한 표면을 측정하는 데 사용됐다. 센서가 벽을 향하면 벽까지의 거리는 알아낼 수 있지만, 벽 뒤나 모서리 너머에 무엇이 있는지는 보여주지 못했다. 이번 연구는 소비자용 라이다가 기록하는 시간별 반사 신호에 주목했다. 벽에서 직접 반사돼 돌아오는 강한 빛뿐 아니라, 여러 표면을 거쳐 조금 늦게 도달하는 약한 빛에도 정보가 담겨 있다고 본 것이다.
숨은 물체를 거쳐 돌아오는 빛은 직접 반사광보다 훨씬 약하다. 센서에서 벽으로, 벽에서 숨은 물체로, 다시 숨은 물체에서 벽으로, 벽에서 센서로 이동하는 동안 빛이 계속 흩어지고 일부는 표면에 흡수된다. 센서가 받아들이는 신호에는 벽 자체의 반사와 주변 조명, 전자적인 잡음, 여러 물체에서 돌아온 정보가 뒤섞여 있다. 이 희미하고 복잡한 신호를 숨은 물체의 3차원 형상으로 바꾸는 것이 비가시선 영상의 가장 어려운 부분이다.
연구진은 한 번의 측정에서 모든 정보를 얻으려 하지 않았다. 여러 순간에 기록한 측정값을 모아 부족한 신호를 보완했다. 어두운 곳에서 스마트폰 카메라가 여러 장의 사진을 연속으로 촬영한 뒤 하나의 밝고 선명한 사진으로 합성하는 방식과 비슷하다. 한 장의 측정값에서는 잡음에 가려진 정보라도 여러 장을 함께 분석하면 반복적으로 나타나는 신호와 우연히 발생한 잡음을 구분할 수 있다.
센서와 물체의 움직임도 적극적으로 활용했다. 일반적인 촬영에서는 움직임이 흔들림과 왜곡을 만드는 방해 요인으로 여겨진다. 하지만 이번 연구에서는 움직임에 따라 서로 다른 위치에서 신호가 측정되는 현상을 새로운 정보의 원천으로 바꾸었다. 센서가 이동하거나 숨은 물체가 움직이면 같은 공간을 조금씩 다른 관점에서 바라본 것과 같은 효과가 생긴다.
여러 위치와 여러 시점에서 수집된 불완전한 신호를 결합하면 실제 센서보다 훨씬 넓은 영역을 측정한 것과 같은 결과를 얻을 수 있다. 작은 센서가 이동하면서 모은 정보를 하나로 합쳐 큰 센서를 사용한 듯한 효과를 만드는 방식이다. 이를 통해 낮은 출력과 제한된 해상도를 지닌 소비자용 라이다에서도 숨은 물체의 위치와 형태를 복원할 수 있었다.
이 지점에서 중요한 변화가 나타난다. 움직임은 더 이상 제거해야 할 오류만이 아니다. 적절한 계산 모델이 있다면 움직임은 센서가 얻지 못했던 새로운 관측점을 제공한다. 값비싼 하드웨어로 한 번에 많은 정보를 수집하는 대신, 저렴한 센서가 이동하면서 얻은 여러 조각을 소프트웨어가 결합한다. 하드웨어의 부족한 성능을 계산과 움직임으로 보완한다는 점이 이번 연구의 핵심이다.
실험실 장비에서 스마트폰급 센서로
비가시선 영상 연구는 이전부터 이어져 왔다. 연구자들은 초고속 레이저와 단일 광자 수준의 빛을 감지하는 검출기, 정밀한 시간 측정 장비를 이용해 벽과 모서리 뒤에 숨은 물체를 복원해 왔다. 빛이 이동하는 시간을 극도로 세밀하게 측정하면 직접 보이지 않는 대상의 위치와 형상을 추정할 수 있다는 사실도 여러 실험을 통해 확인됐다.
그러나 기존 연구 장비는 크고 비쌌다. 강력한 레이저와 고감도 검출기, 정밀한 광학 장치가 필요했고, 센서와 벽의 위치를 세밀하게 맞춰야 했다. 통제된 실험실에서는 비교적 높은 품질의 결과를 얻을 수 있었지만 자동차나 로봇, 휴대기기에 그대로 탑재하기는 어려웠다. 복잡한 보정 작업과 긴 측정 시간도 일상적인 활용을 가로막았다.
소비자용 라이다는 전혀 다른 조건에서 설계된다. 스마트폰이나 소형 기기에 들어가야 하므로 작고 저렴해야 하며, 전력 소비와 발열도 낮아야 한다. 복잡한 설정 없이 바로 작동해야 하고, 사람의 눈과 피부에 안전하도록 빛의 출력도 제한된다. 크기와 비용이 제한된 만큼 공간 해상도와 감도 역시 연구용 장비보다 낮을 수밖에 없다.
이러한 특성은 비가시선 영상을 구현하는 데 불리하다. 숨은 물체를 거쳐 돌아오는 빛은 본래 매우 약한데, 소비자용 센서는 이를 충분히 선명하게 감지하기 어렵다. 공간 해상도가 낮으면 벽의 여러 지점을 세밀하게 구분할 수 없고, 촬영 중 센서와 물체가 움직이면 신호가 뒤섞인다. 기존 방식만으로는 스마트폰급 라이다의 측정값에서 안정적인 3차원 영상을 복원하기 어려웠다.
이번 연구의 의미는 센서 자체를 고성능으로 바꾼 데 있지 않다. 제한된 센서에서 얻을 수 있는 정보를 새롭게 해석했다는 데 있다. 여러 측정값을 결합하고, 센서와 물체의 움직임을 계산 모델에 포함하면서 낮은 레이저 출력과 부족한 공간 해상도를 보완했다. 연구용 장비를 단순히 작게 줄인 것이 아니라, 저가형 센서의 특성에 맞는 새로운 복원 방식을 제시한 셈이다.
연구진은 복잡한 장비 설치와 특수한 보정 과정 없이 스마트폰급 라이다를 이용해 숨은 물체의 3차원 재구성과 단일 물체 및 복수 물체의 추적을 구현했다. 숨은 물체에서 얻은 신호를 바탕으로 센서의 위치를 추정하는 기능도 시연했다. 연구실에 한정돼 있던 기능을 100달러 미만의 상용 하드웨어에서 구현했다는 점은 비가시선 영상 기술의 접근성을 크게 높였다.
디지털카메라의 발전도 비슷한 흐름을 거쳤다. 초기에는 영상 센서의 물리적인 성능을 높이는 것이 화질 개선의 중심이었다. 이후에는 여러 사진을 합성하는 고명암비 촬영과 야간 촬영, 인물 배경 흐림, 손 떨림 보정처럼 계산 기술이 카메라의 성능을 좌우하기 시작했다. 작은 스마트폰 카메라가 제한된 렌즈와 센서로도 좋은 사진을 만드는 이유는 한 번의 촬영만으로 영상을 완성하지 않기 때문이다.
스마트폰은 여러 순간에 수집한 정보를 분석하고 결합해 사람이 보기 좋은 최종 이미지를 만들어낸다. 비가시선 영상도 이러한 계산 영상의 연장선에 있다. 센서가 직접 얻지 못한 장면을 주변에 남은 간접 신호에서 추론한다. 소비자용 하드웨어의 성능이 충분히 높아질 때까지 기다리는 대신, 이미 보급된 센서와 새로운 계산 방식을 결합해 기능을 확장한다.
이는 미래 카메라의 경쟁력이 렌즈와 영상 센서의 사양만으로 결정되지 않을 것임을 보여준다. 같은 하드웨어를 사용하더라도 어떤 신호를 수집하고, 여러 측정값을 어떻게 결합하며, 잡음 속에서 어떤 의미를 찾아내느냐에 따라 전혀 다른 기능이 만들어질 수 있다. 카메라는 단순한 촬영 장치를 넘어 주변 공간을 계산하고 해석하는 장치로 바뀌고 있다.
보이지 않는 물체의 3차원 재구성과 추적
숨은 물체가 있다는 사실을 감지하는 것과 그 물체의 형태를 3차원으로 복원하는 것은 서로 다른 문제다. 단순한 감지는 모서리 뒤에서 무언가 움직이고 있다는 정도만 알아내면 된다. 그러나 3차원 재구성을 위해서는 물체가 어느 방향에 있고, 얼마나 떨어져 있으며, 어느 정도의 크기와 형태를 지니는지까지 추정해야 한다.
연구진은 소비자용 라이다가 기록한 여러 측정값을 결합해 가려진 물체의 3차원 구조를 복원했다. 결과는 일반 카메라 사진처럼 색과 세부 무늬가 선명한 영상은 아니다. 대신 물체가 차지하는 공간과 대략적인 형상, 센서와의 거리 관계를 3차원 정보로 나타낸다. 현재 단계에서는 물체의 정체를 세밀하게 판독하는 기술이라기보다, 보이지 않는 영역에 어떤 구조가 존재하는지를 알아내는 공간 감지 기술에 가깝다.
움직이는 물체를 추적하는 기능은 또 다른 의미를 지닌다. 자율주행차나 로봇에는 숨은 물체의 정교한 외형보다 위치와 이동 방향이 더 중요할 수 있다. 모퉁이 너머에서 접근하는 사람이 어느 방향으로 이동하는지 미리 파악할 수 있다면, 완전한 영상을 얻지 못하더라도 충돌을 피하고 속도를 조절하는 데 도움이 된다.
이번 연구에서는 한 개의 숨은 물체뿐 아니라 여러 물체의 움직임을 구분해 추적하는 기능도 제시됐다. 여러 대상에서 돌아온 반사 신호가 하나의 센서에 뒤섞이는 상황에서 각각의 위치와 움직임을 추정했다는 점이 중요하다. 현실의 도로와 건물 내부에서는 사람과 차량, 로봇, 물건이 동시에 움직이기 때문이다.
숨은 물체를 활용해 센서의 위치를 추정하는 기능도 흥미롭다. 일반적인 위치 인식 기술은 카메라에 직접 보이는 벽과 문, 가구, 도로 표지판 같은 특징을 기준으로 자신의 위치를 계산한다. 주변이 어둡거나 눈에 띄는 특징이 부족하면 위치 추정이 불안정해질 수 있다. 여기에 비가시선 신호를 더하면 센서가 직접 볼 수 없는 공간의 구조까지 위치 판단의 단서로 활용할 수 있다.
이러한 기능은 로봇의 공간 인식 방식을 바꿀 가능성이 있다. 현재 로봇은 센서에 보이는 범위 안에서 지도를 만들고 이동 경로를 계획한다. 앞으로는 모서리 너머의 움직임과 구조까지 제한적으로 추정하며 경로를 선택할 수 있다. 로봇이 복도를 이동하다 교차 지점에 도착하기 전에 반대편에서 다가오는 사람을 감지하거나, 창고 선반 뒤에서 이동하는 다른 로봇의 위치를 파악하는 방식이다.
다만 통제된 환경에서 얻은 연구 성과가 복잡한 현실에서도 그대로 재현된다고 단정할 수는 없다. 벽의 재질과 색, 표면의 거칠기, 주변 조명, 숨은 물체의 반사 특성은 측정 결과에 큰 영향을 미친다. 검은색이나 빛을 잘 흡수하는 물체에서는 반사 신호가 약해지고, 유리나 금속처럼 빛이 특정 방향으로 강하게 반사되는 표면에서는 측정값이 복잡해질 수 있다.
여러 개의 벽과 물체가 있는 공간에서는 빛이 예상보다 많은 경로를 거치며 돌아온다. 하나의 신호가 어느 물체에서 왔는지 구별하기 어려워지고, 잘못된 위치에 물체가 있는 것처럼 복원될 수도 있다. 야외에서는 강한 햇빛이 센서의 적외선 신호를 방해할 수 있으며, 비와 안개, 먼지도 빛의 이동과 반사에 영향을 준다.
측정 거리와 처리 속도 역시 해결해야 할 과제다. 자율주행차는 빠르게 변하는 도로 환경을 실시간으로 판단해야 한다. 여러 측정값을 충분히 모은 뒤 오랜 시간 계산해야 한다면 위험을 피하는 데 사용하기 어렵다. 스마트폰이나 소형 로봇에서도 배터리 사용량과 연산 부하, 센서 발열을 고려해야 한다.
실용화를 위해서는 더 적은 측정값으로 빠르고 안정적인 결과를 얻는 계산 방식이 필요하다. 다양한 벽과 바닥, 조명 환경에서도 성능을 유지해야 하며, 여러 물체가 동시에 움직이는 복잡한 상황에서도 잘못된 감지를 줄여야 한다. 센서가 이동하는 동안 자신의 위치와 방향을 정확히 파악하는 기술도 함께 발전해야 한다.
현재의 성과는 보이지 않는 공간을 완벽하게 촬영하는 단계라기보다, 소비자용 센서에서도 그 공간에 관한 의미 있는 정보를 추출할 수 있음을 보여준 단계다. 선명한 사진과 같은 결과를 기대하기보다는, 기존 카메라가 제공하지 못했던 새로운 안전 정보와 공간 정보를 얻는 기술로 이해하는 편이 정확하다.
카메라의 다음 진화가 시작된다
비가시선 영상이 가장 먼저 활용될 수 있는 분야로는 자율주행이 꼽힌다. 자율주행차에는 카메라와 레이더, 라이다 등 여러 종류의 센서가 탑재된다. 하지만 건물과 담장, 주차된 차량에 가려진 대상은 직접 시야에 들어오기 전까지 감지하기 어렵다. 골목 모퉁이나 교차로에서 갑자기 나타나는 보행자와 자전거는 사람 운전자뿐 아니라 자율주행 시스템에도 큰 위험 요소다.
자동차가 도로 옆 건물이나 바닥에서 돌아오는 간접적인 빛을 분석해 모서리 너머의 움직임을 미리 감지할 수 있다면 대응할 수 있는 시간이 늘어난다. 숨은 사람의 세부 모습을 복원하지 못하더라도 접근하는 물체의 위치와 이동 방향만 알아내면 속도를 줄이거나 정지할 수 있다. 비가시선 영상은 기존 센서를 대체하기보다 카메라와 레이더, 직접 시야 라이다가 놓치는 사각지대를 보완하는 역할을 맡을 가능성이 크다.
로봇 분야에서도 활용 범위가 넓다. 물류창고의 이동 로봇은 선반과 상자 때문에 시야가 자주 가려진다. 병원이나 호텔의 서비스 로봇은 좁은 복도와 교차 지점에서 사람과 마주칠 수 있다. 가정용 로봇은 가구 뒤에서 움직이는 반려동물이나 어린이를 즉시 발견하지 못할 수 있다. 보이지 않는 영역의 움직임을 미리 감지하면 로봇이 속도를 조절하고 더 안전한 경로를 선택할 수 있다.
재난 구조 현장에서는 더욱 직접적인 가치가 생긴다. 화재 현장의 연기와 먼지는 카메라의 시야를 가리고, 붕괴된 건물의 잔해는 구조대원이 내부를 확인하기 어렵게 만든다. 소형 로봇이나 드론에 비가시선 감지 기능이 탑재되면 벽과 잔해 주변에서 돌아오는 간접적인 빛을 이용해 사람의 움직임이나 숨은 공간의 구조를 탐색할 수 있다.
현재 기술만으로 잔해 깊숙한 곳에 있는 사람을 정확히 찾아낼 수 있다고 단정하기는 어렵다. 그러나 구조대원이 위험한 공간에 직접 들어가기 전에 움직임의 흔적과 빈 공간의 존재를 파악하는 보조 기술로 발전할 수 있다. 다른 열 감지 장치나 음향 센서, 레이더와 결합한다면 구조 가능성을 판단하는 데 더 많은 정보를 제공할 수 있다.
스마트폰의 기능도 달라질 수 있다. 스마트폰 라이다는 지금까지 공간 측정과 증강현실, 카메라 촬영 보조에 주로 사용돼 왔다. 비가시선 감지가 가능해지면 사용자가 모서리를 돌기 전에 접근하는 물체를 알려주는 보행 안전 기능이나, 어두운 실내에서 움직임을 파악하는 기능, 복잡한 건물 내부에서 위치를 정밀하게 추정하는 기능으로 확장될 수 있다.
시각장애인을 위한 보조 기술에도 가능성이 있다. 현재의 보행 보조 장치는 카메라와 초음파 센서 등을 이용해 전방의 장애물을 감지한다. 여기에 모서리 너머에서 접근하는 사람이나 이동 물체에 관한 정보가 더해지면 주변 상황을 조금 더 일찍 파악할 수 있다. 다만 실제 보조기기로 사용하려면 잘못된 경고와 감지 실패를 크게 줄이고, 필요한 정보만 진동이나 음성으로 간결하게 전달해야 한다.
증강현실 분야에서는 가상 공간의 범위가 넓어질 수 있다. 현재 증강현실 기기는 센서에 직접 보이는 공간을 중심으로 지도를 만든다. 비가시선 정보가 추가되면 사용자가 방 안을 모두 둘러보기 전에도 주변 공간의 일부를 추정하거나, 가려진 영역에서 움직이는 대상에 맞춰 가상 콘텐츠를 조정할 수 있다.
스마트 안경과 웨어러블 기기가 주변의 보이지 않는 움직임까지 제한적으로 이해하게 된다면 현실과 디지털 정보를 결합하는 방식도 달라질 수 있다. 눈앞에 보이는 장면에 정보를 덧붙이는 수준을 넘어, 보이지 않는 위험이나 공간의 변화를 미리 알려주는 감각 보조 장치로 발전할 수 있다.
그러나 기술의 발전은 프라이버시 문제를 동반한다. 벽이나 모서리 뒤의 움직임을 감지할 수 있다는 것은 안전과 구조에 도움을 줄 수 있지만, 동의 없이 사람의 존재와 행동을 파악하는 감시 기술로 사용될 가능성도 뜻한다. 복원 영상이 선명하지 않더라도 특정 공간에 사람이 있는지, 몇 명이 움직이는지, 어느 방향으로 이동하는지를 알아내는 정보는 충분히 민감할 수 있다.
스마트폰과 로봇처럼 일상적인 기기에 비가시선 감지 기능이 들어간다면 기술적인 성능만큼이나 작동 범위와 데이터 저장 방식, 사용자 고지, 접근 권한에 관한 기준이 중요해진다. 어떤 상황에서 센서를 활성화할 수 있는지, 수집된 원시 신호와 복원 결과를 기기 안에만 저장할지 외부 서버로 전송할지, 타인의 공간을 무분별하게 감지하지 못하도록 어떻게 제한할지를 함께 설계해야 한다.
카메라의 역사는 더 선명한 이미지를 얻는 방향으로 발전해 왔다. 화소 수가 증가했고, 렌즈가 밝아졌으며, 어두운 밤에도 색과 형태를 기록할 수 있게 됐다. 앞으로의 변화는 단순한 화질 경쟁을 넘어설 가능성이 있다. 센서에 직접 들어온 빛만 보여주는 것이 아니라 주변에 흩어진 빛을 분석해 눈에 보이지 않는 공간의 구조와 움직임을 계산하는 방향이다.
소비자용 라이다를 이용한 이번 연구가 완성된 벽 너머 카메라를 내놓은 것은 아니다. 복원 품질과 측정 거리, 처리 속도, 환경 적응성에는 분명한 한계가 있다. 실제 자동차와 스마트폰, 구조 장비에 적용되기까지는 센서와 계산 기술, 안전 기준이 함께 발전해야 한다.
그럼에도 변화의 방향은 선명하다. 과거에는 보이지 않는다는 말이 정보가 존재하지 않는다는 뜻에 가까웠다. 이제는 직접 보이지 않더라도 벽과 바닥에 도달한 빛의 시간과 패턴을 분석해 그 너머를 제한적으로 추론할 수 있다. 값비싼 연구 장비의 영역에 머물던 기술이 스마트폰급 센서로 이동하면서 비가시선 감지는 특별한 실험이 아니라 다양한 기기에 추가될 수 있는 계산 기능으로 바뀌기 시작했다.
미래의 카메라는 장면을 그대로 기록하는 눈에 머물지 않을 수 있다. 눈앞의 이미지와 거리뿐 아니라 사각지대에 남겨진 희미한 신호를 모으고, 여러 순간의 정보를 결합하며, 보이지 않는 공간에서 무엇이 움직이는지를 추정하는 지능형 감각기관으로 발전할 수 있다.
스마트폰급 라이다가 보여준 가능성은 카메라가 단순히 더 멀리 보고 더 선명하게 기록하는 기술을 넘어설 수 있음을 보여준다. 다음 세대의 카메라는 눈앞에 나타난 세계만 촬영하는 것이 아니라, 직접 보이지 않는 공간의 흔적까지 읽어 주변 환경을 더 넓고 빠르게 이해하는 기술로 진화하고 있다.
Reference
Siddharth Somasundaram, Aaron Young, and Ramesh Raskar, Nature, May 2026, “Imaging Hidden Objects with Consumer LiDAR via Motion-Induced Sampling”
Smartphone-Grade LiDAR Sees Objects Hidden from View
Cameras have traditionally recorded only the light directly in front of them, leaving spaces beyond walls and corners unseen. By combining consumer-grade LiDAR with computational imaging, faint traces of multiply reflected light can now be analyzed to reconstruct the positions and shapes of hidden objects in three dimensions. This development could expand autonomous driving, robotics, smartphones, and disaster-response technologies, showing how cameras are evolving from devices that merely see into systems that infer.
[Key Message]
* Cameras are evolving from devices that record visible scenes into systems that infer spaces hidden from direct view.
* Consumer-grade LiDAR can analyze faint traces of light reflected multiple times from walls and floors to reconstruct the positions and shapes of hidden objects in three dimensions.
* The central achievement of the research lies in combining motion and multiple measurements to overcome the limitations of inexpensive hardware rather than relying on costly sensors.
* Non-line-of-sight imaging could become a new safety technology that allows autonomous vehicles and robots to detect movement beyond corners and obstacles before an accident occurs.
* As technology for sensing hidden spaces enters everyday devices, standards governing privacy, data management, and the boundaries of surveillance will become increasingly important.
***
The Next Evolution of the Camera: Reconstructing Movements Beyond Walls and Corners in Three Dimensions
Cameras have long been a technology that extends human vision. They capture fleeting moments that are difficult for the human eye to grasp, magnify distant landscapes, and reveal scenes in darkness and worlds too small to see unaided. As lenses and image sensors have advanced, cameras have steadily expanded the range of what people can see. Yet even the most sophisticated cameras have faced a limitation that is difficult to overcome: they cannot see beyond a wall or obstacle blocking the space between the lens and the object.
For a conventional camera to create an image, light from an object must reach the lens. When that light is blocked by a wall or when an object is hidden around a corner, nothing appears in the camera?셲 image. A bicycle approaching from around a street corner, a child stepping into the road from behind a parked car, or a person trapped behind debris in a collapsed building can be difficult to detect until they enter the camera?셲 direct field of view.
A study published in Nature in May 2026 demonstrated the possibility of overcoming this longstanding limitation using consumer-grade LiDAR. The researchers used an inexpensive LiDAR system comparable to those that can be installed in smartphones to reconstruct objects hidden outside a camera?셲 direct line of sight in three dimensions. They restored the positions and shapes of concealed objects, tracked the movements of multiple objects, and even estimated the position of the sensor itself by using information obtained from objects that could not be seen directly.
Non-line-of-sight imaging technology had already been studied before this work. Most previous systems, however, required large and expensive laser equipment, highly sensitive detectors, and precisely controlled experimental conditions. The new study is significant because it achieved comparable functions with commercially available hardware costing less than 100 dollars. A technology that had remained confined to specialized laboratories has begun moving toward possible applications in everyday devices such as smartphones, compact robots, and automobiles.
This does not mean that a smartphone can now display a clear image of a person behind a wall or reveal the interior of a hidden room. The information that can currently be reconstructed remains limited, and numerous challenges must be solved before the technology can operate reliably in complex real-world environments. Nevertheless, the direction of change presented by the study is unmistakable. Cameras are evolving from devices that merely record light arriving from the visible scene into systems that calculate traces of faint light scattered through the surrounding environment and infer scenes that cannot be seen directly.
Spaces Cameras Could Not See
For people to see something, light reflected from that object must enter their eyes. When sunlight or artificial illumination strikes an object, the light is reflected in many directions. Some of that reflected light reaches the eyes, allowing people to recognize the object?셲 color and shape. Conventional cameras work according to the same principle. An image sensor receives light entering through the lens and converts information about brightness and color into a visible image.
The problem arises when an object is hidden behind a wall or around a corner. When light reflected from the object cannot travel directly to the lens, a conventional camera cannot record it. Regardless of how high the camera?셲 resolution may be or how much light its lens can capture, it cannot create an image of a space from which no light reaches the sensor. Competition in conventional camera technology has therefore focused largely on how clearly and accurately directly visible scenes can be recorded.
Non-line-of-sight imaging is a field that attempts to move beyond this limitation. Commonly abbreviated as NLOS imaging, it refers to technology that detects and reconstructs concealed targets when there is no direct line of sight between the sensor and the object. An NLOS system does not photograph the hidden object directly. Instead, it analyzes indirect traces of light left on visible surfaces such as walls, floors, and ceilings to estimate the position and shape of the object outside the sensor?셲 view.
Light is not reflected only by smooth surfaces such as mirrors. When light strikes a wall or floor that appears rough, it also scatters in many directions. When a LiDAR system directs light toward a visible wall, some of the light returns immediately to the sensor, but another portion may spread into the space beyond a corner. That light may strike a concealed object, return to the wall, reflect once again, and eventually reach the sensor.
Light that has undergone several reflections is extremely weak. It cannot be detected by the human eye and is easily buried beneath ambient illumination and electronic noise in an ordinary camera. Yet when the arrival time and reflection pattern of the returning light are measured precisely, the signal may still contain information about the concealed object.
The time taken for light to leave the sensor, travel to the wall, reach the hidden object, and return varies according to the total distance traveled. By repeatedly measuring this travel time at different points on the wall, researchers can estimate the direction and distance of the hidden object. When measurements obtained from multiple positions are combined, the structure of a space that cannot be seen directly can be reconstructed in reverse.
In this process, the wall serves as a kind of indirect mirror. Unlike an ordinary mirror, however, it does not produce a sharp reflection. Because the rough surface scatters light in every direction, the information received by the sensor is faint and incomplete. Reconstructing the concealed scene therefore requires complex calculations that identify weak signals, distinguish multiple reflection paths, and extract meaningful patterns from noise.
NLOS imaging is not simply a technology that extends a camera?셲 field of view by a small amount. Conventional cameras record strong and direct light, while NLOS imaging extracts spatial information from signals that have become extremely faint after multiple reflections. Its significance lies in a fundamental shift in the nature of imaging: rather than photographing a visible scene, the system calculates an invisible scene from traces left within the visible environment.
Reconstructing Objects from Reflected Light
LiDAR is a technology that uses light to measure distance. It emits laser light and measures how long the light takes to reflect from an object and return to the sensor. Light travels extremely quickly, but because its speed is constant, the distance between the sensor and the object can be calculated by measuring the round-trip travel time with sufficient precision.
Whereas a conventional camera records brightness and color, LiDAR records the distance to surrounding surfaces. It can distinguish how far nearby and distant objects are from the sensor even when they appear within the same scene. Because of this capability, LiDAR has been used for environmental perception in autonomous vehicles, obstacle avoidance in robots, three-dimensional surveying of buildings and terrain, and spatial scanning for augmented reality.
LiDAR installed in smartphones operates according to the same fundamental principle. The device emits infrared light that is invisible to the human eye and analyzes the returning signal to obtain distance information about the surrounding space. This information allows a camera to focus quickly even in dark locations, measure the dimensions of a room, and record furniture or indoor spaces in three dimensions. In augmented reality, LiDAR also helps place virtual objects naturally on real floors and tables.
Existing consumer-grade LiDAR systems, however, have generally been used to measure surfaces directly facing the sensor. When pointed at a wall, the sensor can determine the distance to that wall, but it cannot ordinarily reveal what lies behind the wall or beyond a corner. The new research focused on the time-resolved reflection signals recorded by consumer-grade LiDAR. Instead of examining only the strong light that returns directly from the wall, the researchers also analyzed weaker light that arrives slightly later after passing through several reflections.
Light returning from a concealed object is much weaker than direct reflections. As it travels from the sensor to the wall, from the wall to the hidden object, from the object back to the wall, and finally from the wall to the sensor, it is repeatedly scattered and partly absorbed by surfaces. The signal received by the sensor contains a mixture of direct wall reflections, ambient light, electronic noise, and information returning from multiple objects. Transforming this faint and complicated signal into the three-dimensional form of a concealed object is the most difficult challenge in NLOS imaging.
The researchers did not attempt to obtain all the necessary information from a single measurement. Instead, they collected measurements recorded over multiple moments and combined them to compensate for weak signals. The process resembles the way a smartphone camera captures several photographs in rapid succession in a dark environment and merges them into one brighter and clearer image. Information that is buried beneath noise in a single measurement may become distinguishable when multiple measurements reveal which signals appear repeatedly and which arise only by chance.
The movements of the sensor and the concealed objects were also used actively. In conventional photography, movement is usually treated as a source of blur and distortion that must be eliminated. In this research, however, changes in the measured signal caused by movement were transformed into a new source of information. When the sensor moves or the concealed object changes position, the system effectively observes the same space from slightly different perspectives.
Combining incomplete signals collected across multiple positions and moments can produce an effect similar to measuring the scene with a sensor much larger than the physical device. A small sensor gathers information as it moves, and the system combines the measurements as though they had been collected by a larger sensing surface. This approach enabled a consumer-grade LiDAR system with limited power and resolution to reconstruct the positions and shapes of concealed objects.
An important shift emerges at this point. Movement is no longer merely an error that must be removed. With an appropriate computational model, movement can provide new viewpoints that the sensor could not otherwise obtain. Rather than relying on expensive hardware to collect large quantities of information all at once, inexpensive sensors gather fragments of information while moving, and software combines those fragments. The central achievement of the study lies in using computation and movement to compensate for the limitations of the hardware.
From Laboratory Equipment to Smartphone-Grade Sensors
Research on NLOS imaging has been underway for years. Scientists have used ultrafast lasers, detectors capable of sensing light at the level of individual photons, and highly precise timing equipment to reconstruct objects concealed behind walls and corners. Numerous experiments have confirmed that the positions and shapes of hidden targets can be estimated when the travel time of light is measured with extreme precision.
Conventional research systems, however, have been large and expensive. They required powerful lasers, highly sensitive detectors, and precise optical equipment, while the positions of the sensor and the reflecting wall had to be adjusted carefully. Although relatively high-quality results could be obtained in controlled laboratory settings, the same equipment was difficult to install in cars, robots, or portable devices. Complicated calibration procedures and long measurement times also prevented everyday use.
Consumer-grade LiDAR is designed under entirely different conditions. Because it must fit inside a smartphone or another compact device, it needs to be small, inexpensive, energy-efficient, and thermally manageable. It must operate without complicated setup, and the power of its emitted light must be restricted to ensure safety for human eyes and skin. With strict limitations on size and cost, its spatial resolution and sensitivity are inevitably lower than those of laboratory equipment.
These characteristics place consumer-grade LiDAR at a disadvantage for NLOS imaging. Light returning from hidden objects is already extremely weak, and a consumer sensor may struggle to detect it clearly. Low spatial resolution makes it difficult to distinguish detailed points across a wall, while movement by the sensor or the object can cause signals to overlap. Using conventional methods alone, it has been difficult to reconstruct stable three-dimensional images from measurements collected by smartphone-grade LiDAR.
The significance of the new research does not lie in replacing the sensor with a more powerful one. It lies in reinterpreting the information that can be obtained from a limited sensor. By combining multiple measurements and incorporating the movements of both the sensor and the objects into the computational model, the researchers compensated for low laser power and insufficient spatial resolution. Rather than simply shrinking a laboratory system, they developed a reconstruction method suited to the characteristics of inexpensive sensors.
Without elaborate equipment installation or specialized calibration, the researchers used smartphone-grade LiDAR to achieve three-dimensional reconstruction of hidden objects and to track both single and multiple targets. They also demonstrated a function that estimated the sensor?셲 position using signals obtained from concealed objects. Achieving capabilities previously limited to laboratories with commercially available hardware costing less than 100 dollars significantly improves the accessibility of NLOS imaging technology.
The development of digital cameras followed a similar path. In the early stages, improving the physical performance of image sensors was the central route to better image quality. Later, computational technologies such as high dynamic range photography, night mode, artificial background blur, and image stabilization began to determine camera performance. A small smartphone camera can now produce high-quality photographs despite its limited lens and sensor because it does not complete an image through a single exposure.
A smartphone analyzes and combines information collected over multiple moments to produce the final image seen by the user. NLOS imaging is an extension of this broader movement toward computational imaging. It infers scenes that the sensor cannot obtain directly from indirect signals left in the surrounding environment. Rather than waiting until consumer hardware becomes powerful enough, the technology expands functionality by combining sensors that are already widely available with new computational methods.
This suggests that the competitiveness of future cameras will not be determined solely by lens specifications or image sensor performance. Even when the hardware remains unchanged, entirely different capabilities may emerge depending on which signals are collected, how multiple measurements are combined, and what meaning is extracted from noise. The camera is changing from a simple recording device into a system that calculates and interprets the surrounding space.
Three-Dimensional Reconstruction and Tracking of Hidden Objects
Detecting the existence of a concealed object and reconstructing its form in three dimensions are different challenges. Basic detection only needs to determine that something is moving around a corner. Three-dimensional reconstruction, however, requires estimating the direction of the object, its distance from the sensor, and its approximate size and shape.
The researchers combined multiple measurements recorded by consumer-grade LiDAR to reconstruct the three-dimensional structures of concealed objects. The results do not resemble ordinary camera images with clear colors and fine surface details. Instead, they represent the space occupied by the object, its approximate form, and its distance from the sensor as three-dimensional information. At the present stage, the technology is better understood as a form of spatial sensing that determines what kind of structure exists in an invisible area, rather than as a system that identifies the exact nature of an object in fine detail.
Tracking moving objects has a different kind of significance. For autonomous vehicles or robots, the precise appearance of a hidden object may be less important than its position and direction of movement. If a system can determine in advance which direction a person beyond a corner is moving, it may help prevent a collision and adjust speed even without obtaining a complete image.
The research also presented the ability to distinguish and track the movements of multiple concealed objects rather than just one. This is important because signals reflected from several targets arrive mixed together at a single sensor. The system estimated the respective positions and movements of those targets even under such conditions. Real roads and indoor spaces often contain people, vehicles, robots, and other moving objects at the same time.
The ability to estimate the sensor?셲 location using concealed objects is also noteworthy. Conventional positioning technologies calculate their own location by using directly visible features such as walls, doors, furniture, and road signs. When the environment is dark or lacks distinctive visible features, positioning can become unstable. Adding NLOS signals allows structures outside the direct field of view to serve as additional clues for determining the sensor?셲 location.
This capability could transform the way robots perceive space. Today, robots generally create maps and plan paths based on what their sensors can see directly. In the future, they may be able to choose routes while making limited estimates of structures and movements beyond corners. A robot traveling down a hallway might detect a person approaching from the opposite side before reaching an intersection, or a warehouse robot might identify the position of another robot moving behind a shelf.
However, results achieved in controlled environments cannot automatically be assumed to work in the same way in complex real-world settings. The material and color of a wall, the roughness of its surface, surrounding illumination, and the reflective properties of concealed objects all strongly affect measurement results. Black objects or materials that absorb light produce weaker signals, while glass and metal surfaces that reflect light strongly in particular directions can generate complex measurements.
In a space containing multiple walls and objects, light may travel through far more paths than expected before returning to the sensor. It becomes difficult to determine which object produced a particular signal, and an object may be reconstructed in the wrong location. Outdoors, strong sunlight can interfere with infrared signals, while rain, fog, and dust can also affect the movement and reflection of light.
Measurement range and processing speed are additional challenges. Autonomous vehicles must interpret rapidly changing road conditions in real time. If the system must collect a large number of measurements and perform lengthy calculations afterward, it will be difficult to use the result to avoid immediate danger. Smartphones and compact robots must also take battery consumption, computational load, and sensor heat into account.
Practical implementation will therefore require computational methods that produce fast and stable results from fewer measurements. The technology must maintain performance across different walls, floors, and lighting conditions, and it must reduce false detections in complex situations where multiple objects move simultaneously. Technologies that accurately determine the sensor?셲 own position and orientation while it is moving must also advance alongside NLOS reconstruction.
The present achievement should not be understood as a system that perfectly photographs an invisible space. It is better understood as evidence that meaningful information about such a space can be extracted even with consumer-grade sensors. Rather than expecting a clear photographic image, it is more accurate to view the technology as a new means of obtaining safety and spatial information that conventional cameras cannot provide.
The Next Evolution of the Camera Begins
Autonomous driving is considered one of the first areas in which NLOS imaging could be applied. Autonomous vehicles are equipped with several types of sensors, including cameras, radar, and LiDAR. Yet targets concealed by buildings, walls, or parked vehicles are difficult to detect until they enter the direct field of view. Pedestrians and bicycles that suddenly appear from alleys or intersections pose a major danger not only to human drivers but also to autonomous systems.
If a vehicle could analyze indirect light returning from buildings or the road surface and detect movement around a corner in advance, it would gain more time to respond. Even without reconstructing the detailed appearance of a concealed person, knowing the position and direction of an approaching object could allow the vehicle to slow down or stop. NLOS imaging is therefore more likely to complement existing cameras, radar, and direct-view LiDAR than to replace them, filling the blind spots those sensors cannot cover.
The range of applications is also broad in robotics. Mobile robots in logistics warehouses frequently lose sight of their surroundings because of shelves and boxes. Service robots in hospitals and hotels may unexpectedly encounter people at narrow hallway intersections. Household robots may fail to detect a pet or child moving behind furniture. If robots can sense motion in invisible areas in advance, they can adjust their speed and select safer routes.
The technology may have even more direct value in disaster response. Smoke and dust at fire scenes obstruct cameras, while debris from collapsed buildings makes it difficult for rescue workers to inspect interior spaces. If small robots or drones are equipped with NLOS sensing capabilities, they may be able to use indirect light reflected from walls and debris to search for human movement or identify the structure of concealed spaces.
It would be premature to claim that the current technology can accurately locate people buried deep beneath debris. It could, however, develop into an auxiliary tool that helps rescue workers identify traces of movement or the existence of empty spaces before entering a hazardous area. When combined with thermal sensors, acoustic systems, and radar, it could provide additional information for evaluating rescue possibilities.
Smartphone functions could also change. Smartphone LiDAR has so far been used mainly for spatial measurement, augmented reality, and camera assistance. If NLOS detection becomes possible, it could expand into pedestrian safety functions that alert users to approaching objects before they turn a corner, systems that detect movement in dark interiors, and technologies that determine location more precisely inside complicated buildings.
There is also potential for assistive technology for people with visual impairments. Existing mobility aids use cameras and ultrasonic sensors to detect obstacles ahead. If information about people or moving objects approaching from beyond a corner were added, users could become aware of surrounding conditions slightly earlier. For such systems to function as reliable assistive devices, however, false alarms and missed detections must be reduced substantially, and only essential information should be delivered clearly through vibration or audio.
In augmented reality, the scope of virtual space could expand. Current augmented reality devices create maps mainly from areas directly visible to their sensors. If NLOS information is added, a device may be able to estimate part of the surrounding space before the user has looked around the entire room or adjust virtual content according to objects moving in concealed areas.
If smart glasses and wearable devices become capable of understanding invisible movement in the surrounding environment, even to a limited extent, the relationship between physical and digital information could change. Such devices could move beyond simply overlaying information onto visible scenes and develop into sensory aids that provide advance warnings about hidden dangers or changes in nearby spaces.
Technological progress, however, brings privacy concerns. The ability to detect movement behind a wall or around a corner can support safety and rescue operations, but it also creates the possibility of monitoring people?셲 presence and behavior without their consent. Even when reconstructed images are not visually detailed, information about whether people are present in a particular space, how many people are moving, and in which direction they are traveling can be highly sensitive.
If NLOS sensing is incorporated into everyday devices such as smartphones and robots, standards governing operating range, data storage, user notification, and access rights will become as important as technical performance. Designers will need to determine under what circumstances the sensor may be activated, whether raw signals and reconstructed results should remain on the device or be transmitted to an external server, and how the system can be prevented from indiscriminately sensing private spaces belonging to others.
The history of the camera has been shaped by the pursuit of clearer images. Pixel counts increased, lenses became brighter, and cameras learned to record color and form even in darkness. Future change may move beyond a simple competition over image quality. Cameras may begin analyzing scattered light in the surrounding environment to calculate the structures and movements of spaces that cannot be seen directly.
The new research using consumer-grade LiDAR has not produced a completed camera capable of seeing through walls. There are clear limitations in reconstruction quality, measurement range, processing speed, and environmental adaptability. Sensors, computational methods, and safety standards must all advance before the technology can be applied to real vehicles, smartphones, and rescue equipment.
Even so, the direction of change is clear. In the past, saying that something could not be seen often implied that no usable information was available. Now, even when an object cannot be viewed directly, the timing and patterns of light reaching walls and floors can be analyzed to make limited inferences about what lies beyond. As a technology once confined to expensive research equipment moves to smartphone-grade sensors, NLOS detection is beginning to shift from a specialized experiment into a computational function that could be added to a wide range of devices.
The camera of the future may not remain merely an eye that records a scene as it appears. It could develop into an intelligent sensory system that gathers faint signals left in blind spots, combines information from multiple moments, and estimates what is moving within spaces that cannot be seen.
The possibilities demonstrated by smartphone-grade LiDAR suggest that cameras can move beyond simply seeing farther and recording more clearly. The next generation of cameras may evolve into technologies that not only photograph the world visible before them but also read the traces of hidden spaces and understand the surrounding environment more broadly and rapidly.
Reference
Siddharth Somasundaram, Aaron Young, and Ramesh Raskar, Nature, May 2026, ?쏧maging Hidden Objects with Consumer LiDAR via Motion-Induced Sampling??/div>