학습 없이, 기하광학으로 렌즈 배열 영상을 3D로 재구성합니다
렌즈 배열로 찍고, 재배열하고, 재구성하기
브라우저가 3D 장면을 렌즈 배열로 촬영하고 논문 방법(RIM)으로 계산합니다. 화면을 누르면 소리와 함께 시작합니다.
추정 · 64개 시점이 깊이(평면)마다 얼마나 일치하는지 그린 층입니다. 측정한 3D가 아니며, 깊이 축은 미터가 아니라 시차(px/시점)입니다. 흐리게 퍼진 곳은 시점들이 한 깊이로 모이지 않은 곳입니다.
Lytro 데이터: Stanford Lytro Light Field Archive, occlusions_26 (Raj 외, 2016) · 일부를 잘라 비상업적 시연에 사용
그림논문 방법 RIM, ICMV 2026 최우수 포스터상 · 어떻게 만들었나 →
이 기기에서는 실험실 애니메이션을 띄울 수 없어 연구 결과 이미지로 대신합니다.
3단계에서 재구성 거리를 직접 움직일 수 있습니다
입력에서 결과 지표까지
논문 세 갈래를 같은 단계로 나란히 그렸습니다. 노드를 누르면 그 단계의 방법과 결과가 나옵니다.
-
- 데이터
- Stanford Lytro 라이트필드 7개 장면으로 평가했습니다. 렌즈 하나가 만드는 요소 영상은 몇 픽셀 크기로 작습니다.
-
- 방법
- (렌즈 번호, 렌즈 안 픽셀 위치)를 맞바꾸는 일대일 재배열(Ray-based Inverse Mapping). 텔레센트릭 촬영과 정사영 재촬영 조건에서 보간이 없어 양자화 오차가 0입니다.
- 발표
- ICMV 2026, 부다페스트 · 최우수 포스터상
- 자세히
- RIM·iRIM 페이지
-
- 방법
- 재배열한 시점 영상을 컴퓨터 집적영상 재구성(CIIR)의 앞 단계로 쓰고, 요소 영상을 그대로 쓴 경우와 비교했습니다.
-
- 결과
- Lytro 7개 장면에서 PSNR 23.31 → 25.70 dB, SSIM 0.741 → 0.877, 사전학습 YOLO 검출 mAP50 0.665 → 0.776.
-
- 데이터
- 9×9 요소 영상과 카메라 파라미터, 재생할 깊이.
-
- 방법
- 양자화 오차를 줄이는 원점을 찾으려고 재생을 반복하던 탐색을, 카메라 파라미터만으로 하는 계산으로 바꿨습니다. 논문 실험에서 반복 탐색과 같은 원점·SSIM을 얻었습니다.
- 발표
- ITC-CSCC 2025(서울, 포스터) · ITC-CSCC 2026(방콕, 구두)
-
- 결과
- 9×9 요소 영상 기준, 원점을 고르기 위한 재구성이 81번에서 1번으로 줄었습니다.
- 기술
- Python
- NumPy
- CuPy
-
- 결과
- CPU 0.31초(논문 측정), GPU(CuPy, RTX 3090) 0.0057 s. 반복 탐색의 25.45초는 1회 0.3142초 × 81로 낸 추정치입니다.
- 코드
- origin-point-optimization-vcr
-
- 데이터
- 여러 위치에서 렌더링한 시점 영상.
-
- 방법
- RIM이 일대일 대응이라 거꾸로도 쓸 수 있습니다. 다시점 영상에서 원하는 가상 렌즈 배열의 요소 영상을 합성합니다.
- 발표
- ICCAS 2026, 삿포로 · 포스터 발표
-
- 결과
- 24인치 FHD 패널에 맞춘 6×6 구성(렌즈 320×180개). 모든 시점 영상의 유효 영역이 100%로, 렌즈 배열 카메라 시뮬레이션의 모서리 시점(6.7%)과 비교됩니다.
네 가지 주제

실시간 집적영상: 한 번 검출하고, 상자 안만 다시 초점 맞추기
실제 Lytro 렌즈 배열 영상 한 장에서 물체마다 상자와 깊이를 GPU로 실시간 추정합니다. 깊이 평면마다 검출하던 방식 대신 한 번 검출하고 상자 안에서만 리포커싱합니다.
Lytro 데이터: Stanford Lytro Light Field Archive, occlusions_25 (Raj 외, 2016)
실제 Lytro 영상 1장 16.4 ms (초당 61장, RTX 3090)
저조도·안개 영상 화질 개선
어두운 곳이나 안개 속에서 찍은 사진을 한 장씩 처리해 또렷하게 만듭니다. 위 그림은 공개 데이터의 어두운 사진 예시입니다.
공개 데이터: SI-HDR (Hanji et al., SIGGRAPH 2022, CC BY 4.0)
한 장씩 처리
RIM·iRIM: 렌즈 배열 영상의 각도 정보를 공간 해상도로
렌즈 배열 영상의 픽셀을 보간 없이 일대일로 재배열해 시점 영상을 만들고(RIM), 거꾸로 다시점 영상에서 가상 렌즈 배열 요소 영상을 합성합니다(iRIM). 위 실험실의 2단계가 RIM입니다.
Lytro 7개 장면 PSNR +2.39 dB · SSIM +0.14 (논문 기재값)

원점 최적화: 체적 컴퓨터 재생을 선명하게, 그리고 빠르게
체적 컴퓨터 재생(VCR)의 양자화 오차를 원점 최적화로 줄이고, 그 원점을 반복 탐색 없이 카메라 파라미터로 계산합니다.
재구성 81번 → 1번 (논문 0.31 s, 반복 방식은 추정 25.45 s)국제학회 1저자 논문 4편과 국내 발표
- ICMV 202619th · 부다페스트
Angular-to-Spatial Information Redistribution via Ray-based Inverse Mapping
- ICCAS 2026삿포로
Virtual Lens Array Synthesis from Multi-View Images via iRIM
- ITC-CSCC 2026방콕
Accelerated Origin Point Optimization for Volumetric Computational Reconstruction
- ITC-CSCC 2025서울
Image Enhancement of Volumetric Computational Reconstruction Using Origin Point Optimization
- 한국광학회 2024국내 · Photonics Conference
원점 최적화를 이용한 체적 컴퓨터 재생의 이미지 향상
수업 과제에서 석사 연구까지
- 2022비전·ML 출발점수업 프로젝트로 한 상관 필터·VCR 깊이 추정(MATLAB · 코드)이 지금 연구의 출발점입니다. 같은 해 딥러닝 프레임워크 없이 역전파·모멘텀 경사하강을 직접 구현한 MNIST CNN(MATLAB)을 만들었고, 비전에 관심을 갖게 된 것은 졸업작품 Smart Mirror(2인 팀: Raspberry Pi, OpenCV LBPH 얼굴인식, Kakao 음성인식 API)부터입니다.
- 2024.08 – 2025.03한경국립대학교 3차원영상처리시스템 연구실 학부연구생지도교수 조명진. ITC-CSCC 2025 논문의 선행 연구로 Photonics Conference 2024 1저자 포스터
- 2025.04 – 현재규슈공업대학교 대학원 석사과정라이트필드·집적영상 3D 재구성. 지도교수 이민철(Min-Chul Lee)2027년 3월 석사 졸업 예정
- 2026로타리 요네야마 기념장학회 장학생국제로타리 제2700지구 일본어 면접 전형으로 선발