이형주 Hyeongju Lee
연구 규슈공업대학교 대학원 정보창성공학전공 석사과정 · 지도교수 이민철(Min-Chul Lee)

학습 없이, 기하광학으로 렌즈 배열 영상을 3D로 재구성합니다

ICMV 2026 최우수 포스터상국제학회 1저자 논문 4편
01 직접 해보기

렌즈 배열로 찍고, 재배열하고, 재구성하기

브라우저가 3D 장면을 렌즈 배열로 촬영하고 논문 방법(RIM)으로 계산합니다. 화면을 누르면 소리와 함께 시작합니다.

물체
렌즈 배열
센서
재구성 면

그림논문 방법 RIM, ICMV 2026 최우수 포스터상 · 어떻게 만들었나 →

3단계에서 재구성 거리를 직접 움직일 수 있습니다

–
02 연구 흐름

입력에서 결과 지표까지

논문 세 갈래를 같은 단계로 나란히 그렸습니다. 노드를 누르면 그 단계의 방법과 결과가 나옵니다.

제 방법 (1저자)입력 데이터
  1. 데이터
    Stanford Lytro 라이트필드 7개 장면으로 평가했습니다. 렌즈 하나가 만드는 요소 영상은 몇 픽셀 크기로 작습니다.
  2. 방법
    (렌즈 번호, 렌즈 안 픽셀 위치)를 맞바꾸는 일대일 재배열(Ray-based Inverse Mapping). 텔레센트릭 촬영과 정사영 재촬영 조건에서 보간이 없어 양자화 오차가 0입니다.
    발표
    ICMV 2026, 부다페스트 · 최우수 포스터상
    자세히
    RIM·iRIM 페이지
  3. 방법
    재배열한 시점 영상을 컴퓨터 집적영상 재구성(CIIR)의 앞 단계로 쓰고, 요소 영상을 그대로 쓴 경우와 비교했습니다.
  4. 결과
    Lytro 7개 장면에서 PSNR 23.31 → 25.70 dB, SSIM 0.741 → 0.877, 사전학습 YOLO 검출 mAP50 0.665 → 0.776.
ITC-CSCC 2025 · 2026원점 최적화 VCR
  1. 데이터
    9×9 요소 영상과 카메라 파라미터, 재생할 깊이.
  2. 방법
    양자화 오차를 줄이는 원점을 찾으려고 재생을 반복하던 탐색을, 카메라 파라미터만으로 하는 계산으로 바꿨습니다. 논문 실험에서 반복 탐색과 같은 원점·SSIM을 얻었습니다.
    발표
    ITC-CSCC 2025(서울, 포스터) · ITC-CSCC 2026(방콕, 구두)
  3. 결과
    9×9 요소 영상 기준, 원점을 고르기 위한 재구성이 81번에서 1번으로 줄었습니다.
    기술
    • Python
    • NumPy
    • CuPy
  4. 결과
    CPU 0.31초(논문 측정), GPU(CuPy, RTX 3090) 0.0057 s. 반복 탐색의 25.45초는 1회 0.3142초 × 81로 낸 추정치입니다.
    코드
    origin-point-optimization-vcr
  1. 데이터
    여러 위치에서 렌더링한 시점 영상.
  2. 방법
    RIM이 일대일 대응이라 거꾸로도 쓸 수 있습니다. 다시점 영상에서 원하는 가상 렌즈 배열의 요소 영상을 합성합니다.
    발표
    ICCAS 2026, 삿포로 · 포스터 발표
  3. 결과
    24인치 FHD 패널에 맞춘 6×6 구성(렌즈 320×180개). 모든 시점 영상의 유효 영역이 100%로, 렌즈 배열 카메라 시뮬레이션의 모서리 시점(6.7%)과 비교됩니다.
개선원점을 고르는 재구성 81번 → 1번논문 측정 0.31 s · 반복 방식의 25.45 s는 추정치
03 주제

네 가지 주제

깊이마다 초점이 바뀌다가 물체별 상자와 깊이가 표시되는 결과
석사 학위논문 (준비 중)

실시간 집적영상: 한 번 검출하고, 상자 안만 다시 초점 맞추기

실제 Lytro 렌즈 배열 영상 한 장에서 물체마다 상자와 깊이를 GPU로 실시간 추정합니다. 깊이 평면마다 검출하던 방식 대신 한 번 검출하고 상자 안에서만 리포커싱합니다.

Lytro 데이터: Stanford Lytro Light Field Archive, occlusions_25 (Raj 외, 2016)

실제 Lytro 영상 1장 16.4 ms (초당 61장, RTX 3090)
어두운 사진의 입력과 결과가 번갈아 보이는 그림
특허 출원 준비 중

저조도·안개 영상 화질 개선

어두운 곳이나 안개 속에서 찍은 사진을 한 장씩 처리해 또렷하게 만듭니다. 위 그림은 공개 데이터의 어두운 사진 예시입니다.

공개 데이터: SI-HDR (Hanji et al., SIGGRAPH 2022, CC BY 4.0)

한 장씩 처리
iRIM으로 합성한 6×6 렌즈 배열 요소 영상
ICMV 2026 최우수 포스터상 · ICCAS 2026 포스터 발표

RIM·iRIM: 렌즈 배열 영상의 각도 정보를 공간 해상도로

렌즈 배열 영상의 픽셀을 보간 없이 일대일로 재배열해 시점 영상을 만들고(RIM), 거꾸로 다시점 영상에서 가상 렌즈 배열 요소 영상을 합성합니다(iRIM). 위 실험실의 2단계가 RIM입니다.

Lytro 7개 장면 PSNR +2.39 dB · SSIM +0.14 (논문 기재값)
고정 원점으로 재생한 해상도 차트최적화한 원점으로 재생한 해상도 차트
ITC-CSCC 2025 포스터 · ITC-CSCC 2026 구두 발표 · 코드 공개

원점 최적화: 체적 컴퓨터 재생을 선명하게, 그리고 빠르게

체적 컴퓨터 재생(VCR)의 양자화 오차를 원점 최적화로 줄이고, 그 원점을 반복 탐색 없이 카메라 파라미터로 계산합니다.

재구성 81번 → 1번 (논문 0.31 s, 반복 방식은 추정 25.45 s)
04 논문

국제학회 1저자 논문 4편과 국내 발표

  1. ICMV 202619th · 부다페스트

    Angular-to-Spatial Information Redistribution via Ray-based Inverse Mapping

    Hyeongju Lee, Myungjin Cho, Min-Chul Lee · 포스터 발표 최우수 포스터상 · RIM
  2. ICCAS 2026삿포로

    Virtual Lens Array Synthesis from Multi-View Images via iRIM

    Hyeongju Lee, Myungjin Cho, Min-Chul Lee · 포스터 발표 · iRIM
  3. ITC-CSCC 2026방콕

    Accelerated Origin Point Optimization for Volumetric Computational Reconstruction

    Hyeongju Lee, Myungjin Cho, Min-Chul Lee · 구두 발표 · 코드
  4. ITC-CSCC 2025서울

    Image Enhancement of Volumetric Computational Reconstruction Using Origin Point Optimization

    Hyeongju Lee, Gilsu Yeo, Myungjin Cho, Min-Chul Lee · 포스터 발표 · 코드
  5. 한국광학회 2024국내 · Photonics Conference

    원점 최적화를 이용한 체적 컴퓨터 재생의 이미지 향상

    이형주, 권상현, 김성일, 김유진, 유승진, 구정식, 박지용, 조명진 · 국내 포스터 발표 (ITC-CSCC 2025의 선행 연구)
05 연구 이력

수업 과제에서 석사 연구까지

  1. 2022
    비전·ML 출발점수업 프로젝트로 한 상관 필터·VCR 깊이 추정(MATLAB · 코드)이 지금 연구의 출발점입니다. 같은 해 딥러닝 프레임워크 없이 역전파·모멘텀 경사하강을 직접 구현한 MNIST CNN(MATLAB)을 만들었고, 비전에 관심을 갖게 된 것은 졸업작품 Smart Mirror(2인 팀: Raspberry Pi, OpenCV LBPH 얼굴인식, Kakao 음성인식 API)부터입니다.
  2. 2024.08 – 2025.03
    한경국립대학교 3차원영상처리시스템 연구실 학부연구생지도교수 조명진. ITC-CSCC 2025 논문의 선행 연구로 Photonics Conference 2024 1저자 포스터
  3. 2025.04 – 현재
    규슈공업대학교 대학원 석사과정라이트필드·집적영상 3D 재구성. 지도교수 이민철(Min-Chul Lee)2027년 3월 석사 졸업 예정
  4. 2026
    로타리 요네야마 기념장학회 장학생국제로타리 제2700지구 일본어 면접 전형으로 선발
연락

채용·협업 문의는 이메일로 받습니다.

데이터 엔지니어링, 백엔드, 비전 데이터 파이프라인 직무를 찾고 있습니다.

2027년 3월 석사 졸업 예정