イ・ヒョンジュ Hyeongju Lee
研究 九州工業大学大学院 情報創成工学専攻 博士前期課程 · 指導教員 Min-Chul Lee

学習を使わず、幾何光学でレンズアレイ画像を3次元に再構成します

ICMV 2026 最優秀ポスター賞国際会議 筆頭著者論文4本
01 体験

レンズアレイで撮影し、並べ替え、再構成する

ブラウザが3Dシーンをレンズアレイで撮影し、論文の手法(RIM)で計算します。画面を押すと、音とともに始まります。

物体
レンズアレイ
センサー
再構成面

図論文の手法 RIM、ICMV 2026 最優秀ポスター賞 · 仕組み →

手順3の再構成では、距離を自分で動かせます

–
02 研究の流れ

入力から結果の指標まで

3つの系統の論文を、同じ段階で並べて描いています。ノードを押すと、その段階の方法と結果が表示されます。

自分の手法(筆頭著者)入力データ
  1. データ
    Stanford Lytroのライトフィールド7シーンで評価しました。レンズ1個がつくる要素画像は、数ピクセルの大きさしかありません。
  2. 方法
    (レンズ番号、レンズ内の画素位置)を入れ替える一対一の並べ替え(Ray-based Inverse Mapping)。テレセントリック撮影と正射影での再撮影の条件では補間がなく、量子化誤差は0です。
    発表
    ICMV 2026、ブダペスト · 最優秀ポスター賞
    詳細
    RIM・iRIMのページ
  3. 方法
    並べ替えた視点画像を計算機インテグラルイメージング再構成(CIIR)の前段に使い、要素画像をそのまま使った場合と比較しました。
  4. 結果
    Lytroの7シーンでPSNR 23.31 → 25.70 dB、SSIM 0.741 → 0.877、事前学習済みYOLOによる検出でmAP50 0.665 → 0.776。
ITC-CSCC 2025 · 2026原点最適化VCR
  1. データ
    9×9の要素画像とカメラパラメータ、再構成する奥行き。
  2. 方法
    量子化誤差を減らす原点を見つけるために再構成を繰り返していた探索を、カメラパラメータだけで行う計算に置き換えました。論文の実験では、反復探索と同じ原点・SSIMが得られました。
    発表
    ITC-CSCC 2025(ソウル、ポスター)· ITC-CSCC 2026(バンコク、口頭)
  3. 結果
    9×9の要素画像では、原点を選ぶための再構成が81回から1回に減りました。
    技術
    • Python
    • NumPy
    • CuPy
  4. 結果
    CPU 0.31秒(論文での実測)、GPU(CuPy、RTX 3090)0.0057 s。反復探索の25.45秒は、1回0.3142秒 × 81で求めた推定値です。
    コード
    origin-point-optimization-vcr
  1. データ
    複数の位置からレンダリングした視点画像。
  2. 方法
    RIMは一対一の対応なので、逆向きにも使えます。多視点画像から、目的の仮想レンズアレイの要素画像を合成します。
    発表
    ICCAS 2026、札幌 · ポスター発表
  3. 結果
    24インチFHDパネルに合わせた6×6構成(レンズ320×180個)。すべての視点画像で有効領域が100%で、レンズアレイカメラのシミュレーションの隅の視点(6.7%)と対照的です。
改善原点を選ぶための再構成 81回 → 1回論文の実測 0.31 s · 反復方式の25.45 sは推定値
03 テーマ

4つのテーマ

奥行きごとに焦点が移り、物体ごとのボックスと奥行きが表示される結果
修士論文(準備中)

リアルタイム・インテグラルイメージング:一度だけ検出し、ボックス内だけをリフォーカス

実際のLytroレンズアレイ画像1枚から、物体ごとのボックスと奥行きをGPUでリアルタイムに推定します。奥行き平面ごとに検出する代わりに、一度だけ検出してボックス内だけをリフォーカスします。

Lytroデータ:Stanford Lytro Light Field Archive, occlusions_25(Raj et al., 2016)

実際のLytro画像1枚 16.4 ms(毎秒61枚、RTX 3090)
暗い写真の入力と結果が交互に表示される図
特許出願準備中

暗所・霧画像の画質改善

暗い場所や霧の中で撮った写真を1枚ずつ処理し、くっきりさせます。上の図は公開データの暗い写真の例です。

公開データ:SI-HDR(Hanji et al., SIGGRAPH 2022, CC BY 4.0)

1枚ずつ処理
iRIMで合成した6×6レンズアレイの要素画像
ICMV 2026 最優秀ポスター賞 · ICCAS 2026 ポスター発表

RIM・iRIM:レンズアレイ画像の角度情報を空間解像度へ

レンズアレイ画像の画素を補間なしで一対一に並べ替えて視点画像をつくり(RIM)、逆に多視点画像から仮想レンズアレイの要素画像を合成します(iRIM)。上の実験室の手順2がRIMです。

Lytro 7シーンで PSNR +2.39 dB · SSIM +0.14(論文記載値)
固定した原点で再構成した解像度チャート最適化した原点で再構成した解像度チャート
ITC-CSCC 2025 ポスター · ITC-CSCC 2026 口頭発表 · コード公開

原点最適化:体積計算再構成を、より鮮明に、より速く

体積計算再構成(VCR)の量子化誤差を原点最適化で減らし、その原点を反復探索なしでカメラパラメータから計算します。

再構成 81回 → 1回(論文 0.31 s、反復方式は推定 25.45 s)
04 論文

国際会議の筆頭著者論文4本と国内発表

  1. ICMV 2026第19回 · ブダペスト

    Angular-to-Spatial Information Redistribution via Ray-based Inverse Mapping

    Hyeongju Lee, Myungjin Cho, Min-Chul Lee · ポスター発表 最優秀ポスター賞 · RIM
  2. ICCAS 2026札幌

    Virtual Lens Array Synthesis from Multi-View Images via iRIM

    Hyeongju Lee, Myungjin Cho, Min-Chul Lee · ポスター発表 · iRIM
  3. ITC-CSCC 2026バンコク

    Accelerated Origin Point Optimization for Volumetric Computational Reconstruction

    Hyeongju Lee, Myungjin Cho, Min-Chul Lee · 口頭発表 · コード
  4. ITC-CSCC 2025ソウル

    Image Enhancement of Volumetric Computational Reconstruction Using Origin Point Optimization

    Hyeongju Lee, Gilsu Yeo, Myungjin Cho, Min-Chul Lee · ポスター発表 · コード
  5. 韓国光学会 2024国内 · Photonics Conference

    원점 최적화를 이용한 체적 컴퓨터 재생의 이미지 향상(原点最適化を用いた体積計算再構成の画像改善)

    이형주, 권상현, 김성일, 김유진, 유승진, 구정식, 박지용, 조명진 · 国内のポスター発表(ITC-CSCC 2025の先行研究)
05 研究歴

授業の課題から修士研究まで

  1. 2022
    ビジョン・MLの出発点授業プロジェクトで取り組んだ相関フィルタ・VCRによる奥行き推定(MATLAB · コード)が、現在の研究の出発点です。同じ年に、深層学習フレームワークを使わず、誤差逆伝播とモメンタム勾配降下法を自分で実装したMNIST CNN(MATLAB)を作りました。ビジョンに関心を持ったきっかけは、2022年の卒業制作のSmart Mirror(2人チーム:Raspberry Pi、OpenCV LBPH顔認識、Kakao音声認識API)です。
  2. 2024.08 – 2025.03
    韓京国立大学校(Hankyong National University、韓国)3次元映像処理システム研究室 学部研究生指導教員 Myungjin Cho。ITC-CSCC 2025論文の先行研究として、Photonics Conference 2024で筆頭著者としてポスター発表
  3. 2025.04 – 現在
    九州工業大学大学院 博士前期課程ライトフィールド・インテグラルイメージングによる3次元再構成。指導教員 Min-Chul Lee2027年3月 修士課程修了見込み
  4. 2026
    ロータリー米山記念奨学生国際ロータリー第2700地区の日本語面接を経て選出
連絡先

採用・共同研究のご連絡は、メールでお願いします。

データエンジニアリング、バックエンド開発、ビジョンデータパイプラインの職種を志望しています。

2027年3月 修士課程修了見込み