学習を使わず、幾何光学でレンズアレイ画像を3次元に再構成します
レンズアレイで撮影し、並べ替え、再構成する
ブラウザが3Dシーンをレンズアレイで撮影し、論文の手法(RIM)で計算します。画面を押すと、音とともに始まります。
推定 · 64枚の視点画像が奥行き(面)ごとにどれだけ一致するかを層で表しています。実測の3Dではなく、奥行きの軸はメートルではなく視差(px/視点)です。薄く広がった部分は、視点が一つの奥行きに定まらない場所です。
Lytroデータ:Stanford Lytro Light Field Archive, occlusions_26(Raj et al., 2016)・非商用のデモのため一部を切り出して使用
図論文の手法 RIM、ICMV 2026 最優秀ポスター賞 · 仕組み →
この端末では実験室のアニメーションを動かせないため、代わりに研究の画像を表示しています。
手順3の再構成では、距離を自分で動かせます
入力から結果の指標まで
3つの系統の論文を、同じ段階で並べて描いています。ノードを押すと、その段階の方法と結果が表示されます。
-
- データ
- Stanford Lytroのライトフィールド7シーンで評価しました。レンズ1個がつくる要素画像は、数ピクセルの大きさしかありません。
-
- 方法
- (レンズ番号、レンズ内の画素位置)を入れ替える一対一の並べ替え(Ray-based Inverse Mapping)。テレセントリック撮影と正射影での再撮影の条件では補間がなく、量子化誤差は0です。
- 発表
- ICMV 2026、ブダペスト · 最優秀ポスター賞
- 詳細
- RIM・iRIMのページ
-
- 方法
- 並べ替えた視点画像を計算機インテグラルイメージング再構成(CIIR)の前段に使い、要素画像をそのまま使った場合と比較しました。
-
- 結果
- Lytroの7シーンでPSNR 23.31 → 25.70 dB、SSIM 0.741 → 0.877、事前学習済みYOLOによる検出でmAP50 0.665 → 0.776。
-
- データ
- 9×9の要素画像とカメラパラメータ、再構成する奥行き。
-
- 方法
- 量子化誤差を減らす原点を見つけるために再構成を繰り返していた探索を、カメラパラメータだけで行う計算に置き換えました。論文の実験では、反復探索と同じ原点・SSIMが得られました。
- 発表
- ITC-CSCC 2025(ソウル、ポスター)· ITC-CSCC 2026(バンコク、口頭)
-
- 結果
- 9×9の要素画像では、原点を選ぶための再構成が81回から1回に減りました。
- 技術
- Python
- NumPy
- CuPy
-
- 結果
- CPU 0.31秒(論文での実測)、GPU(CuPy、RTX 3090)0.0057 s。反復探索の25.45秒は、1回0.3142秒 × 81で求めた推定値です。
- コード
- origin-point-optimization-vcr
-
- データ
- 複数の位置からレンダリングした視点画像。
-
- 方法
- RIMは一対一の対応なので、逆向きにも使えます。多視点画像から、目的の仮想レンズアレイの要素画像を合成します。
- 発表
- ICCAS 2026、札幌 · ポスター発表
-
- 結果
- 24インチFHDパネルに合わせた6×6構成(レンズ320×180個)。すべての視点画像で有効領域が100%で、レンズアレイカメラのシミュレーションの隅の視点(6.7%)と対照的です。
4つのテーマ

リアルタイム・インテグラルイメージング:一度だけ検出し、ボックス内だけをリフォーカス
実際のLytroレンズアレイ画像1枚から、物体ごとのボックスと奥行きをGPUでリアルタイムに推定します。奥行き平面ごとに検出する代わりに、一度だけ検出してボックス内だけをリフォーカスします。
Lytroデータ:Stanford Lytro Light Field Archive, occlusions_25(Raj et al., 2016)
実際のLytro画像1枚 16.4 ms(毎秒61枚、RTX 3090)
暗所・霧画像の画質改善
暗い場所や霧の中で撮った写真を1枚ずつ処理し、くっきりさせます。上の図は公開データの暗い写真の例です。
公開データ:SI-HDR(Hanji et al., SIGGRAPH 2022, CC BY 4.0)
1枚ずつ処理
RIM・iRIM:レンズアレイ画像の角度情報を空間解像度へ
レンズアレイ画像の画素を補間なしで一対一に並べ替えて視点画像をつくり(RIM)、逆に多視点画像から仮想レンズアレイの要素画像を合成します(iRIM)。上の実験室の手順2がRIMです。
Lytro 7シーンで PSNR +2.39 dB · SSIM +0.14(論文記載値)

原点最適化:体積計算再構成を、より鮮明に、より速く
体積計算再構成(VCR)の量子化誤差を原点最適化で減らし、その原点を反復探索なしでカメラパラメータから計算します。
再構成 81回 → 1回(論文 0.31 s、反復方式は推定 25.45 s)国際会議の筆頭著者論文4本と国内発表
- ICMV 2026第19回 · ブダペスト
Angular-to-Spatial Information Redistribution via Ray-based Inverse Mapping
- ICCAS 2026札幌
Virtual Lens Array Synthesis from Multi-View Images via iRIM
- ITC-CSCC 2026バンコク
Accelerated Origin Point Optimization for Volumetric Computational Reconstruction
- ITC-CSCC 2025ソウル
Image Enhancement of Volumetric Computational Reconstruction Using Origin Point Optimization
- 韓国光学会 2024国内 · Photonics Conference
원점 최적화를 이용한 체적 컴퓨터 재생의 이미지 향상(原点最適化を用いた体積計算再構成の画像改善)
授業の課題から修士研究まで
- 2022ビジョン・MLの出発点授業プロジェクトで取り組んだ相関フィルタ・VCRによる奥行き推定(MATLAB · コード)が、現在の研究の出発点です。同じ年に、深層学習フレームワークを使わず、誤差逆伝播とモメンタム勾配降下法を自分で実装したMNIST CNN(MATLAB)を作りました。ビジョンに関心を持ったきっかけは、2022年の卒業制作のSmart Mirror(2人チーム:Raspberry Pi、OpenCV LBPH顔認識、Kakao音声認識API)です。
- 2024.08 – 2025.03韓京国立大学校(Hankyong National University、韓国)3次元映像処理システム研究室 学部研究生指導教員 Myungjin Cho。ITC-CSCC 2025論文の先行研究として、Photonics Conference 2024で筆頭著者としてポスター発表
- 2025.04 – 現在九州工業大学大学院 博士前期課程ライトフィールド・インテグラルイメージングによる3次元再構成。指導教員 Min-Chul Lee2027年3月 修士課程修了見込み
- 2026ロータリー米山記念奨学生国際ロータリー第2700地区の日本語面接を経て選出