イ・ヒョンジュ Hyeongju Lee
ICMV 2026 最優秀ポスター賞 · ブダペストICCAS 2026 ポスター発表 · 札幌

RIM・iRIM:レンズアレイ画像の
角度情報を空間解像度へ

Hyeongju Lee, Myungjin Cho, Min-Chul Lee · 九州工業大学

レンズアレイ画像の画素を補間なしで一対一に並べ替えて視点画像をつくり(RIM)、逆に多視点画像から仮想レンズアレイの要素画像を合成します(iRIM)。研究ページの実験室では、手順2の「並べ替え」がRIMです。

Lytro 7シーン · 論文記載値+2.39dB PSNR23.31 → 25.70 dB、要素画像をそのまま使った再構成との比較
構造的類似度 · 論文記載値+0.14SSIM0.741 → 0.877
事前学習済みYOLOによる検出 · 論文記載値+0.11mAP500.665 → 0.776

ひと目で見る

ICCAS 2026論文のBlenderシーンを、論文のレンダリングスクリプトで、視点数と解像度だけを変えて8×8のカメラ位置からレンダリングしました。

Blenderでレンダリングした視点画像。見る方向を変えると、手前のサルの頭が奥のトーラス、立方体、円錐、球より大きく動き、隠れていた部分が見えてくる
1. 視点画像。図の上でマウスを動かすと、見る方向が変わります(スマートフォンではドラッグ)。異なる位置から見た画像なので、手前のサルの頭が奥の物体より大きく動き、隠れていた部分が見えてきます。右上の点は、いま見ている視点です。
64枚の視点画像を重ねて再構成した画像。重ねる距離を変えると、サルの頭、トーラス、立方体、円錐、球の順にピントが移っていく
2. 奥行きごとの再構成。バーを動かすと64枚を重ねる距離が変わり、手前のサルの頭(0.39 m)からトーラス、立方体、円錐、奥の球(1.41 m)までピントが移っていきます。

視点ごとに1920×1080でレンダリングし、物体の周囲1000×1000の領域を縮小せずに使っています(スマートフォンでは500×500、論文は6×6)。再構成は64枚を距離の分だけずらして平均したもので、0.36–1.55 mを31段階で事前に計算しました。触れるまでは自動で動き、マウスやバーを操作するとその位置で止まります。

問題

レンズアレイカメラは、センサーの画素をレンズの数とレンズあたりの画素数に分けて使います。レンズを多く並べると奥行きの情報は豊かになりますが、レンズ1個がつくる要素画像は数ピクセルの大きさにまで小さくなります。そのままでは、人が見るにも、検出モデルに入力するにも解像度が足りません。

レンズアレイでは、レンズ1個とその後ろのセンサーの区画が、とても小さなカメラのように働きます。1点から出た光は複数のレンズを通り、レンズごとに下の異なる位置(画素)に届きます。レンズの番号は光が通った位置、レンズ内の画素の位置は光が入ってきた方向を表します。そのため、1枚の要素画像には位置と方向が一緒に記録されます。

レンズアレイは何を記録するのか

物体の1点レンズセンサー上中央下同じ点でも、レンズごとに届く位置が違います。その位置が、光が入ってきた方向です。
1点から出た光が3つのレンズを通り、それぞれ下の異なる位置に届きます。模式図では、物体までの距離をレンズ–センサー間隔の3倍として描いています。

RIM:光線ベースの逆写像

要素画像の各画素を仮想レンズアレイから再び出射し、仮想カメラで撮り直すと考えると、テレセントリック撮影と正射影での再撮影の条件では、(レンズ番号、レンズ内の画素位置)が(レンズ内の画素位置、レンズ番号)と入れ替わる一対一の対応になります。補間がないため量子化誤差は0で、レンズの数と同じ解像度をもつ視点画像が、レンズあたりの画素数だけ得られます。論文では、この結果を計算機インテグラルイメージング再構成(CIIR)の前段に使います。

USAF解像度チャートを3通りに示した図。左の要素画像1枚は粗いブロック、中央のRIM仮想画像はチャートの形が見え、右は基準画像
合成したUSAF 1951解像度チャート。左から要素画像1枚、RIM仮想画像1枚(提案手法)、同じ視点の基準画像。ICMV 2026

結果

Stanford Lytroのライトフィールド7シーン。論文記載値です。

mAP50は、再構成画像に事前学習済みのYOLO検出器をそのまま適用した結果です。
処理PSNR (dB)SSIMmAP50
要素画像 → CIIR23.310.7410.665
RIM → CIIR(提案手法)25.700.8770.776

iRIM:多視点画像から仮想レンズアレイを合成

RIMは一対一の対応なので、逆向きにも使えます。iRIMは多視点画像を入力として、目的の仮想レンズアレイの要素画像を合成します。論文では、24インチFHDパネルに合わせた6×6構成(レンズ1.6056 mm、320×180個)を扱いました。

iRIMで合成した6×6レンズアレイの要素画像。トーラス、円錐、サルの頭のモデルが、小さなレンズ画像に分かれて写っている
iRIMで合成した6×6レンズアレイの要素画像。ICCAS 2026
iRIMで合成した視点画像の格子。すべてのマスが均一に明るい
iRIMによる合成:すべての視点画像で有効領域100%
レンズアレイカメラをシミュレーションした視点画像の格子。端のマスほど暗く欠けている
レンズアレイカメラのシミュレーション:隅の視点では有効領域が6.7%まで減少

同じBlenderシーンから作った視点画像の格子の比較。ICCAS 2026

研究ページの実験室の仕組み

実験室は、レンズアレイによる撮影、RIMによる並べ替え、再構成をブラウザでそのまま計算して表示します。最後に再構成面を正面から大きく表示し、物体を押すとその奥行きにピントを移します。実験室を開く →

  • 3Dシーン:ICCAS 2026論文のBlenderシーンから書き出したサルの頭とトーラスを実際の3Dモデルとして置き、レンズアレイによる撮影をブラウザで計算します。この実験室のピンホールモデルでは、すべてのレンズの同じ位置の画素が同じ方向を向くため、1つの視点はシーンを斜めに平行投影した画像になります。8×8の視点をこのように描いて視点画像と奥行きを作り、並べ替えと再構成はそのデータで計算します。手前のサルの頭がトーラスの一部を隠すように配置しました。空間解像度は64×64レンズです。結果の画面で物体を押すと、押した位置の周囲にある中央の視点4枚の奥行きの値(中央値)にピントを移します。
  • 撮影:ピンホールアレイのモデルです。要素画像の各画素を、その画素が記録した点の3D位置に置いてから、レンズを通してセンサーへ移します。手順1のカメラの模型は、レンズ1個とその後ろのセンサーの区画が小さなカメラであることを示す図で、見やすいように実際のレンズより大きく描いています。
  • 並べ替えと再構成:(レンズ番号、レンズ内の位置)を入れ替えるRIMと、視点画像を距離の分だけずらして平均する再構成は、論文の方法そのままです。距離が物体の奥行きと合うと、その物体のサンプルが元の位置に戻って鮮明になります。手順2で視点を1枚ずつ大きく見せるときは、視点ごとに画像をレンズ単位でまるごと動かし、シーンの奥の面にそろえて表示します。レンズアレイの視点画像はレンズアレイの面にそろっているため遠い物ほど大きくずれますが、こうしてそろえると月を見ているときのように背景が止まり、手前の物ほど大きくずれます。値は変えず、位置だけを動かします。
  • Lytroのサンプル:Stanford Lytro Light Field Archive(A. S. Raj, M. Lowney, R. Shah, G. Wetzstein, 2016)のocclusions_26シーンです。アーカイブのレンズレット画像はセンサーの生データではなく、Lytroのソフトウェアがデモザイク・位置合わせ・リサンプリング・歪み補正を済ませた画像で、541×376個のレンズそれぞれに14×14画素があります。木の枝が一時停止の標識を隠している部分のレンズ128×128個をリサンプリングせずに切り出し、中央の8×8画素(=8×8視点)を使います。並べ替えは値を変えずに位置だけを移し、再構成は64視点を平行移動して平均した計算結果です。「推定奥行き層」は同じ64視点で計算したプレーンスイープの一致度で、実測の3Dではなく、奥行きの軸はメートルではなく視差(px/視点)です。このデータには明示されたライセンスがないため、出典を明記し、一部だけを切り出して非商用のデモに使っています。
  • 音:音楽、効果音、ロボットの声は、すべてブラウザがその場で合成しています。

2本の論文のコードは、非公開のリポジトリにまとめています(テスト13個)。

連絡先

採用・共同研究のご連絡は、メールでお願いします。

データエンジニアリング、バックエンド開発、ビジョンデータパイプラインの職種を志望しています。

2027年3月 修士課程修了見込み