RIM・iRIM:レンズアレイ画像の
角度情報を空間解像度へ
レンズアレイ画像の画素を補間なしで一対一に並べ替えて視点画像をつくり(RIM)、逆に多視点画像から仮想レンズアレイの要素画像を合成します(iRIM)。研究ページの実験室では、手順2の「並べ替え」がRIMです。
ひと目で見る
ICCAS 2026論文のBlenderシーンを、論文のレンダリングスクリプトで、視点数と解像度だけを変えて8×8のカメラ位置からレンダリングしました。


視点ごとに1920×1080でレンダリングし、物体の周囲1000×1000の領域を縮小せずに使っています(スマートフォンでは500×500、論文は6×6)。再構成は64枚を距離の分だけずらして平均したもので、0.36–1.55 mを31段階で事前に計算しました。触れるまでは自動で動き、マウスやバーを操作するとその位置で止まります。
問題
レンズアレイカメラは、センサーの画素をレンズの数とレンズあたりの画素数に分けて使います。レンズを多く並べると奥行きの情報は豊かになりますが、レンズ1個がつくる要素画像は数ピクセルの大きさにまで小さくなります。そのままでは、人が見るにも、検出モデルに入力するにも解像度が足りません。
レンズアレイでは、レンズ1個とその後ろのセンサーの区画が、とても小さなカメラのように働きます。1点から出た光は複数のレンズを通り、レンズごとに下の異なる位置(画素)に届きます。レンズの番号は光が通った位置、レンズ内の画素の位置は光が入ってきた方向を表します。そのため、1枚の要素画像には位置と方向が一緒に記録されます。
レンズアレイは何を記録するのか
RIM:光線ベースの逆写像
要素画像の各画素を仮想レンズアレイから再び出射し、仮想カメラで撮り直すと考えると、テレセントリック撮影と正射影での再撮影の条件では、(レンズ番号、レンズ内の画素位置)が(レンズ内の画素位置、レンズ番号)と入れ替わる一対一の対応になります。補間がないため量子化誤差は0で、レンズの数と同じ解像度をもつ視点画像が、レンズあたりの画素数だけ得られます。論文では、この結果を計算機インテグラルイメージング再構成(CIIR)の前段に使います。
結果
Stanford Lytroのライトフィールド7シーン。論文記載値です。
| 処理 | PSNR (dB) | SSIM | mAP50 |
|---|---|---|---|
| 要素画像 → CIIR | 23.31 | 0.741 | 0.665 |
| RIM → CIIR(提案手法) | 25.70 | 0.877 | 0.776 |
iRIM:多視点画像から仮想レンズアレイを合成
RIMは一対一の対応なので、逆向きにも使えます。iRIMは多視点画像を入力として、目的の仮想レンズアレイの要素画像を合成します。論文では、24インチFHDパネルに合わせた6×6構成(レンズ1.6056 mm、320×180個)を扱いました。


同じBlenderシーンから作った視点画像の格子の比較。ICCAS 2026
研究ページの実験室の仕組み
実験室は、レンズアレイによる撮影、RIMによる並べ替え、再構成をブラウザでそのまま計算して表示します。最後に再構成面を正面から大きく表示し、物体を押すとその奥行きにピントを移します。実験室を開く →
- 3Dシーン:ICCAS 2026論文のBlenderシーンから書き出したサルの頭とトーラスを実際の3Dモデルとして置き、レンズアレイによる撮影をブラウザで計算します。この実験室のピンホールモデルでは、すべてのレンズの同じ位置の画素が同じ方向を向くため、1つの視点はシーンを斜めに平行投影した画像になります。8×8の視点をこのように描いて視点画像と奥行きを作り、並べ替えと再構成はそのデータで計算します。手前のサルの頭がトーラスの一部を隠すように配置しました。空間解像度は64×64レンズです。結果の画面で物体を押すと、押した位置の周囲にある中央の視点4枚の奥行きの値(中央値)にピントを移します。
- 撮影:ピンホールアレイのモデルです。要素画像の各画素を、その画素が記録した点の3D位置に置いてから、レンズを通してセンサーへ移します。手順1のカメラの模型は、レンズ1個とその後ろのセンサーの区画が小さなカメラであることを示す図で、見やすいように実際のレンズより大きく描いています。
- 並べ替えと再構成:(レンズ番号、レンズ内の位置)を入れ替えるRIMと、視点画像を距離の分だけずらして平均する再構成は、論文の方法そのままです。距離が物体の奥行きと合うと、その物体のサンプルが元の位置に戻って鮮明になります。手順2で視点を1枚ずつ大きく見せるときは、視点ごとに画像をレンズ単位でまるごと動かし、シーンの奥の面にそろえて表示します。レンズアレイの視点画像はレンズアレイの面にそろっているため遠い物ほど大きくずれますが、こうしてそろえると月を見ているときのように背景が止まり、手前の物ほど大きくずれます。値は変えず、位置だけを動かします。
- Lytroのサンプル:Stanford Lytro Light Field Archive(A. S. Raj, M. Lowney, R. Shah, G. Wetzstein, 2016)のocclusions_26シーンです。アーカイブのレンズレット画像はセンサーの生データではなく、Lytroのソフトウェアがデモザイク・位置合わせ・リサンプリング・歪み補正を済ませた画像で、541×376個のレンズそれぞれに14×14画素があります。木の枝が一時停止の標識を隠している部分のレンズ128×128個をリサンプリングせずに切り出し、中央の8×8画素(=8×8視点)を使います。並べ替えは値を変えずに位置だけを移し、再構成は64視点を平行移動して平均した計算結果です。「推定奥行き層」は同じ64視点で計算したプレーンスイープの一致度で、実測の3Dではなく、奥行きの軸はメートルではなく視差(px/視点)です。このデータには明示されたライセンスがないため、出典を明記し、一部だけを切り出して非商用のデモに使っています。
- 音:音楽、効果音、ロボットの声は、すべてブラウザがその場で合成しています。
2本の論文のコードは、非公開のリポジトリにまとめています(テスト13個)。