オープンアートの3D記録を発願して、3年前試験的に導入したiPhone 12 Proのテストベンチ運用を経て、iPhone 14 Proに機種変更した。以来のべ84回スキャンを行った。
2年経って機種変の季節がやってきて、今月末までが期限となっているのに、なかなか方針が定まらない。
この2年間に3Dスキャンは、3D Gaussian Splat(3DGS)という新しい3D構成アルゴリズムの導入でうんと手軽になった。最初の頃にphotogrammetryのメッシュ構築に失敗していた撮像データ(raw data)*1を3DGSで再解析して、鮮明な3D像が得られたときには感激した。
こういう体験をしてしまったら、なんとかしてraw dataを、将来の改良されたアルゴリズムによる再解析のために残しておきたい。と考えるようになる。
しかしながら、Scaniverseのraw dataはものによっては4GBを越えるものもあるのに、別のメディアに保存できない。おそらく写り込んでいる個人情報の保護も考慮されてのことであろう。このため、アプリからエクスポートできるのは、、すなわち解析結果の3Dモデルで、「モデルのエクスポート」で選べるSPZ(NIANTEC STUDIOで使用されている圧縮SPLAT)形式か、PLY(ガウスSPLATツールとの互換性)形式に限られる。
以前撮像したもので、共有ボタンが表示されないものがあってがっくりしたが、raw dataを再解析すると共有できるようになることがわかった。
3月8日にリリースされたScaniverse 4.0.7で、片っ端から再解析しているうちに、以前にもまして指先の表情の再現度が増しているように思われ、結局全部再解析することになって、寝る暇がなくなる。
後日記(2025-03-16)> なかなかはかどらず、まだ終わらない。
*1:当時のScaniverseは、iPhone本体のLIDARを利用したphotogrammetryを行うアプリであった。 スキャンしながらメッシュ構築を行うため、CPUがフル稼働してバッテリがみるみる減っていき、さらに発熱のためにCPUの速度リミッタがかかって、コマ落ちのためにうまくスキャンできないということもあった。 それでiPhone本体に冷却ファンをつけて、ベルトケースのバッテリから給電して撮像に臨んだ。 頭のてっぺんからつま先まで螺旋を描く軌道で撮像していくために、背の高い彫像用に4 m伸びる一脚を用意し、iPhone用のリグを介して取り付けた。 それでも、何度試しても頭や太ももが欠けてしまったり、指先や顔の表情などの再現が納得できないスキャンも多かったのが、Scaniverseの「SPLATのトレーニング」強化で見違えるような結果が得られるようになってきた。 更にアプリの改良によって、撮像時にCPUがフル稼働しなくなったことで、バッテリ消費量(移動中に充電を継ぎ足す工夫)やCPU発熱による稼動スピード制限(本体を冷却する「吸磁」クーラーを装着して撮像する)は撮像現場ではほとんど意識しなくてよい問題となった。