～～
サッカーなどのフィールド全体を一望できるパノラマ映像を2つの視点から撮影した映像を自動的に合成してつくることに成功したと関西大学・鳴尾丈司特命教授らの研究チームが発表した。10万円程度で市販されている一般的なビデオカメラで実現できたことから、チーム力強化に潤沢な資金をかけられないチームでもフィールドスポーツの戦術分析が進むと期待される。この研究に関する論文はデジタル領域の学術論文を掲載する電子ジャーナル「Journal of Digital Life」（ジャーナル・オブ・デジタル・ライフ）で公開されている。
2021年の東京オリンピック・パラリンピックに前後して仮想現実（VR）、拡張現実（AR）、高速低遅延の第5世代移動通信システム（5G）などの技術をスポーツ観戦に生かすプロダクトが数多く登場した。視界を覆うヘッドマウントディスプレーを装着してさまざまな視点で試合を視聴するというスポーツの新しい楽しみ方も生まれている。2008年の夏季北京五輪のフェンシングで銀メダルを獲得した太田雄貴氏は、剣の軌跡を光で表現し、試合の映像と重ね合わせることで専門的な試合内容を分かりやすく解説できると、先端技術の意義を強調する。
こうした先端技術は戦術分析に活用することもできるが、ハードルも多い。研究チームによると、選手の動きを分析するためにウエアラブル機器を装着させてセンサーで検知する方法だと、自分のチームの選手だけでなく対戦相手にも協力を求めることが困難。このため戦術分析では映像を解析する手法が主流となっている。ただしこの場合でも、カメラなどの機材や専門の人材を集めるコストがかかるので、地域のスポーツチームや学校のクラブ活動までには普及していない。
しかも市販のビデオカメラの撮影能力には限界がある。研究チームによると、例えば1台のカメラでサッカーのフィールド全体を撮影するには30メートルほど離れた場所から撮影せねばならないが、どうしても選手の映像は小さくなってしまう。全天球カメラなどで同時に全方向を撮影する方法でも広い範囲を撮影できるものの、やはり一部の選手やボールが小さく映ってしまうため解析には向かない。高性能のスマートフォンではパノラマ画像を撮影できるが、動画の撮影は難しいという。
そこで研究チームが開発したのは、複数台の市販のビデオカメラで同時に撮影したフィールドの異なる部分を映した動画を合成することで、広い範囲を詳細にカバーできる技術だ。
新技術の実験は大阪府高槻市の関西大学高槻キャンパスのサッカー競技場で、ソニーが2016年に発売した約10万円の4Kビデオカメラ「FDR-AX40」2台を使って行われた。2台のカメラはサイドラインの外側に設けられた櫓（やぐら）の上からフィールドの半分ずつを分担して練習試合を撮影。2台のカメラの撮影方向は、それぞれの映像にセンターラインが入るように調整された。
撮影後は得られた2つの映像からまずフレーム画像（コマ）を読み込み、左右の特徴点をマッチングするなどしてフィールド全体が映ったパノラマ「画像」を生成。続いて、各フレームから生成したパノラマ画像を時間軸に沿って結合し、パノラマ「動画」を作成した。
2つの映像を合成する際は、違和感なく結合部をなじませるために、どこを「縫い合わせライン」とするかが重要だが、この実験では2つのカメラで撮影された共通部分の中央を採用した。他の手法に比べて映像生成にかかる時間が短かかったことなどが理由だ。
これらの方法で生成した、フィールド全体を映すパノラマ映像について研究チームは「（映像に）歪みがないことを確認できた」と評価している。左右の映像の結合部にまたがって映る選手が正常に表示されない懸念もあったが、数フレームでのずれがあるケースが見られた程度で、「概ねシームレスな動作を再現」できており、実用においては問題がないと判断された。
また、サッカーの練習試合の撮影はセンターラインから離れた2つの位置から行われたため、合成されたパノラマ映像のサイドラインは緩やかなU字になったが、センターラインに近い場所から2方向を撮影した映像を使うと、サイドラインがより直線に近い映像を作成できるという。実際に、大阪市の長居競技場でアメリカンフットボールの試合を撮影した際は、センターラインの延長線上付近の観客席から左右のフィールドを撮影した2つの映像を使い、出来上がったパノラマ映像ではフィールド全体がより長方形に近い形になった。
実験結果を受けて研究チームは「生成できるパノラマ映像の質は、撮影位置、画角など撮影方法に依存する」とし、フィールド全体を把握できる特長を生かしてフォーメーションに関する戦術分析や、特定の選手のパフォーマンスを算出することに役立てられると見通した。深層学習を用いた画像処理で選手を自動検出するといった先行研究と組み合わせた発展性も期待できるようだ。
研究結果については関西大学のサイトでも紹介されている。
筆者：野間健利（産経デジタル）
◇
※産経デジタルfrom Digital Lifeの記事を転載しています
