工学部 工学科 教授 姜 有宣

本研究は、指文字や微細なジェスチャーなどの「粒度の細かい行動（Fine-grained actions）」を対象とした、ポイント教師あり時間的行動局所化（Point-supervised Temporal Action Localization）に関する革新的なフレームワークの提案である。
従来の信頼性伝播（Reliability Propagation）に基づく受動的な手法を、境界中心の能動的な推論へと再構成する手法「ReGBoM」を開発し、微細な行動境界の検出精度を大幅に向上させることを目的とする。

【背景と目的】
従来のポイント教師あり学習では、行動の全体像を捉えることに重点が置かれていた。しかし、指文字のような遷移が速く微細な行動では、境界の曖昧さによる予測の断片化や過剰拡張が大きな課題であった。本研究は、信頼性情報を能動的な境界形成の指標として活用する新しいアプローチを提案する。

【提案手法】
提案手法「ReGBoM」は、以下の3つの主要技術で構成される。(1) 信頼性の高いプロトタイプをアンカーとして境界クエリを整列させる「PCBAアテンション」、(2) 短・長期の統合により安定した期間推定を行う「デュアル回帰構造」、(3) 微細な動きの遷移を捉える「角度リファインメント」である。これにより、疎なラベルからでも精密な境界推定が可能となった。

【成果と意義】
指文字データセット（ub-MOJI）[1]において、高難度のtIoU 0.7で従来比+9.0%のmAP向上を達成した。さらに、GTEA[2]等の標準ベンチマークでも汎用性を実証した。本成果は、精密な動作解析が求められる手話翻訳や医療リハビリ支援等の分野への貢献が期待される。

参考文献
[1] Kondo, T., Murai, R., Tsuta, N. and Kang, Y.: ub-MOJI, https://huggingface.co/datasets/kanglabs/ub-MOJI (2025).

[2] Fathi, A., Ren, X., and Rehg, J. M., “Learning to Recognize Objects in Egocentric Activities,” in Proceedings of the IEEE CVPR, pp. 3281–3288, 2011.