このたび、ub-MOJI を活用した研究成果が、学術誌 Electronics に掲載されました。
本研究では、日本語の指文字における複雑な手指動作の違いを識別するため、関節角度に基づいた特徴量を入力とするディープラーニングモデルを開発しました。
さらに、手話動作の開始点と終了点を自動で検出するアルゴリズムを導入することで、単語レベルでの認識性能を大幅に向上させています。これにより、実社会での応用を視野に入れた、高性能な指文字認識システムの基盤が構築されつつあります。
今後は、より多様な話者のデータ収集や、文脈情報を考慮した分割手法の導入を進め、さらなる汎用性と精度の向上が期待されます。
本成果は、教育支援ツールや手話通訳システムの開発など、聴覚障害者支援に大きく貢献するものと期待されます。
論文情報
@Article{electronics14153052,
AUTHOR = {Kondo, Tamon and Murai, Ryota and He, Zixun and Shin, Duk and Kang, Yousun},
TITLE = {Recognition of Japanese Finger-Spelled Characters Based on Finger Angle Features and Their Continuous Motion Analysis},
JOURNAL = {Electronics},
VOLUME = {14},
YEAR = {2025},
NUMBER = {15},
ARTICLE-NUMBER = {3052},
URL = {https://www.mdpi.com/2079-9292/14/15/3052},
DOI = {10.3390/electronics14153052}
}