ub-MOJI logo ub-MOJI | AI Vision Lab

ub-MOJI: 日本語指文字動画データセット

ub-MOJIは、手話認識研究の発展を目的とした日本語指文字動画データセットです

Dataset Demo

ub-MOJI の特徴

日本語指文字の網羅的収録

音節、5文字シーケンス、単語の各カテゴリに対応

時間的アノテーション

指文字の各単位に対する正確な開始・終了時刻

詳細な参加者メタデータ

参加者を考慮したモデリングと分析のための詳細な人口統計情報と同意メタデータを含む

学術利用専用ライセンス

非商用の学術研究に使用を制限する条件の下で利用可能

メタデータ概要

このデータセットに含まれる基本情報と参加者情報の概要。CSVファイルとして提供されます。

metadata.csv

動画ファイルのパス、カテゴリ、収録条件などの基本情報。

フィールド名 説明
file_name str ビデオサンプルのファイルパス
classes List[str] 指文字の単位 (例: `["a"]`, `["ka", "ma", "ku", "ra"]`)
category int 言語単位のカテゴリ: `0=音節`, `1=シーケンス`, `2=単語`
participant_id int 参加者識別子 (例: `18`)
recording_date int 記録年月 (例: `202403`)
fps int datasetTable.descriptions.fps

participants.csv

データセットに含まれる参加者の人口統計情報と同意の詳細。

フィールド名 説明
participant_id int 参加者の一意識別子
age_group str participantsTable.descriptions.ageGroup
gender int 参加者の性別: `male`, `female`, または `unknown`
dominant_hand int participantsTable.descriptions.dominantHand
experience_years str participantsTable.descriptions.experienceYears
hearing_level int 自己申告による聴力レベル: `0` (問題なし) から `4` (重度), または `-1` (不明)
face_visibility int 顔の可視性に関する同意: `1=同意`, `0=拒否`

時間的アノテーション

annotations.toml

指文字シーケンスの正確な開始・終了時刻を示す時間的アノテーションの例。各行は、フレームレベルの精度を持つ指文字単位を表しています。

著者

Citation

@misc{ubmoji2025,
  title     = {ub-MOJI},
  author    = {Tamon Kondo and Ryota Murai and Naoto Tsuta and Yousun Kang},
  year      = {2025},
  url       = {https://huggingface.co/datasets/kanglabs/ub-MOJI},
  publisher = {Hugging Face}
}
@inproceedings{Murai2025pointSupervisedJF,
  title     = {Point-Supervised Japanese Fingerspelling Localization via HR-Pro and Contrastive Learning},
  author    = {Ryota Murai and Naoto Tsuta and Duk Shin and Yousun Kang},
  booktitle = {Proceedings of 2025 IEEE/CVF International Conference on Computer Vision Workshops (ICCVW)},
  year      = {2025},
}