システム概要と技術的優位性

SOONetは、自然言語のテキスト入力から動画内の対象シーンを自動的に検出・時刻特定するフレームワークです。従来のフレーム逐次解析アーキテクチャとは異なり、単一のニューラルネットワーク順伝播のみで処理を完結させる設計を採用しており、推論速度を最大100倍以上高速化しています。長時間動画の解析においても、MADおよびEgo4Dベンチマークにおいて高い検出精度を維持し、数時間尺の映像でも実用的なレスポンスを提供します。

実行環境の構築

ハードウェア要件

依存パッケージ

推論パイプラインの動作に必要な主要ライブラリは以下の通りです。

torch >= 1.10.0
torchvision >= 0.11.0
modelscope >= 1.0.0
gradio == 6.4.0
opencv-python >= 4.5.0
ftfy >= 6.0.0
regex >= 2021.0.0

サービスの起動

リポジトリ配下のスクリプトを実行することで、GradioベースのWebインターフェースが立ち上がります。

cd /root/multi-modal_soonet_video-temporal-grounding
python app.py

起動後、http://localhost:7860 または外部IPアドレス経由でブラウザからアクセス可能です。

Webインターフェースの操作手順

1. クエリの入力：Query Textフィールドに英語で検索条件を記述します（例：a person is cooking in the kitchen）。
2. 動画ファイルの読み込み：アップロードエリアからMP4、AVI、MOV形式などを選択します。互換性の観点からH.264エンコードのMP4を推奨します。
3. 解析の実行：🔍 Start Groundingボタンを押下すると処理が開始されます。所要時間は動画の尺とGPU性能に依存します。
4. 結果の確認：出力パネルに開始・終了タイムスタンプ、および信頼度スコア（0.0～1.0）が表示されます。複数ヒットした場合はリスト形式で展開されます。

検索精度を向上させるためのヒント

• 抽象的な単語ではなく、動作・対象・環境を具体的に記述してください（例：car → a red sports car driving on highway）。
• 2時間を超える動画は、事前に対象範囲をチャプター分割するか、複数回のクエリ実行後に結果を統合する手法が有効です。
• 視覚的に明確な動作や物体を含む記述がモデルの適合率を高めます。

Python APIによる統合開発

プログラムからの制御にはModelScopeのタスクパイプラインを利用します。以下は推論実行と結果パースのサンプルです。

from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks

# 推論エンジンの初期化
grounding_engine = pipeline(
    Tasks.video_temporal_grounding,
    model='/root/ai-models/iic/multi-modal_soonet_video-temporal-grounding'
)

# 解析対象の設定
search_phrase = "a football player scoring a goal"
target_clip = "sports_highlight.mp4"

# 推論実行と出力の展開
inference_output = grounding_engine((search_phrase, target_clip))

print("=== 検出結果 ===")
for idx, time_range in enumerate(inference_output['timestamps']):
    conf_val = inference_output['scores'][idx]
    print(f"セグメント {idx + 1}: {time_range[0]} - {time_range[1]} | 適合度: {conf_val:.3f}")

複数クエリ・動画のバッチ処理

以下の実装は、複数の検索語と動画パスの組み合わせを順次処理し、辞書型で結果を返す関数です。

def execute_batch_analysis(target_queries, video_files):
    """
    指定された動画リストに対して複数のテキストクエリを連続実行する
    """
    aggregation_map = {}
    for clip_path in video_files:
        hit_records = []
        for phrase in target_queries:
            pred = grounding_engine((phrase, clip_path))
            hit_records.append({
                'phrase': phrase,
                'detected_intervals': pred['timestamps'],
                'confidence_levels': pred['scores']
            })
        aggregation_map[clip_path] = hit_records
    return aggregation_map

# 実行パラメータ
search_terms = ["people shaking hands", "signing documents", "group photo session"]
clip_list = ["meeting1.mp4", "meeting2.mp4"]

batch_data = execute_batch_analysis(search_terms, clip_list)

パフォーマンス調整とトラブルシューティング

推論速度の最適化

• CUDAデバイスが正しく割り当てられているか確認する。
• 極端に長い動画は、FFmpeg等で分割してから投入する。
• バックグラウンドプロセスのGPUメモリ消費を抑制する。

メモリ不足への対処

• 同時実行数を制限する。
• 入力動画の解像度をダウンサンプリングする。
• OSのスワップ領域を一時的に拡張する。

検出結果が得られない場合

• クエリ表現と動画内の視覚的特徴の乖離を確認し、同義語や具体的な動作描写に置き換える。
• 信頼度閾値を下げ、候補範囲を広げて検証する。

環境・起動エラー

# モデルディレクトリの整合性確認
ls -lh /root/ai-models/iic/multi-modal_soonet_video-temporal-grounding/

# コアライブラリの更新
pip install --upgrade torch torchvision modelscope

# ポート競合回避（app.py内の変更）
# server_port=7860 を server_port=7861 に変更