通用多模態模型找出入球、射門與黃牌等足球即場事件
一場足球直播約九十分鐘，真正會剪入精華的片段只佔一小部分。入球、射門、角球與黃牌之間，夾雜大量傳控、鏡頭切換、慢鏡重播與回顧片段。要自動找出這些事件並標出發生時間，過往做法大多依賴 SoccerNet 一類大型標註數據，再訓練足球專用模型。
Sadia Kamal（University of Maryland, Baltimore County）與 Comcast Applied AI 的 Mahmudul Hasan、Tony Braskich，在 Zero-Shot Multimodal Event Spotting in Soccer Broadcasts（arXiv:2610.37583）中換了一個問法：完全不做足球專用的參數訓練，只把畫面與旁述交給通用多模態模型，可以做到甚麼程度？
本文重點
作者把整場比賽切成互相重疊的 15 秒片段，每段抽 15 幀拼成一張「故事板」（storyboard），連同 Whisper 轉寫的旁述一併交給多模態模型。模型要判斷片段內有沒有事件、屬於哪一類、在第幾秒發生，並附上信心分數與證據。
在三場人手標註、合共 130 個事件的比賽上，最佳配置 GPT-5.5 取得 72.0% F1@5s，高於以 SoccerNet 訓練的 CALF 與 NetVLAD++。故事板相對逐幀輸入，推論成本減少 72%。作者亦交代了邊界：樣本只有三場，基線屬跨數據集比較，精彩度評分未經人手驗證。
一、任務設定：偵測、分類、定位一次完成
這類工作在文獻中稱為 action spotting：在未剪裁的完整比賽中，同時判斷事件是否發生、屬於哪一類，以及發生在哪一刻。難處在於事件短促，類別之間畫面相似，周圍又常有重播、慶祝與回顧片段。
作者選取了六類事件：入球（goal）、射門（shot）、射失（miss）、角球（corner）、開球（kickoff）與黃牌（yellow card）。三場比賽取自 YouTube 上公開的多機位專業直播，包含鏡頭切換、特寫、重播與回顧，並非單一固定鏡頭的錄影。影片連結、時間標註與評估資料已上載至 GitHub。
每個片段由四項資料組成：故事板、對齊的旁述，以及片段在比賽時間軸上的起點與終點。模型輸出五項：是否有事件、事件類別、片段內的相對時間、信心分數與佐證。相對時間加上片段起點，就得到全場時間軸上的絕對時間，不同片段的預測因此可以放在同一條時間軸上比較。
模型不能只辨識已剪輯的片段，還要在完整比賽中找出事件，並標示類別與發生時間。
二、管線：故事板、旁述與時間合併
從重疊片段到事件去重的處理流程；時間配置依原文方法整理。
管線分為五步：抽幀、旁述對齊、事件判斷、時間合併與精彩度評分。
抽幀與故事板： 每段 15 秒片段平均抽 15 幀，每幀縮至 384×216，按時間順序排成 5×3 網格，合成一張 1920×648 的圖，每格標上相對時間。模型只需讀一張圖，就能看到片段內的時間推進。
旁述對齊： 以 Whisper Medium 轉寫旁述，按片段時間切開，與畫面一併輸入。旁述提供畫面以外的語義證據，尤其是事件有否發生及其結果。
多模態判斷： 模型從六類事件或「沒有重要事件」中選一，輸出相對時間、信心與證據，格式固定，方便自動解析。
時間合併： 片段之間重疊 5 秒，同一事件可能被相鄰片段重複偵測。作者把同類預測按絕對時間排序，在 20 秒窗口內聚類（入球與角球放寬至 30 秒），每群只保留信心最高的一個。不同類別的預測一律不合併。
精彩度評分： 合併後的事件再交給另一個模型評分，用於排序精華片段（見第七節）。
片段長度來自初步實驗。較短、較密的片段 recall 較高，但 precision 較低，因此預設採用 15 秒加 5 秒重疊。
三、主結果：三場比賽的偵測表現
評估以 ±5 秒為容差：預測落在標註區間內或區間前後 5 秒內，而且類別相同，才算命中。每個預測與每個標註最多配對一次。時間誤差（MAE）只計已命中的事件，落在區間內記為零。
下表為三場比賽的平均：
模型 | 足球專用訓練 | P@5s | R@5s | F1@5s | MAE（秒） | 每場預測數 | 每場成本（美元） |
CALF | SoccerNet | 12.91 | 43.06 | 19.60 | 0.94 | 147 | N/A |
NetVLAD++ | SoccerNet-v2 | 27.23 | 65.96 | 38.49 | 0.81 | 103 | N/A |
GPT-5.5 | 無 | 63.85 | 82.61 | 72.02 | 0.27 | 56 | 18.01 |
GPT-5.6 Sol | 無 | 60.93 | 82.45 | 70.05 | 0.47 | 58 | 18.01 |
GPT-5.6 Terra | 無 | 59.90 | 77.98 | 67.75 | 0.35 | 56 | 7.20 |
GPT-5.6 Luna | 無 | 45.83 | 77.19 | 57.32 | 0.30 | 74 | 0.72 |
Qwen3.5-4B | 無 | 30.46 | 60.59 | 39.73 | 1.14 | 88 | 0.25 |
Qwen3-VL-8B | 無 | 17.17 | 19.38 | 16.96 | 0.37 | 56 | 0.25 |
差距主要來自 precision。CALF 與 NetVLAD++ 每場分別輸出 147 與 103 個預測，GPT-5.5 只輸出 56 個。兩個基線的 recall 不算太低，但大量誤報把 F1 拉到 40% 以下。GPT-5.5 的 mAP@5s 為 76.24，時間誤差 0.27 秒，亦是全表最低。
同一模型家族內，成本與表現的取捨相當清楚。GPT-5.6 Terra 以每場 7.20 美元取得 67.75% F1；Luna 降至 0.72 美元，recall 仍有 77.19%，但 precision 只有 45.83%。GPT-5.5 與 GPT-5.6 Sol 的 recall 只差 0.16 個百分點，作者認為在三場比賽的規模下屬細微差距。
開源的 Qwen3.5-4B 可在單張消費級 GPU 上運行，F1 為 39.73%。以 embedding 相似度配對事件描述的 Qwen3-VL-8B 只有 16.96%，作者以此對比生成式推理與表示配對的分別。
逐類 recall 並不平均。Qwen3.5-4B 的入球 recall 最高（90.5%），射門 recall 卻只有 34.1%；NetVLAD++ 的角球 recall 達 95.5%，整體表現卻落後。較強的 GPT 配置在六類之間較平均，GPT-5.5 的開球與黃牌都是 100%，最弱的射失亦有 73.1%。
作者對這組比較有一項重要保留。CALF 與 NetVLAD++ 在 SoccerNet 上預訓練，這裏沒有重新訓練，結果反映的是跨數據集遷移，並非原本的同域表現；標註慣例與直播風格的差異都可能影響比較。
四、輸入表示：偵測表現與成本
為拆解不同輸入的效果，作者在單場完整比賽上用 GPT-5.6 做 ablation，事件分類、評估協議與後處理不變。
輸入 | P@5s | R@5s | F1@5s | MAE（秒） | 成本（美元） |
只有旁述 | 53.85 | 46.67 | 50.00 | 0.68 | 13.56 |
只有 15 幀 | 59.42 | 68.33 | 63.57 | 0.24 | 64.47 |
15 幀加旁述 | 67.14 | 78.33 | 72.31 | 0.91 | 64.69 |
故事板加旁述 | 65.38 | 85.00 | 73.91 | 0.43 | 18.01 |
只靠旁述，F1 為 50.00%；只看畫面升至 63.57%；兩者結合再升至 72.31%。故事板加旁述的 F1 稍高（73.91%），recall 最高（85.00%），成本則由 64.69 美元降至 18.01 美元，減幅 72.2%。
故事板並非每項指標都勝出。只用畫面時時間誤差最低（0.24 秒），逐幀加旁述的 precision 亦較高。
逐類來看，對於結果敏感的事件，旁述幫助有限。只用旁述時，射失的 recall 只有 22.2%，加入畫面後升至 77.8%，作者據此認為兩種模態互補。這仍是單場 ablation，作者亦把結論限定於這一場比賽。
五、Prompt 最佳化：自動調校沒有全面勝出
主要 prompt 由研究人員人手撰寫，列明事件分類、各類判斷指引、時間推理方式與輸出格式，並要求模型區分直播事件與重播或回顧片段。作者再比較三種變體。
Storyboard-2： 拆成兩個 prompt。第一個負責辨認事件與粗略定位，第二個重新檢查證據，給出最終判斷與修正後的時間。
GEPA 與 MIPROv2： 以有標註的開發樣本自動改寫指示文字，訓練、驗證與測試分開。模型參數、事件分類、輸入形式與輸出格式全部不變，改的只是文字指示與推理指引。
以下全部使用 GPT-5.6 Sol：
Prompt | P@5s | R@5s | F1@5s | MAE（秒） | 每場預測數 |
Storyboard（人手） | 60.93 | 82.45 | 70.05 | 0.47 | 58 |
Storyboard-2 | 62.24 | 71.50 | 61.30 | 0.14 | 54 |
GEPA | 55.41 | 71.83 | 62.17 | 0.23 | 56 |
MIPROv2 | 53.09 | 80.37 | 63.89 | 0.27 | 65 |
人手 prompt 的 recall 與 F1 都最高。Storyboard-2 變成較保守的偵測器：precision 最高、預測最少、時間誤差最低（0.14 秒），但 recall 跌至 71.5%。
MIPROv2 的 recall 接近人手版本，射失 recall 更是四者最高（73.1%），precision 卻較低。GEPA 改善了時間定位，整體偵測則落後。兩種自動最佳化的時間誤差，都低於人手 prompt 的 0.47 秒。
作者將瓶頸歸因於輸入證據：抽幀可能漏掉關鍵動作，事件結果未必清晰，重播也可能被當作直播。調整 prompt 會改變偵測的取捨，卻無法補回片段中缺失的視覺與時間證據。
六、錯誤從哪裏來
作者檢視 GPT-5.6 Sol 故事板配置在三場比賽的混淆矩陣，錯誤集中在語義相近的進攻事件。
射門與射失： 第一場的七次射失中，有四次被判為射門。要分辨兩者，需要看到這次嘗試最後的軌跡；稀疏的故事板可能拍到起腳，卻沒有拍清結果。
角球之後： 第二及第三場有部分角球錯誤，對應的其實是角球之後指向球門的動作。同一個 15 秒片段內，角球可以緊接一次射門。
漏報： 第一場 14 次射門中有 3 次、第三場 14 個入球中有 3 個，被判為「沒有重要事件」。
重播與回顧是另一類問題。作者人手檢視了一場比賽中四個入球預測：三個對應原始直播，一個來自回顧片段，模型把較早前的入球重播當成新入球。
這個例子只有四個預測，不足以估計整體誤判率。例子顯示，即使 prompt 已要求區分直播與回顧，同一事件仍可能被重複計入。作者因此提出，後續工作應明確建模直播狀態。
七、精彩度評分：可解釋，但未經人手驗證
偵測之後，作者加了一個排序精華的步驟。合併後屬於六類的 175 個預測，每個只評一次，由 GPT-5.4 Mini 根據事件類別、偵測信心、視覺證據與旁述評分，不再重新處理影片。
精彩度 = 0.40 × 事件重要性 + 0.35 × 視覺強度 + 0.25 × 旁述強度三個權重是人為設定，並非學習所得，可按應用需要調整。模型同時輸出信心分數與一段簡短文字解釋，讓剪輯人員知道分數從何而來。
平均分（0 至 10 分）以入球最高（7.87），其次是射門（5.81）與射失（5.03）；角球（2.66）、開球（2.44）與黃牌（2.36）較低。
一致性方面，作者用 FlowJudge 與 GPT-5.6 Sol 兩個評審模型重新評分，並隱藏原有分數與解釋，以免錨定。由於用途是排序，主要指標是 Spearman 等級相關：
評審模型 | Spearman ρ | MAE | 平均分 |
FlowJudge | 0.716 | 1.37 | 4.46 |
GPT-5.6 Sol | 0.926 | 0.64 | 5.25 |
GPT-5.4 Mini 原始平均分為 5.07。FlowJudge 給分較保守，GPT 評審的平均分與原評分接近；三場比賽兩個評審都呈正相關。
原文的例子亦反映評分差異。Aguero 一次近距離起腳被門將救出，GPT-5.4 Mini 給 8.62 分，與表中一個入球的 8.61 分相若；FlowJudge 只給 6.0 分。
兩名評審仍然都是模型。這些分數能否反映觀眾感受到的精彩程度，尚需再以人手評估確認。
八、限制
樣本只有三場： 130 個事件來自三場比賽，難以推論到其他聯賽、直播風格與旁述條件。
稀疏抽幀： 每 15 秒抽 15 幀，可能漏掉短促的視覺線索，射門結果正是其中一類。
重播與回顧： 回顧片段會造成誤報，prompt 指示未能完全處理。
基線屬跨數據集： CALF 與 NetVLAD++ 未經重新訓練，標註與直播差異可能影響比較。
精彩度未經人手驗證： 現有一致性只來自兩個 LLM 評審。
總結：結果與證據缺口
這篇論文把「整場直播、零樣本、偵測、分類與定位」放在同一個評估協議下實測。在三場比賽上，通用多模態模型勝過未重新訓練的 SoccerNet 模型，故事板則把成本降至逐幀輸入的約三成。
射門與射失的分別，要看最後的軌跡；新入球與重播的分別，則要看直播狀態。這些判斷都依賴輸入證據，單靠改寫 prompt，未能穩定提升整體 F1。
技術概念 | 實務作用 | 章節位置 |
15 秒片段、5 秒重疊 | 覆蓋整場直播，容許相鄰片段重複偵測 | 第二節 |
故事板（5×3 網格） | 一張圖呈現片段內時間推進，成本減 72% | 第二、四節 |
Whisper 旁述對齊 | 補充事件結果等語義證據 | 第二、四節 |
時間合併 | 20 秒窗口（入球與角球 30 秒）內保留最高信心預測 | 第二節 |
±5 秒容差評估 | 預測與標註區間配對，計 precision、recall、F1、mAP 與 MAE | 第三節 |
GEPA 與 MIPROv2 | 改變 precision 與 recall 的取捨，未全面勝出 | 第五節 |
混淆分析 | 射門與射失、角球後動作、重播誤判 | 第六節 |
精彩度評分 | 0.40、0.35、0.25 加權，附文字解釋 | 第七節 |
對即場數據流程的啟示
原文最具體的一個失誤，是模型把入球重播當成新入球。在精華剪輯中，這只會多剪一段片段；若同類自動事件流被用作比分或比賽狀態的輸入，一次重複入球就足以令下游機率全部偏離。
AIP 系統 處理賽前與即場數據時，同樣把事件來源的一致性放在模型之前：公開事件數據先與比分及賠率對齊，來源之間出現矛盾或關鍵數據缺失時，不出推介。
原文的 prompt 實驗亦提醒，調整指示文字無法補足缺失的視覺與時間證據。對即場數據流程而言，先核對來源、事件與時間是否一致，才有基礎處理下游模型。
Reference
S. Kamal, M. Hasan, T. Braskich. Zero-Shot Multimodal Event Spotting in Soccer Broadcasts. arXiv:2610.37583v1, 2026.
S. Giancola, M. Amine, T. Dghaily, B. Ghanem. SoccerNet: A Scalable Dataset for Action Spotting in Soccer Videos. CVPRW, 2018.
A. Deliège et al. SoccerNet-v2: A Dataset and Benchmarks for Holistic Understanding of Broadcast Soccer Videos. CVPRW, 2021.
A. Cioppa et al. A Context-Aware Loss Function for Action Spotting in Soccer Videos. CVPR, 2020.（CALF）
S. Giancola, B. Ghanem. Temporally-Aware Feature Pooling for Action Spotting in Soccer Broadcasts. CVPRW, 2021.（NetVLAD++）
L. A. Agrawal et al. GEPA: Reflective Prompt Evolution Can Outperform Reinforcement Learning. arXiv:2507.19457, 2025.
K. Opsahl-Ong et al. Optimizing Instructions and Demonstrations for Multi-Stage Language Model Programs. EMNLP, 2024.（MIPROv2）
H. Yang, J. Rao, H. Wu, W. Xie. SoccerMaster: A Vision Foundation Model for Soccer Understanding. CVPR, 2026.
Flow AI. Flow Judge: An Open Small Language Model for LLM System Evaluations. 2024.
