Problem Cards for an INTERSPEECH 2027 Paper

選題問題卡：寫一篇 INTERSPEECH 論文的起點

這份文件列出 26 張「問題卡」。每張卡描述一個值得研究的問題，不是一個題目：痛點在哪裡、動手之前先蒐集什麼證據、哪些資料與模型確認存在而且拿得到、還有哪些方向沒被做完、會在哪裡踩雷、適合寫成哪一種貢獻。

卡片不指定方法。 方法是讀完文獻、看完證據之後才決定的事。先挑好方法再去找能套的問題，是審稿人最容易看穿的寫法：introduction 講不出為什麼非這個方法不可，related work 只能列出「也有人用過這個方法」。

選題不限於這些卡，任何與語音有關的問題都可以。文件最後有一張空白卡，用同樣的欄位寫下你自己的問題。

卡片上的資訊是怎麼來的

卡片上每一個資料集、模型、工具與論文，都在 2026-10-16 對照官方來源查過：model card、官方 GitHub、出版者頁面、arXiv、ISCA Archive、ACL Anthology、LDC 目錄、政府或機構的官方網頁；寫好之後，再由另一批沒參與撰寫的查核者逐句複核一次。少數只能從次要來源確認、或官方頁面讀不到的地方，卡上會直接寫明。卡上寫「沒有找到」的，意思是我們查了但沒找到，不代表不存在。

授權條款、版本與取得方式會變。動手之前再查一次；查到的與卡片不一致時，以官方頁面為準，並告訴授課老師。需要申請或付費的語料（包括經 LDC 發行的語料），一律先問授課老師有沒有。卡片引用的 arXiv 預印本，若之後出了同儕審查版本，引用時改用正式版本（ISCA 的引用政策見文末〈投稿格式備忘〉）。technical report、model card 與 blog 不是同儕審查的文獻；你的論文引用它們時，要在句子裡寫明它是什麼，數字附上讀取的日期。

卡片上沒有顯存用量、訓練時數或預期的錯誤率改善。那些數字取決於你的資料、設定與程式，別人表格裡的數字不能直接搬來規劃，更不能寫進報告。下面〈算力〉一節教你自己算帳、自己量。

怎麼用一張卡

  1. 讀兩三張，不要只讀一張。 比較之後才知道哪個問題讓你在意、哪份資料你真的拿得到。
  2. 先做「先蒐集的證據」。 每張卡都列了一到兩週內可以完成的觀察，例如把現成模型跑在一小份測試資料上、逐句分類錯誤。這一步的結果直接進期中報告的 Problem Analysis：它證明問題確實存在、而且規模值得一篇論文。證據不支持痛點時，換卡或修正問題；這是研究的正常過程，不是失敗。
  3. 決定貢獻類型。 方法、資源、分析三種，可以有主有從，但只能有一個主要類型。每一種的審稿標準，〈報告範本〉期中部分的導引框有詳細說明；走完期中的路線見〈期中報告〉。
  4. 從起點文獻往外擴。 卡片的起點文獻只是入口。沿著它們的引用與被引用往外找，related work 要以你的問題為中心組織，而不是以方法名稱。每一條引用都照範本的規定查證，加上 \src{}，BibTeX 要有 doi 或 url。
  5. 選定 PoC 的形式。 期中報告的 PoC 從三種形式中至少完成一項：小規模試行、端到端管線打通、重現或對照一個已知結果。分析型與資源型的卡，PoC 往往就是「先蒐集的證據」的擴大版。

卡片的欄位

欄位 內容
痛點 誰、在什麼情境下、遇到什麼問題；技術上是哪一個環節出錯
先蒐集的證據 動手做方法之前，一到兩週內能完成、能證明痛點存在而且有規模的觀察
已查證的資源 資料、模型、工具；附官方連結，與 2026-10-16 查到的關鍵事實和授權
起點文獻 幾篇最接近的已發表工作。只是起點，不是 related work 的全部
開放方向 還沒被做完的問題，寫成問句，不指定方法
風險 資料授權、評估陷阱、被搶先的可能、算力
貢獻類型 方法／資源／分析
課程週次 與哪幾週的內容相連

算力：16 GB 的記憶體帳

課程以單張 16 GB CUDA GPU 為專題的規劃基準，由各組自備（多數有實驗室的機器）。這是基準，不是上限：卡更大可以用，卡片上的記憶體帳則都以 16 GB 計算。與其相信別人表格裡的顯存數字，不如自己算一次帳，再實際量測：

  • 權重：參數數 × 每個參數的 bytes。bf16 與 fp16 是 2 bytes，fp32 是 4 bytes。
  • 全參數訓練：用 Adam 做混合精度訓練時，每個參數除了 bf16 權重（2 bytes），還要存梯度（2）、fp32 的主權重（4）、Adam 的一階與二階動差（4 + 4），合計約 16 bytes，還不含 activation。activation 隨 batch size 與序列長度成長，長音訊尤其吃記憶體。
  • 例子：Whisper large-v3 的 model card 寫 1550M 參數。全參數微調光是上面 16 bytes 的帳就約 25 GB，16 GB 放不下；凍結主幹、只訓練 LoRA 之類的少量參數時，凍結的權重以 bf16 存約 3.1 GB，梯度與 optimizer 狀態只跟著可訓練的參數走。large-v3-turbo 約 809M 參數（decoder 從 32 層減到 4 層）。8B、9B 的對話模型（B3）光是 bf16 權重就約 16–18 GB，要量化才放得進去。
  • 分析與資源類的題目多半只需要推論或抽特徵，記憶體壓力小得多；這是它們在單卡條件下的優勢，不是退而求其次。

記憶體的實際用量用 torch.cuda.max_memory_allocated() 量，（它不含 CUDA context 與 allocator 預留的空間，nvidia-smi 看到的會更多），連同 GPU 型號、batch size 與音訊長度寫進報告的 efficiency 表。表裡寫量到的數字；還沒量的估計值要標明是估計，不能當成量到的。

卡片總覽

卡 問題 貢獻類型 課程週次
A1 台語的連續變調：模型錯在變調上的有多少？ 分析為主，可延伸為方法 W2、W7、W8–W9
A2 台語辨識該輸出什麼文字？ 分析或資源 W7、W14
A3 國台英夾雜：轉換點上發生了什麼？ 資源與分析，可延伸為方法 W7
A4 台語的合成與聲音複製：像本人，但道地嗎？ 分析，可延伸為評估方法或資源 W8–W9
A5 朗讀與自然口語之間的落差 資源，搭配分析 W7、W14
A6 長輩說台語，系統聽得懂意思嗎？ 分析，或資源，可延伸為方法 W7、W11
A7 客語多腔調：一個模型，幾個腔？ 方法或分析 W7
A8 原住民族語：從很少的資料開始 方法、分析或資源 W5、W7
A9 族語與客語的發音回饋 方法或資源 W5
B1 什麼時候該開口？ 分析或方法 W12
B2 回應延遲都花到哪裡去了？ 分析 W1、W11
B3 怎麼評估一個全雙工對話系統？ 資源或分析 W13、W14
B4 附和語：嗯、對、喔，什麼時候說？ 分析或資源，可延伸為方法 W12
B5 系統聽到自己的聲音 分析或方法 W10
B6 華語與台語的雙聲道對話資料 資源 W12、W13
C1 低 bitrate 的 codec 丟掉了什麼？ 分析 W2、W6
C2 聲調藏在 SSL 的哪一層？ 分析 W5
D1 同一個系統，CER 可以差多少？ 分析 W7、W14
D2 自動 MOS 在華語與台語上可信嗎？ 分析或資源 W9、W14
D3 換一個 speaker encoder，SIM 排名會翻嗎？ 分析 W9
E1 增強之後聽起來更好，辨識卻更差 分析，可延伸為方法 W10
E2 沒有人說話的地方，模型寫出了字 分析，可延伸為方法 W7、W10
E3 英語訓練的偵測器，抓得到華語的複製聲音嗎？ 分析或資源 W9
E4 串流辨識的字，實際上多晚才出來？ 分析 W3–W4、W7
E5 地名、藥名、人名：在地專有名詞 資源或方法 W7
E6 多人對話的說話人分段：重疊與 collar 分析 W10

A. 臺灣的語言

先講清楚資料的取得方式。本組用到的 TAT、TAT-TTS（台語）、HAT（客語）、族語E樂園與 ILRDF 線上辭典（原住民族語），要用的組私下聯繫授課老師。 拿到的資料只能用在課程與研究裡，不要轉給別人，也不要放上 GitHub、雲端硬碟或任何公開的地方。其他免費可用的台語資源有：Common Voice 的台語資料（CC0，以單詞為主）、教育部《臺灣台語常用詞辭典》的詞目與例句音檔（CC BY-ND 3.0 TW）、TaigiSpeech（CC BY 4.0，只有意圖標籤），以及幾個開放權重的模型。另有新聞報導，國家教育研究院的「台灣台語語料庫應用檢索系統」開放各界申請語料與音檔（聯合新聞網，2024-08-27）；其中有哪些語音、授權條件為何，我們沒能確認，有興趣的人自己查。

A1　台語的連續變調：模型錯在變調上的有多少？

  • 痛點：台語的音節在詞組裡大多要變調，只有詞組末的音節保持本調，而變調詞組的範圍由句法決定（Chen 1987 以廈門話分析）。教育部辭典的台羅「聲調皆標注本調，不標變調」。所以辨識時，模型聽到的是變調後的調，要寫出的卻是本調；合成時正好反過來，輸入是本調或漢字，模型要自己決定哪裡變調，錯了聽起來就像一個字一個字唸。更麻煩的是，變調後的調在聲學上是否與對應的本調完全相同，文獻還有爭議：實驗室語音的研究沒有發現聲學差異，自然口語的研究則發現有差異，而後續研究針對表層為高降調的單音節詞，控制詞彙層次的變異之後，差異就不再可見（作者對這是否代表完全中和持保留態度）。問題是：現有系統的錯誤裡，有多少真的出在變調上？
  • 先蒐集的證據：(1) 用能讀羅馬字的台語合成模型，合成一批多音節的詞與短句，請兩三位台語母語者逐音節標出變調錯誤；(2) 用 TAT 的一小份測試語句跑輸出台羅的辨識模型，統計聲調錯誤占全部錯誤的比例，以及其中發生在變調位置的比例。
  • 已查證的資源：
    • TAT（Taiwanese Across Taiwan）：朗讀語音，6 支麥克風同步錄音、16 kHz；第一、二冊合計約 100 小時、200 位說話人；轉寫有漢羅台文與台羅兩層。要用的組私下聯繫授課老師（見本組開頭）。另有 TAT-TTS，四位說話人、各約 10 小時的錄音室語音。
    • 教育部《臺灣台語常用詞辭典》：可下載辭典文字（ODS）與詞目、例句的音檔（WAV、MP3）；文字與音檔為 CC BY-ND 3.0 TW（禁止改作）。台羅只標本調；音檔則有些依實際口語錄出變調，可以拿來對照。
    • MMS：mms-1b-all 的辨識支援閩南語（nan）；mms-tts-nan 是閩南語合成模型，詞表只有帶聲調符號的拉丁字母（白話字式拼寫），沒有漢字。兩者都是 CC-BY-NC 4.0。輸入只標本調的羅馬字時，它會不會自己變調？這本身就是一個證據。
    • Fun-CosyVoice3-0.5B-2512：Apache-2.0，model card 把「閩南」列在支援的方言裡，但沒有提供評估數字，也沒有提到台灣台語。
    • 臺灣言語工具：CPAL-1.0，靠辭典做漢字與羅馬字互轉、白話字與台羅互轉；文件裡的變調頁還是空殼。
  • 起點文獻：
    • Chen, “The syntax of Xiamen tone sandhi,” Phonology Yearbook 4, pp. 109–149, 1987. DOI
    • Zhang, Lai & Sailor, “Modeling Taiwanese speakers’ knowledge of tone sandhi in reduplication,” Lingua 121(2), pp. 181–206, 2011. DOI　以造詞測驗檢驗變調規則的能產性。
    • Chuang & Wang, “Incomplete neutralization in tone sandhi in Taiwan Southern Min spontaneous speech,” Speech Prosody 2024, pp. 537–541. ISCA Archive；對照 Chien & Jongman, “Tonal Neutralization of Taiwanese Checked and Smooth Syllables: An Acoustic Study,” Language and Speech 62(3), 2019, DOI（實驗室語音中沒有發現聲學差異），以及 Chuang & Wang, “Tonal Variation and Word Meaning in Taiwanese,” Interspeech 2025, pp. 4183–4187, ISCA Archive（控制詞彙層次的變異後，差異不再可見）。
    • Sung et al., “CLiFT-ASR,” ROCLING 2025, pp. 176–183. ACL Anthology　先學台羅再學漢字的兩階段訓練，作者把變調建模留給未來。同一團隊的 T-SANDHI（arXiv 2609.18194，metadata 標註已被 SLT 2026 接受）直接處理變調與本調的混淆，是這張卡最接近的前人工作，動手前一定要讀。
  • 開放方向：
    • 變調錯誤在辨識與合成的錯誤中各占多少？集中在哪些詞組結構？
    • 模型內部有沒有表徵詞組邊界？變調判斷需要多少句法資訊，聲學上下文夠不夠？
    • 能不能定義一個只看變調位置的評估指標，讓不同系統的變調能力可以比較？
    • 不完全中和的爭議，能不能用大量自然語音與模型表徵提供新的證據？
  • 風險：變調規則不只一條（輕聲、隨前變調、特定詞尾前的變調），標註前要先定規範；需要台語母語評測者；辭典音檔禁止改作，用來訓練或發佈衍生資料前先確認是否符合條款。
  • 貢獻類型：分析為主，可延伸為方法。
  • 課程週次：W2（F0 與 pitch）、W7（辨識）、W8–W9（合成）。

A2　台語辨識該輸出什麼文字？

  • 痛點：同樣叫「台語語音辨識」，輸出可能是華語漢字（接近翻譯）、台語漢字、台羅、白話字，或漢羅混寫。2020 年的 Formosa Speech Recognition（FSR）挑戰賽就分成三個賽道：辨識成華語漢字、台文、台羅。Breeze-ASR-26 輸出華語漢字，它的論文也指出，輸出台語正字的系統無法直接和華語參考答案比較，兩者的對應也不是一對一。不同論文的 CER 因此在量不同的任務，數字不能互比；使用者要的也不同：看字幕的人要華語，寫台文的人要台語漢字或羅馬字。
  • 先蒐集的證據：整理 5–10 篇台語辨識的論文與 model card，列出各自的輸出書寫系統、參考答案的來源與正規化方式；再拿一個模型、一小份測試資料，算出它在不同參考答案與正規化下的分數差距。
  • 已查證的資源：
    • Breeze-ASR-26：Apache-2.0，由 Whisper large-v2 微調（權重約 1.54B 參數；頁面顯示的「2B」是四捨五入），訓練資料是約一萬小時的合成台語語音（未公開），輸出華語漢字，不是台語正字。它的評測集是 30 組行政院政令宣導的華台對照音檔，參考答案是華語。
    • TAT：轉寫有漢羅台文與台羅兩層（私下聯繫授課老師，見本組開頭）。
    • Common Voice 台語（nan-tw）：CC0，經 Mozilla Data Collective 下載。27.0 版（2026-09-17）有 303 位錄音者，頁面沒寫時數；25.0 版標示 21.78 小時已驗證語音。提示文字以單詞為主，漢字後面括號附台羅或白話字，官方建議使用時去掉括號內的羅馬字。不可重新散布。
    • ChhoeTaigi 資料庫：多部辭典的 CSV，含白話字、台羅、漢羅與華語對照；授權各部不同，從 CC0（iTaigi 華台對照典）、CC BY-SA 4.0、CC BY-NC-SA 3.0 TW 到 CC BY-ND 3.0 TW（教育部辭典）都有。
    • 教育部辭典：見 A1。
  • 起點文獻：
    • Liao et al., “Formosa Speech Recognition Challenge 2020 and Taiwanese Across Taiwan Corpus,” O-COCOSDA 2020, pp. 65–70. DOI
    • Chen et al., “Speech-to-Speech Translation for a Real-world Unwritten Language,” Findings of ACL 2023, pp. 4969–4983. ACL Anthology　把台語當成「沒有標準書寫」的語言處理，評測以 TAT 的台羅為參考；它的評測集網頁目前需要登入才能看。
    • Lan et al., “Breeze Taigi: Benchmarks and Models for Taiwanese Hokkien Speech Recognition and Synthesis,” arXiv 2603.19259, 2026（只有 arXiv 版）。
  • 開放方向：
    • 「台語語音 → 華語文字」該用什麼指標評估？CER、BLEU、chrF，還是語意相似度？
    • 台語漢字有推薦用字與習慣用字的差異，正規化該怎麼做才公平？
    • 同時輸出兩種書寫（例如台羅與華語）的模型，兩個輸出是互相幫忙還是互相干擾？
  • 風險：用字規範本身有爭議，需要熟悉台文的標註者；多種參考答案要對齊同一批音檔，成本不低；各資源的授權差異很大，衍生資料要能發佈，先選對來源。
  • 貢獻類型：分析或資源（同一批音檔、多種書寫參考答案的測試集）。
  • 課程週次：W7、W14。

A3　國台英夾雜：轉換點上發生了什麼？

  • 痛點：「這份 report 足媠，明仔載閣 review 一擺。」台灣的日常說話常在一句話裡夾雜華語、台語與英語。Whisper 的語言清單裡沒有閩南語，沒有現成的語言標記可用；以華語為主的模型遇到台語詞，常寫成發音相近的華語字。
  • 先蒐集的證據：在取得同意的前提下錄 50–100 句自然的夾雜語句，用兩三個現成模型辨識，標出每個轉換點，比較轉換點前後一個詞的錯誤率與其他位置的錯誤率。
  • 已查證的資源：
    • 2026-10-16 查證時，沒有找到公開的華台夾雜語音語料。Breeze-ASR-26 的合成訓練資料含華台夾雜，但沒有公開。
    • SEAME（LDC2015S04）：約 192 小時華英夾雜的對話與訪談，156 位新加坡與馬來西亞說話人；經 LDC 發行，要用的話私下聯繫授課老師。
    • ASCEND：10.62 小時香港華英夾雜的自然對話，23 位說話人；CC BY-SA 4.0。
    • TALCS：587.5 小時華英夾雜（線上英語課的老師語音）；論文說「以寬鬆授權免費提供」，但沒有寫明是哪一種授權。
  • 起點文獻：
    • Lyu et al., “SEAME: a Mandarin-English code-switching speech corpus in south-east asia,” Interspeech 2010, pp. 1986–1989. DOI
    • Lovenia et al., “ASCEND: A Spontaneous Chinese-English Dataset for Code-switching in Multi-turn Conversation,” LREC 2022, pp. 7259–7268. ACL Anthology
    • Lu et al., “Exploring Methods for Building Dialects-Mandarin Code-Mixing Corpora: A Case Study in Taiwanese Hokkien,” Findings of EMNLP 2022, pp. 6287–6305. ACL Anthology　建構華台夾雜文字語料的方法。
  • 開放方向：
    • 轉換點的錯誤主要來自聲學（發音相近）還是語言模型（華語先驗太強）？怎麼設計實驗把兩者分開？
    • 夾雜進來的台語詞該寫成什麼（接 A2）？
    • 測試集怎麼設計，才能把「轉換頻率」與「詞彙罕見度」分開？
  • 風險：自錄資料需要同意書與去識別化；訓練與測試要避免同一位說話人；「借詞」與「語碼轉換」的界線要先定義。
  • 貢獻類型：資源與分析，可延伸為方法。
  • 課程週次：W7。

A4　台語的合成與聲音複製：像本人，但道地嗎？

  • 痛點：零樣本聲音複製可以用幾秒錄音模仿一個人的音色，但音色像不代表台語道地：變調、語調、聲母與韻母都可能帶著「華語腔」。參考錄音是華語時，問題可能更明顯。這些目前都沒有現成的自動指標。
  • 先蒐集的證據：選 30 句、兩三個能合成台語的開源系統，請三到五位台語母語者逐音節標記：變調錯、聲母或韻母錯、整體口音。得到的是錯誤類型的分布，而不只是一個 MOS。
  • 已查證的資源：
    • Fun-CosyVoice3-0.5B-2512：見 A1。
    • mms-tts-nan：見 A1；單一聲音，不能複製音色，但可以當作「只看發音」的對照。
    • BreezyVoice：Apache-2.0，台灣華語的合成模型，不是台語。聯發科 2026 年發表的台語版（論文稱 BreezyVoice-Taigi），2026-10-16 查證時沒有找到公開版本；聯發科的發表文說開源的是 Breeze ASR 26 與 Breeze Guard 26。
    • TAT-TTS（私下聯繫授課老師）與教育部辭典音檔（授權見 A1）：母語者的參考語音。
  • 起點文獻：
    • Hsu et al., “基於深度學習之中文文字轉台語語音合成系統初步探討,” IJCLCLP 25(2), pp. 69–84, 2020. ACL Anthology　中文文字 → 台羅 → Tacotron2 的管線。
    • Lan et al., Breeze Taigi（見 A2）：把變調列為台語合成的難點，人評的發音項目檢查聲調與變調。
    • Kirkland et al., “Stuck in the MOS pit: A critical analysis of MOS test methodology in TTS evaluation,” SSW 2023, pp. 41–47. ISCA Archive
  • 開放方向：
    • 「道地程度」能不能自動評估？用什麼信號：台語辨識、聲調分類，還是母語者偏好？
    • 參考錄音的語言（華語或台語）對輸出口音的影響有多大？
    • 輸入用華語文字、台語漢字、羅馬字，合成結果各差在哪裡？
  • 風險：聲音複製必須取得說話人同意，不要公開可被濫用的複製聲音；評測者招募不易；MOS 不能跨論文比較，聽測要報告量表、指導語與評分者（見 Kirkland et al.）。
  • 貢獻類型：分析，可延伸為評估方法或資源（附錯誤標註的聽測資料）。
  • 課程週次：W8–W9。

A5　朗讀與自然口語之間的落差

  • 痛點：公開或可申請的台語語音大多是朗讀：TAT 是照稿朗讀，Common Voice 以單詞為主。實際使用的場合卻是對話、廣播、長輩聊天：合音、吞音、語氣詞、語速忽快忽慢。2026-10-16 查證時，沒有找到授權開放、規模足以評估辨識的台語自然對話語料。沒有它，就沒人知道朗讀資料上的數字高估了多少。
  • 先蒐集的證據：盤點現有台語語音資料的說話型態、規模、授權與取得方式，整理成表；在取得同意的前提下錄一小段自然對話，比較同一個模型在朗讀與自然語音上的錯誤率與錯誤類型。
  • 已查證的資源：
    • TSM Corpus 1.0（University of Alberta）：7 位說話人的訪談、7,849 詞，附 Praat 標註；免費提供給研究者做非商業研究。規模小，但可以當作自然口語的樣本。
    • TaigiSpeech：依專案頁，是說話人對想像情境的自然回應（見 A6）。
    • TAT、Common Voice 台語：見 A1、A2。
  • 起點文獻：
    • Chuang & Wang（Speech Prosody 2024；Interspeech 2025，見 A1）使用的是 Wang & Fon（2013）的台語自發訪談語料，每位說話人約 30 分鐘（Interspeech 2025 用了 16 位，Speech Prosody 2024 用了其中 8 位）；是否對外提供，論文沒有說明，可以直接問作者。
  • 開放方向：
    • 一份小而乾淨、有授權的自然口語測試集，需要多少小時，錯誤率的信賴區間才夠窄？
    • 合音、吞音、語氣詞的標註規範該怎麼定？
    • 朗讀與自然口語的差距，主要來自聲學、詞彙還是語法？
  • 風險：廣播與網路影音有著作權，不能直接拿來發佈；錄音涉及個資，需要同意書；標註一致性要量（inter-annotator agreement）。
  • 貢獻類型：資源，搭配分析。
  • 課程週次：W7、W14。

A6　長輩說台語，系統聽得懂意思嗎？

  • 痛點：居家照護與緊急求助的語音互動，使用者常是說台語或國台混合的長輩。長者的聲音與說話方式和訓練資料差很多；而系統真正需要的是「意思」，不是逐字正確。
  • 先蒐集的證據：TaigiSpeech 只有意圖標籤、沒有逐字稿，所以不能直接算 CER。先比較兩條路：現成辨識模型（例如輸出華語的 Breeze-ASR-26）接文字意圖分類，與直接從語音表徵分類；再看錯誤集中在哪些意圖、哪些說話人。替一部分語句補上逐字稿，本身就是資源貢獻。
  • 已查證的資源：
    • TaigiSpeech：CC BY 4.0，可直接下載。3,079 句、約 6.1 小時、21 位說話人，48 kHz；8 種意圖（求救、跌倒求助、呼吸或胸口不適、疼痛、聯絡家人、開燈、關燈、取消警報），沒有 slot 標註，也沒有逐字稿；訓練、驗證、測試的說話人不重疊。說話人年齡的描述不一致：專案頁寫 21 位長者、平均 67.9 歲，資料卡寫 20 到 78 歲、多數超過 54 歲。
    • Breeze-ASR-26：見 A2。
    • Qwen2.5-0.5B-Instruct：0.49B 參數，Apache-2.0；可以當文字端的小型語言模型。
  • 起點文獻：
    • Chang et al., “TaigiSpeech: A Low-Resource Real-World Speech Intent Dataset and Preliminary Results with Scalable Data Mining In-the-Wild,” arXiv 2603.21478, 2026（只有 arXiv 版）。
  • 開放方向：
    • 辨識錯誤與意圖錯誤的關係是什麼？哪些辨識錯誤無害、哪些致命？
    • 長者語音的聲學特性與台語本身，哪一個對錯誤的貢獻大？
    • 「先辨識再理解」與直接從語音理解，在這個情境下的取捨是什麼？
  • 風險：資料只有約 6 小時、21 位說話人，結論的範圍要寫清楚；照護情境要特別注意隱私；求救類意圖的漏報代價遠高於誤報，指標要反映這一點。
  • 貢獻類型：分析，或資源（補逐字稿），可延伸為方法。
  • 課程週次：W7、W11。

A7　客語多腔調：一個模型，幾個腔？

  • 痛點：臺灣客語有四縣、海陸、大埔、饒平、詔安、南四縣等腔調。依教育部的客家語拼音方案，海陸有 7 個聲調，其餘各腔 6 個（大埔另有超陰平、饒平另有超陰入）；教育部辭典網站上的一篇海陸腔簡介，形容海陸與四縣「你高我低，你升我降」。同一個調值在不同腔調可能代表不同的調類。資料也不平均：四縣的語料最多，饒平還沒有釋出。分開訓練，小腔調資料太少；混在一起訓練，大腔調可能把小腔調吞掉。
  • 先蒐集的證據：用一個混合訓練的基線，分腔調報告錯誤率，畫出各腔資料量與錯誤率的關係；再看錯誤是聲調、韻母還是詞彙，以及有沒有被「改寫成」另一個腔調。
  • 已查證的資源：
    • HAT（臺灣客語語音資料庫）：客家委員會建置、ACLCLP 發行。朗讀語音，8 支麥克風同步錄音。ACLCLP 目前發行的是四縣（含南四縣）約 396 小時、海陸 300 小時，另有四縣與海陸各 60 小時的合成用語音、280 小時四縣廣播語音；大埔（約 204 小時）與詔安（約 214 小時）見下面的 Liao et al. 2025（FSR-2025 的參賽隊伍在報名後取得訓練集），目前還不在 ACLCLP 的發行清單上。轉寫有客語漢字、帶調值數字的客語拼音、華語翻譯三層。要用的組私下聯繫授課老師（見本組開頭）。
    • 教育部臺灣客語辭典：六個腔調的詞目文字可下載（ODS），CC BY-ND 3.0 TW；詞目有音檔可在線上聽，但不提供音檔下載。
    • MMS：辨識與合成都有 hak（CC-BY-NC 4.0），但 model card 沒有說是哪一個腔調。
  • 起點文獻：
    • Peng et al., “Efficient Dialect-Aware Modeling and Conditioning for Low-Resource Taiwanese Hakka Speech Processing,” LREC 2026, pp. 6206–6215. ACL Anthology　把腔調的「風格」與語言「內容」分開建模，同時輸出漢字與拼音；最接近的前人工作。
    • Liao et al., “Taiwanese Hakka Across Taiwan Corpus and Formosa Speech Recognition Challenge 2025 – Dapu & Zhao’an Accents,” ROCLING 2025, pp. 427–434. ACL Anthology　2023 年的挑戰賽以 HAT 第一冊（四縣、海陸）為範圍（參賽論文描述的訓練資料只有四縣），2025 年只有大埔與詔安。2025 年熱身賽各語料類別的最佳 CER：朗讀 1.82%，取自媒體的即席語音 15.03%。
    • Li et al., “Efficient Multilingual ASR Finetuning via LoRA Language Experts,” Interspeech 2025, pp. 1138–1142. ISCA Archive　每個語言一組 LoRA 專家，再以融合或知識蒸餾合併，是「多腔調」可以借鏡的多語做法。
  • 開放方向：
    • 腔調之間的干擾在哪裡最嚴重：聲調、韻母，還是詞彙？
    • 小腔調需要多少資料才不會被吞掉？腔調標籤該不該給模型？
    • 多腔調模型的評估，該用各腔平均，還是最差腔調的表現？
    • 朗讀與即席語音的落差（1.82% 對 15.03%）在各腔調都一樣大嗎？
  • 風險：用 HAT 做出的衍生資料能否發佈，先問授課老師；饒平尚無資料；HAT 的客語拼音用調值數字標調；教育部方案允許調型符號或調值數字兩種寫法，辭典用的是調型符號，轉換要小心。
  • 貢獻類型：方法或分析。
  • 課程週次：W7。

A8　原住民族語：從很少的資料開始

  • 痛點：臺灣有 16 個法定原住民族；原住民族委員會委託的調查把族語分為 42 個方言。大型多語模型宣稱涵蓋上千種語言，但 MMS 的辨識模型在這些族語裡只涵蓋阿美語（ami）與雅美語（tao）。FormosanBench 的結果是：零樣本時 MMS 最好，微調 Whisper 後 WER 約 0.30–0.37，作者仍認為不夠用。
  • 先蒐集的證據：在公開的族語資料上跑現成的多語辨識模型，按語言報告錯誤率與資料量；檢查各語言的書寫與正字法是否一致；確認你要用的每一份資料的授權。
  • 已查證的資源：
    • FormosanBank：17 種臺灣南島語的文字與音訊集合（「語料庫的語料庫」）。限非商業用途，未經書面許可不得用於商業 AI，再散布要看各來源的授權。其中族語E樂園（ePark）與 ILRDF 線上辭典（約 149 小時）的資料，要用的組私下聯繫授課老師。總音訊時數在它自己的頁面上說法不一（首頁 703 小時，各語言表格加總約 1,422 小時），引用時寫明出處頁面。
    • MMS：辨識涵蓋 ami、tao；合成只有 mms-tts-ami、mms-tts-tao；皆 CC-BY-NC 4.0。
    • Common Voice：泰雅（tay）、排灣（pwn）、布農（bnn）、魯凱（dru）、賽德克（trv）、撒奇萊雅（szy）可以貢獻錄音；已釋出的時數請自己到 Mozilla Data Collective 查。
    • formosan-asr-amis：FormosanBank 釋出的阿美語辨識模型（XLS-R-53 微調），CC BY 4.0。
  • 起點文獻：
    • Lin, Chen & Zhang, “FormosanBench: Benchmarking Low-Resource Austronesian Languages in the Era of Large Language Models,” Findings of EMNLP 2025, pp. 16527–16539. ACL Anthology
    • Le Ferrand et al., “Faithful Transcription: Leveraging Bible Recordings to Improve ASR for Endangered Languages,” IJCNLP-AACL 2025, pp. 333–342. ACL Anthology　含阿美、鄒、魯凱。
    • Pratap et al., “Scaling Speech Technology to 1,000+ Languages,” JMLR 25(97), 2024. JMLR
    • 語言學背景：Li & Zeitoun, “Classification of Formosan Languages,” in Handbook of Formosan Languages, Brill, 2024. DOI（介紹 Blust 的分群與其他觀點）；Edmondson et al., “A Laryngoscopic Study of Glottal and Epiglottal/Pharyngeal Stop and Continuant Articulations in Amis,” Language and Linguistics 6(3), 2005（阿美語的會厭與咽部輔音）。
  • 開放方向：
    • 親緣相近的語言之間，資料共享的幫助有多大？分群上的距離能預測遷移效果嗎？
    • 每個語言至少需要多少分鐘的標註語音，錯誤率才降到可用的範圍？
    • 書寫與正字法不一致，對評估數字的影響有多大？
  • 風險：幾乎所有資料都限非商業用途；族語資料涉及族群權益，發佈模型或衍生資料前先問授課老師；同一份 ePark 資料，兩篇論文分別稱為自然敘事與朗讀，使用前自己聽一下。
  • 貢獻類型：方法、分析或資源。
  • 課程週次：W5、W7。

A9　族語與客語的發音回饋

  • 痛點：學族語或客語的人，身邊不一定有母語者可以隨時糾正發音。發音錯誤偵測（mispronunciation detection）通常需要專家逐音標註學習者的錯誤，少數語言幾乎沒有這種資料。有些族語的音在華語與英語裡不存在，例如阿美語的會厭與咽部輔音、賽德克語（太魯閣方言）與泰雅語的小舌塞音 /q/、鄒語與布農語的內爆音，正是學習者最需要回饋的地方。
  • 先蒐集的證據：盤點有示範音檔的教材資源與其使用條款；錄少量學習者語音（取得同意），請母語者標出錯誤，看錯誤集中在哪些音。
  • 已查證的資源：
  • 起點文獻：
    • 2026-10-16 查證時，沒有找到針對客語、台語或族語、做到音素層級的發音錯誤偵測同儕審查論文。相關的有：ROCLING 2005 的台語聲調評分研究（蔡岳廷等，〈台灣閩南語聲調評分系統評估與研究〉，評的是聲調、不是音素）、碩士論文（例如清華大學 2024 年的泰雅語電腦輔助發音訓練系統）與會議摘要。這是空白，但宣稱「第一個」之前要把這些論文找出來引用。
    • 發音錯誤偵測（MDD）的一般方法：Witt & Young, “Phone-level pronunciation scoring and assessment for interactive language learning,” Speech Communication 30(2–3), pp. 95–108, 2000. DOI　GOP（goodness of pronunciation）分數的標準引用。
    • 語音學背景：Edmondson et al.（見 A8）；Lee, “Dorsal Consonant Harmony in Truku Seediq,” Language and Linguistics 10(3), 2009。
  • 開放方向：
    • 沒有學習者錯誤標註時，能不能只用母語者語音建立發音的參考分布？
    • 現有的 SSL 表徵分得開這些特殊的音嗎？
    • 回饋要給到什麼粒度，學習者才用得上？
  • 風險：教材音檔的使用條款常未明訂研究用途，要先確認；學習者錄音的同意流程；母語者標註的一致性。
  • 貢獻類型：方法或資源。
  • 課程週次：W5。

B. 對話與互動

這一組直接接到課程的終點：全雙工語音對話系統。

B1　什麼時候該開口？

  • 痛點：多數語音助理用「靜音超過某個門檻」判斷使用者說完了。門檻短，使用者停下來想一下就被搶話；門檻長，每次回應都慢半拍。人類對話的換手間隙約 200 ms，但說出一句話的產出延遲超過 600 ms，所以聽者必須在對方說完之前就開始準備回應（Levinson & Torreira，見 B2 的起點文獻）。換手是預測問題，VAD 是偵測問題；turn-taking 不是 VAD 的下游應用。
  • 先蒐集的證據：取一段雙聲道對話（每位說話人一軌），統計換手的間隙與重疊分布；把幾種靜音門檻的 endpointing 套上去，數出會發生幾次搶話、多出多少延遲。
  • 已查證的資源：
    • VoiceActivityProjection：VAP 的官方程式，MIT。附一個範例 checkpoint；要自己訓練需另備資料，README 提到 Switchboard、Fisher、CANDOR。
    • MaAI：VAP 系列的即時實作，程式 MIT，README 寫目前支援英語、中文、日語。各模型的授權依它自己的 README 或 Hugging Face 頁面；前身 VAP-Realtime 的模型限學術用途。
    • MagicData-RAMC（OpenSLR 123）：180 小時華語對話，手機錄音、16 kHz，663 位來自中國各地口音區的說話人，附人工轉寫與語音活動時間戳。授權說法不一：OpenSLR 頁面寫 CC BY-NC-ND 4.0，資料內附的說明只寫學術用途免費；使用前確認。
    • Switchboard-1 Release 2（LDC97S62）：約 260 小時英語電話對話、543 位說話人；經 LDC 發行，要用的話私下聯繫授課老師。
  • 起點文獻：
    • Ekstedt & Skantze, “Voice Activity Projection: Self-supervised Learning of Turn-taking Events,” Interspeech 2022, pp. 5190–5194. ISCA Archive
    • Inoue et al., “Multilingual Turn-taking Prediction Using Voice Activity Projection,” LREC-COLING 2024, pp. 11873–11883. ACL Anthology　涵蓋英語、華語、日語；華語資料是 LDC 授權的 HKUST 電話語音（LDC2005S15），不是開放資料。
    • Skantze, “Turn-taking in Conversational Systems and Human-Robot Interaction: A Review,” Computer Speech & Language 67, 2021. DOI
  • 開放方向：
    • 華語與台語的換手線索（句末助詞、語調、停頓）是什麼？以英語為主訓練的預測模型抓得到嗎？
    • 換手預測該怎麼評估：預測對的比例、提前多少時間，還是使用者的感受？
    • 換手預測與後端回應生成怎麼銜接（接 B2）？
  • 風險：需要雙聲道的自然對話，華語的開放資料很少（見 B6），英語的多半要 LDC 授權。
  • 貢獻類型：分析或方法。
  • 課程週次：W12。

B2　回應延遲都花到哪裡去了？

  • 痛點：串接式系統（VAD → 辨識 → LLM → TTS）每一段都花時間，還要加上「等使用者說完」的時間。但延遲不是越低越好：Stivers et al. 測量 10 種語言的問答，各語言回應時距的眾數落在 0 到 200 ms 之間；搶答和慢半拍一樣傷體驗。
  • 先蒐集的證據：搭一條串接管線，量每一段的時間（包括 endpointing 的等待），跑 100 個回合，畫出分布，不要只報平均。
  • 已查證的資源：
    • Silero VAD：MIT。
    • py-webrtcvad：MIT（內含的 WebRTC 程式為 BSD 3-clause），10／20／30 ms 的 frame。
    • whisper_streaming：MIT。論文報告在長篇未分段語音上約 3.3 秒的延遲；README 說 2025 年起由同團隊的 SimulStreaming 取代。
    • sherpa-onnx：Apache-2.0，有現成的華語串流模型（見 E4）。
  • 起點文獻：
    • Stivers et al., “Universals and cultural variation in turn-taking in conversation,” PNAS 106(26), 2009. DOI
    • Levinson & Torreira, “Timing in turn-taking and its implications for processing models of language,” Frontiers in Psychology 6, article 731, 2015. DOI　換手間隙約 200 ms，產出延遲超過 600 ms。
    • Heldner & Edlund, “Pauses, gaps and overlaps in conversations,” Journal of Phonetics 38(4), 2010. DOI　三個語料中約四成的換手是重疊，最常見的是約 200 ms 的間隙。
    • Macháček, Dabre & Bojar, “Turning Whisper into Real-Time Transcription System,” IJCNLP-AACL 2023 System Demonstrations, pp. 17–24. ACL Anthology
  • 開放方向：
    • 哪一段的變異最大？平均值與尾端（例如第 95 百分位）由哪一段主導？
    • endpointing 的等待，能不能改成預測（接 B1）？
    • 系統回應時距的「目標區間」該怎麼定義、怎麼用人評驗證？
  • 風險：量測方法要說清楚（wall-clock 還是演算法延遲、有沒有 warm-up、在哪個硬體上）。2026-10-16 查證時，我們沒有找到逐段拆解串接式系統延遲的同儕審查論文，找到的多半只報總延遲；這可能是空缺，也可能只是沒找到，related work 要自己再查。
  • 貢獻類型：分析。
  • 課程週次：W1（延遲預算）、W11。

B3　怎麼評估一個全雙工對話系統？

  • 痛點：全雙工的定義是：模型在說話的同時仍持續處理輸入串流、持續做決策。用 VAD 硬停 TTS 的系統只是「支援打斷」，仍然是半雙工。評估全雙工要看停頓、附和、換手、打斷、重疊各自處理得如何，現有的評測集以英語為主。
  • 先蒐集的證據：讀完現有的評測集，整理它們測了哪些行為、用什麼語言、怎麼計分；挑一個開源模型實際跑其中幾項。
  • 已查證的資源：
    • Full-Duplex-Bench：測停頓處理、附和、順暢換手、使用者打斷，用自動指標計分；repo 授權 CC BY-NC 4.0。v1 發表於 ASRU 2025，v2（多輪）發表於 ACL 2026（short）；v1.5（重疊處理）與 v3 目前只有 arXiv 版本。
    • Moshi：開源全雙工模型。權重 CC-BY 4.0，Python 程式 MIT；model card 標示的語言是英語，參數 8B。論文只有 arXiv 版本。
    • MiniCPM-o 4.5：Apache-2.0，9B，英語與中文即時語音對話，宣稱支援全雙工。
    • Freeze-Omni（ICML 2025）：中英文。授權說法矛盾：Hugging Face 頁面寫 Apache-2.0，repo 的 License.txt 則限學術、研究與教育用途、不可商用；以較嚴的為準。
    • 8B 或 9B 的模型以 bf16 載入，光權重就約 16–18 GB，超過 16 GB 的 GPU；需要量化或更小的模型，先算帳（見〈算力〉）。
  • 起點文獻：
    • Lin et al., “Full-Duplex-Bench: A Benchmark to Evaluate Full-Duplex Spoken Dialogue Models on Turn-taking Capabilities,” ASRU 2025. DOI
    • Arora et al., “Talking Turns: Benchmarking Audio Foundation Models on Turn-Taking Dynamics,” ICLR 2025. ICLR
    • Peng et al., “FD-Bench: A Full-Duplex Benchmarking Pipeline Designed for Full Duplex Spoken Dialogue Systems,” Interspeech 2025, pp. 176–180. ISCA Archive
    • Nguyen et al., “Generative Spoken Dialogue Language Modeling,” TACL 11, 2023. ACL Anthology
  • 開放方向：
    • 華語的全雙工評測集需要哪些行為類別？哪些可以從英語版直接翻譯，哪些不行（例如附和語的形式）？
    • 自動指標與人評的一致性如何？
    • 「該停而沒停」與「不該停卻停了」的代價不對稱，指標要怎麼反映？
  • 風險：開源全雙工模型的語言支援有限、尺寸偏大；評測資料的授權多為非商用。這個方向移動很快，動手前先查最近三個月的 arXiv。
  • 貢獻類型：資源或分析。
  • 課程週次：W13、W14。

B4　附和語：嗯、對、喔，什麼時候說？

  • 痛點：講電話時對方完全沒有聲音，你會以為斷線了；附和得不是時候，又顯得敷衍或像在搶話。附和語（backchannel）的時機與形式因語言而異，華語的研究少，台語幾乎沒有。
  • 先蒐集的證據：在一份華語對話資料上標出附和語的位置與形式（嗯、對、喔、是喔、笑聲），統計它們之前的停頓長度與語調。
  • 已查證的資源：
    • MaAI：含英語、中文、日語的附和預測模型（授權見 B1）。
    • MagicData-RAMC：見 B1。
    • NCCU Corpus of Spoken Taiwan Mandarin：台灣華語的日常面對面對話，轉寫標了換手、重疊與語碼轉換。授權頁同時寫 CC BY 4.0 與「限非商業用途」，兩者矛盾，使用前向維護者確認。
  • 起點文獻：
    • Inoue et al., “Multilingual and Continuous Backchannel Prediction: A Cross-lingual Study,” IWSDS 2026, pp. 222–230. ACL Anthology　日語、英語、中文；資料是否公開，論文沒有說明。
    • Inoue et al., “Yeah, Un, Oh: Continuous and Real-time Backchannel Prediction with Fine-tuning of Voice Activity Projection,” NAACL 2025, pp. 7171–7181. ACL Anthology　只有日語。
  • 開放方向：
    • 什麼時候附和、用哪一種形式？
    • 附和與搶話的界線在哪裡？
    • 跨語言差異有多大？在日語或英語上訓練的模型，用在華語上缺什麼？
  • 風險：附和語的定義要先講清楚（「對」是附和還是回答？）；需要雙聲道資料。
  • 貢獻類型：分析或資源，可延伸為方法。
  • 課程週次：W12。

B5　系統聽到自己的聲音

  • 痛點：用喇叭播放時，系統自己的語音會被麥克風收回去：系統以為使用者在插話而自己停下來，或把自己的話也辨識進去。戴耳機時一切正常，一開喇叭就出問題。
  • 先蒐集的證據：用筆電喇叭播放合成語音、同時錄麥克風，比較有無回音消除（AEC）時，VAD 的誤觸發率與辨識結果。
  • 已查證的資源：
    • AEC Challenge：程式 MIT；資料依各來源授權（LibriVox 公共領域、AudioSet CC BY 4.0、Freesound 的 CC0 子集、DEMAND CC BY-SA 3.0 等）。
    • WebRTC 的 AEC3：在上游 WebRTC 原始碼裡，BSD 3-clause。
  • 起點文獻：
    • Cutler et al., “ICASSP 2023 Acoustic Echo Cancellation Challenge,” IEEE Open Journal of Signal Processing 5, pp. 675–685, 2024. DOI
  • 開放方向：
    • 回音消除後的殘留回音，對 VAD 與辨識的影響有多大？
    • 雙講（使用者與系統同時說話）時，使用者真正的打斷能不能被保留？
    • 系統知道自己正在播放什麼，這個資訊能不能直接用在打斷判斷上？
  • 風險：結果與裝置、房間高度相關，要在多種條件下測。2026-10-16 查證時，我們沒有找到專門量測「回音造成誤打斷」的同儕審查論文。最接近的是 Asai et al., “Interface for barge-in free spoken dialogue system using adaptive sound field control,” Interspeech 2004, pp. 2665–2668（DOI），它用聲場控制抑制系統自己的回應聲並與 AEC 比較，但沒有量誤打斷率。這可能是空缺，也可能用了別的名稱，related work 要自己再查。
  • 貢獻類型：分析或方法。
  • 課程週次：W10。

B6　華語與台語的雙聲道對話資料

  • 痛點：換手、附和、全雙工模型都需要自然對話，而且最好每位說話人一軌，才知道誰在什麼時候說話。英語有 LDC 的 Switchboard 與 Fisher，華語的開放資料很少，台灣華語與台語幾乎沒有。
  • 先蒐集的證據：盤點現有的華語與台語對話資料：語言與口音、聲道配置、對話型態（兩人對話或多人會議）、時數、授權，整理成表；再標出 B1–B5 哪一張卡會因為沒有資料而做不下去。
  • 已查證的資源：
    • MagicData-RAMC：見 B1。聲道配置請自己確認。
    • AliMeeting（OpenSLR 119）：118.75 小時華語會議，每場 2–4 人，8 聲道遠場陣列加近講耳麥；CC BY-SA 4.0。是多人會議，不是兩人對話。
    • NCCU Corpus of Spoken Taiwan Mandarin：見 B4。TalkBank 上有一個 29 位參與者的子集（CABank Mandarin Taiwan）。
    • CANDOR：英語，1,656 段對話、約 850 小時；需向 BetterUp 申請並經 TalkBank 取得，不是開放下載；要用的話先問授課老師有沒有。
    • 2026-10-16 查證時，沒有找到授權開放、標明規模的台語對話語料。
  • 開放方向：
    • 錄製協定怎麼設計：話題、說話人關係、聲道分離、同意書、去識別化？
    • 多少小時的資料足以評估一個換手預測模型？
    • 標註要包含什麼：換手、附和、重疊、語碼轉換？
  • 風險：錄音涉及個資，需要同意書；聲道之間的串音；授權要在錄製前就決定好。
  • 貢獻類型：資源。
  • 課程週次：W12、W13。

C. 表徵與離散化

C1　低 bitrate 的 codec 丟掉了什麼？

  • 痛點：語音語言模型把語音切成 codec token 來建模。bitrate 越低、序列越短，對語言模型越有利，對音質與資訊保留越不利，兩個目標直接衝突。聲調語言把問題變得更具體：低 bitrate 的 codec 還保留聲調的對比嗎？常用的 codec 評測沒有聲調指標：Codec-SUPERB 的中文資料只有歌聲，DASB 沒有聲調語言，ESPnet-Codec 有華語資料但沒有聲調指標。
  • 先蒐集的證據：把華語或台語的測試句，經過三四種 codec、各兩三種 bitrate 重建；量 F0 輪廓的誤差，用聲調分類或辨識模型量聲調錯誤，再加上說話人相似度。
  • 已查證的資源：
    • EnCodec：程式 MIT（權重授權未標明）。24 kHz 模型每秒 75 個 frame，1.5–24 kbps，6 kbps 時用 8 個 codebook。
    • DAC：程式與權重 MIT。44.1 kHz 模型 86 Hz、9 個 codebook、8 kbps；另有 16 與 24 kHz 模型。
    • SpeechTokenizer：Apache-2.0。16 kHz、8 層 RVQ，第一層以 HuBERT 表徵為蒸餾目標。
    • Mimi（Moshi 的 codec）：權重 CC-BY 4.0。24 kHz、每秒 12.5 個 frame；Moshi 用 8 個 codebook，約 1.1 kbps。第一個 codebook 以 WavLM 表徵為蒸餾目標。
    • WavTokenizer：MIT。單一 quantizer，24 kHz 音訊每秒 40 或 75 個 token。
    • X-Codec：MIT。50 Hz，在 RVQ 前注入 SSL 的語意特徵。
    • VERSA：評估工具，含 F0-RMSE、F0-CORR、說話人相似度等數十種指標。LICENSE 檔是 Apache-2.0，README 寫 MIT。
  • 起點文獻：
    • Osakuade & King, “Lexical Tone is Hard to Quantize: Probing Discrete Speech Units in Mandarin and Yorùbá,” Speech Prosody 2026, pp. 38–42. DOI　SSL 的連續表徵編碼了聲調，但量化成離散單元後，聲調比音段資訊更容易流失。
    • Wu et al., “Codec-SUPERB: An In-Depth Analysis of Sound Codec Models,” Findings of ACL 2024, pp. 10330–10348. ACL Anthology
    • Shi et al., “ESPnet-Codec: Comprehensive Training and Evaluation of Neural Codecs for Audio, Music, and Speech,” SLT 2024, pp. 562–569. DOI
    • Saloev, Ballier & Pacquetet, “Probing the phon* representations of the Mimi codebooks,” ICNLSP 2026, pp. 322–331. ACL Anthology　探測 Mimi 第一個 codebook 編碼了哪些音素資訊（英語 TIMIT）；方法可以直接搬到聲調。
  • 開放方向：
    • 從哪個 bitrate 開始，聲調對比明顯消失？哪些聲調最先受影響？
    • 從 SSL 蒸餾出來的「語意」codebook，比純聲學的 codebook 更保留聲調，還是更不保留？
    • 聲調的流失，會不會反映在下游語音語言模型的表現上？
  • 風險：F0 是物理量，pitch 是知覺量，F0 誤差小不代表聽起來對，需要人評佐證；各 codec 的訓練資料與取樣率不同，比較時要說明。2026-10-16 查證時，我們沒有找到研究聲學 codec 是否保留聲調的同儕審查論文：找到的聲調研究針對的是 SSL 離散單元（Osakuade & King），探測 Mimi codebook 的研究只看英語的音段（Saloev et al.）。
  • 貢獻類型：分析。
  • 課程週次：W2（F0 與 pitch）、W6（codec 與離散化）。

C2　聲調藏在 SSL 的哪一層？

  • 痛點：許多 SSL 語音模型主要以英語預訓練，聲調語言用的卻常是同一批模型。它們的哪幾層編碼了聲調？台語多一個問題：聲學上聽到的是變調後的調，詞典與台羅寫的是本調（見 A1），模型各層編碼的是哪一個？
  • 先蒐集的證據：在有聲調標註的華語或台語資料上，對兩三個 SSL 模型逐層訓練線性 probe，畫出聲調分類正確率隨層數的變化，並加上控制任務。
  • 已查證的資源：
    • WavLM Large：以約 94k 小時英語資料預訓練（Libri-Light、GigaSpeech、VoxPopuli）；model card 連到 UniSpeech 的 LICENSE。
    • XLS-R 300M：約 436k 小時、上百種語言的多語預訓練；Apache-2.0。
    • 聲調標註：台語見 A1 的 TAT 與教育部辭典（辭典的台羅只標本調；TAT 的轉寫怎麼標調，我們沒能看到樣本確認，拿到資料先檢查）；華語可以從轉寫經拼音轉換得到聲調標籤，但要人工檢查破音字與輕聲。
  • 起點文獻：
    • Shen et al., “Encoding of lexical tone in self-supervised models of spoken language,” NAACL 2024, pp. 4250–4261. ACL Anthology　比較以英語、法語、華語、越南語預訓練的 wav2vec 2.0，與以粵語預訓練的 wav2vec2-conformer：聲調語言的模型越高層聲調越好；非聲調語言的模型（文中以英語為例）也編碼不少聲調資訊，但在最後幾層明顯下降。
    • de la Fuente & Jurafsky, “A layer-wise analysis of Mandarin and English suprasegmentals in SSL speech models,” Interspeech 2024, pp. 1290–1294. ISCA Archive　在 wav2vec 2.0 上，聲調、重音等超音段資訊在網路的中間三分之一最強；HuBERT 與 WavLM 的差異在較後面的層。
    • Hewitt & Liang, “Designing and Interpreting Probes with Control Tasks,” EMNLP-IJCNLP 2019, pp. 2733–2743. ACL Anthology　probe 的控制任務與 selectivity。
  • 開放方向：
    • 變調後的表面聲調與本調，分別在哪幾層被編碼？
    • 上面兩篇的結論，在台語、客語上還成立嗎？
    • probe 正確率高，能不能說模型「用到了」聲調？需要什麼樣的介入實驗？
  • 風險：probe 的結論容易過度解讀，一定要有控制任務；比較不同 SSL 模型時，預訓練資料的規模與領域差異常被誤讀成架構的優劣。
  • 貢獻類型：分析。
  • 課程週次：W5（SSL）。

D. 評估方法

這一組的共同點：同一個系統，換一種量法，數字與排名就可能改變。分析型的論文最適合從這裡起步，而且多半只需要推論。

D1　同一個系統，CER 可以差多少？

  • 痛點：華語辨識的 CER 取決於文字正規化：標點、全形半形、繁簡轉換、異體字（臺／台、裡／裏）、數字寫法（五千或 5000）。論文常不寫正規化的細節，同一個系統在不同論文的分數因此不可比，系統之間的排名甚至會翻轉。
  • 先蒐集的證據：選兩三個辨識系統、一份繁體中文測試集，套用四五種正規化組合，看 CER 與系統排名怎麼變。
  • 已查證的資源：
    • Whisper 的 BasicTextNormalizer：先刪掉半形 ()、[]、<> 裡的文字，做 Unicode NFKC 正規化（全形英數與標點轉成半形），再把標點、符號換成空白、轉小寫；沒有繁簡轉換，也沒有針對中文的處理，所以「臺」與「台」、「裡」與「裏」仍然算錯字。
    • OpenCC：繁簡與地區用字轉換，Apache-2.0；s2twp 轉成臺灣正體並套用臺灣慣用詞。
    • seed-tts-eval 的 run_wer.py：一個具體例子。中文評估時只把模型輸出轉成簡體、參考答案不動，去掉標點，不處理數字。
    • Common Voice 中文（臺灣）（zh-TW）：朗讀的提示句，CC0；27.0 版有 2,336 位說話人，頁面沒有寫時數。經 Mozilla Data Collective 下載，不可重新散布。
  • 起點文獻：
    • Radford et al., “Robust Speech Recognition via Large-Scale Weak Supervision,” ICML 2023, PMLR 202, pp. 28492–28518. PMLR　§3.2 與附錄 D 討論它的正規化器，並提醒有「過度貼合 Whisper 轉寫風格」的風險；中文等語言則是在每個字之間加空白，等於算 CER；作者也說這整套非英語的正規化是不完美的解法。
    • Kuhn et al., “Measuring the Accuracy of Automatic Speech Recognition Solutions,” ACM Transactions on Accessible Computing 16(4), 2023. DOI　德語與英語上，正規化讓平均 WER 從 21.83% 降到 10.16%。
    • Manohar & Pillai, “What is lost in Normalization? Exploring Pitfalls in Multilingual ASR Model Evaluations,” EMNLP 2024, pp. 10864–10869. ACL Anthology　Whisper 式的正規化用在印度語系文字上，會讓指標虛高。
  • 開放方向：
    • 哪些正規化步驟會改變系統排名？
    • 華語 CER 的報告至少要包含哪些細節，別人才能重現？
    • 延伸到台語的多種書寫系統（接 A2）。
  • 風險：結論要跨多個系統與測試集才站得住，避免只證明「某一個正規化器有 bug」。2026-10-16 查證時，沒有找到量化中文正規化影響的同儕審查研究。
  • 貢獻類型：分析。
  • 課程週次：W7、W14。

D2　自動 MOS 在華語與台語上可信嗎？

  • 痛點：自動 MOS 預測器多以英語合成語音的聽測資料訓練，卻常被直接拿來評華語或台語的合成系統。一句變調錯誤、口音很重的台語，預測器可能照樣給高分；但也可能沒問題，這要量了才知道。
  • 先蒐集的證據：收集五到十個系統合成的同一批句子，做一個小規模的母語者聽測，計算自動 MOS 與人評在系統層級與句子層級的相關。
  • 已查證的資源：
    • UTMOSv2：MIT；VoiceMOS Challenge 2024 的參賽系統。
    • VoiceMOS Challenge 2022：主賽道是英語；out-of-domain 賽道用 Blizzard Challenge 2019 的中文合成語音，有標註的訓練資料很少。2023 年有一個華語帶噪與增強語音的賽道（TMHINT-QI），2024 年的中文資料只有歌聲。
    • DNSMOS：為降噪系統設計的品質預測，不是為 TTS 設計的，用在合成語音上要說明。
  • 起點文獻：
    • Saeki et al., “UTMOS: UTokyo-SaruLab System for VoiceMOS Challenge 2022,” Interspeech 2022, pp. 4521–4525. ISCA Archive
    • Huang et al., “The VoiceMOS Challenge 2022,” Interspeech 2022, pp. 4536–4540. ISCA Archive
    • Sellam et al., “SQuId: Measuring Speech Naturalness in Many Languages,” ICASSP 2023. DOI　65 個 locale 的自然度預測。
    • Kirkland et al., “Stuck in the MOS pit: A critical analysis of MOS test methodology in TTS evaluation,” SSW 2023, pp. 41–47. ISCA Archive
  • 開放方向：
    • 預測器對變調錯誤與口音敏感嗎？
    • 少量目標語言的人評資料，能不能校正預測器？
    • 系統層級相關高、句子層級相關低時，該怎麼解讀？
  • 風險：MOS 不能跨論文比較：評分者、指導語、參照音檔、量表都可能影響分數。Kirkland et al. 發現多數論文沒有報告量表與指導語，而量表刻度與指導語確實會改變 MOS；聽測設計要寫清楚。2026-10-16 查證時，除了 VoiceMOS 2022 的 out-of-domain 賽道（Blizzard 2019 的中文合成語音，UTMOS 在這個賽道用了少量標註資料），沒有找到在台語或帶口音的 TTS 上檢驗 UTMOS 或 DNSMOS 的同儕審查研究；有一篇只在 arXiv 的研究發現，英語訓練的通話品質預測器在華語上與人評相關很高，所以不要預設結論。
  • 貢獻類型：分析或資源（附人評的合成語音資料）。
  • 課程週次：W9、W14。

D3　換一個 speaker encoder，SIM 排名會翻嗎？

  • 痛點：零樣本 TTS 的論文用 speaker similarity（SIM）比較音色像不像，但 SIM 取決於所用的 speaker encoder：VALL-E 用 WavLM-TDNN，seed-tts-eval 用微調過的 WavLM-large，其他論文用 ECAPA-TDNN 或別的模型。數字因此不能跨論文比較；換一個 encoder，系統排名也可能改變。
  • 先蒐集的證據：用三到五個開源 TTS 系統合成同一批華語句子，以三種 speaker encoder 計算 SIM，看排名的一致性（例如 Kendall’s \tau），並與一個小規模的人評比較。
  • 已查證的資源：
    • SpeechBrain ECAPA：Apache-2.0，以 VoxCeleb 1+2 訓練。
    • WeSpeaker：Apache-2.0，有以中文資料訓練的模型。
    • 3D-Speaker：程式 Apache-2.0；CAM++ 等模型以約 20 萬位說話人的華語資料訓練。
    • seed-tts-eval：SIM 用微調過的 WavLM-large；repo 沒有標明授權。
  • 起點文獻：
    • Chen et al., “Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers,” IEEE Transactions on Audio, Speech and Language Processing 33, pp. 705–718, 2025. DOI　即 VALL-E；arXiv 版的第一作者是 Chengyi Wang，期刊版是 Sanyuan Chen。
    • Kunešová, Hanzlíček & Matoušek, “An Exploration of ECAPA-TDNN and x-vector Speaker Representations in Zero-Shot Multi-speaker TTS,” TSD 2025, LNCS, pp. 84–95. DOI　用四種 encoder 評三個 TTS 變體，結果「不完全一致」。
    • Deja et al., “Automatic Evaluation of Speaker Similarity,” Interspeech 2022, pp. 2348–2352. ISCA Archive
  • 開放方向：
    • 排名在哪些條件下翻轉：跨語言、短參考音檔、情緒語音？
    • 哪一個 encoder 與人的判斷最一致？
    • SIM 的報告應該附上哪些資訊？
  • 風險：人評本身的變異；encoder 的訓練資料語言會影響結果，要說明。2026-10-16 查證時，沒有找到拿已發表的零樣本 TTS 系統、換 encoder 重新排名的研究。
  • 貢獻類型：分析。
  • 課程週次：W9。

E. 穩健性、即時性與安全

E1　增強之後聽起來更好，辨識卻更差

  • 痛點：語音增強讓 SNR 或 PESQ 變好，辨識錯誤率卻可能上升。Iwamoto et al. 把增強後的誤差拆成殘留噪音與失真（artifact）兩部分，發現傷害辨識的主要是後者；作者推測，這類不自然的失真在辨識模型的訓練資料裡很少出現（他們的設定是單通道增強、以多種條件訓練的辨識器）。SNR／PESQ 的改善不等於 WER 的改善。
  • 先蒐集的證據：拿一份帶噪測試資料，用兩三個開源增強模型處理，比較辨識模型在增強前後的錯誤率，同時報告 PESQ 等指標，看兩者是否同向。
  • 已查證的資源：
    • VoiceBank-DEMAND：成對的乾淨與帶噪英語語音，48 kHz，28 或 56 位說話人；CC BY 4.0。
    • DNS Challenge：最新一屆是 ICASSP 2023（DNS5）。程式 MIT，資料依各來源授權；解壓後約 1 TB，只下載需要的部分。
    • MUSAN：音樂、語音、噪音，CC BY 4.0，11 GB。自己混噪時常用。
    • CHiME-4：音檔只透過 LDC 發行（CHiME-3 套件 LDC2017S24），要用的話私下聯繫授課老師。
  • 起點文獻：
    • Iwamoto et al., “How bad are artifacts?: Analyzing the impact of speech enhancement errors on ASR,” Interspeech 2022, pp. 5418–5422. ISCA Archive
    • Dissen et al., “Enhanced ASR Robustness to Packet Loss with a Front-End Adaptation Network,” Interspeech 2024, pp. 5008–5012. DOI　針對封包遺失，在凍結的 Whisper 前面接一個以辨識損失加增強損失訓練的前端。
  • 開放方向：
    • 哪一類失真最傷辨識？與噪音類型、SNR 的關係是什麼？
    • 什麼條件下該開增強、什麼條件下該關？
    • 對 Whisper 這類以大量真實資料訓練的模型，前端增強還有必要嗎？
  • 風險：不要只在一種噪音上下結論；華語測試資料要自己混噪時，混噪的方式與 SNR 要寫清楚。
  • 貢獻類型：分析，可延伸為方法。
  • 課程週次：W10。

E2　沒有人說話的地方，模型寫出了字

  • 痛點：長靜音、背景音樂、環境噪音，可能讓 Whisper 一類的模型產生音檔裡根本沒有的句子。Koenecke et al. 發現約 1% 的轉寫含有整句幻覺，其中 38% 帶有明確的傷害性內容，而說話停頓較長的失語症患者更容易遇到。用在字幕、會議紀錄或照護紀錄時，這比一般的辨識錯誤嚴重得多。
  • 先蒐集的證據：把非語音片段（靜音、噪音、音樂）與華語語音拼接，量模型在非語音區段輸出文字的比例；比較幾個不同架構的模型（例如 Whisper 系列與 CTC 模型）。
  • 已查證的資源：
  • 起點文獻：
    • Koenecke et al., “Careless Whisper: Speech-to-Text Hallucination Harms,” FAccT 2024, pp. 1672–1681. DOI
    • Barański et al., “Investigation of Whisper ASR Hallucinations Induced by Non-Speech Audio,” ICASSP 2025. DOI　非語音音訊會讓 Whisper 反覆產生特定的幻覺片語。
    • Wang et al., “Calm-Whisper: Reduce Whisper Hallucination On Non-Speech By Calming Crazy Heads Down,” Interspeech 2025, pp. 3414–3418. ISCA Archive　在 UrbanSound 上，Whisper large-v3 的 20 個 decoder head 中有 3 個造成超過 75% 的非語音幻覺。
  • 開放方向：
    • 哪些非語音條件最容易引發幻覺？華語的幻覺片語有沒有固定型態？
    • VAD 前處理能消除多少？剩下的從哪裡來？
    • 能不能事先偵測，而不是事後過濾？
  • 風險：幻覺的定義與計數方式要寫清楚；attention 權重不等於對齊，不要把 attention map 當成「模型在聽哪裡」的證據。
  • 貢獻類型：分析，可延伸為方法。
  • 課程週次：W7、W10。

E3　英語訓練的偵測器，抓得到華語的複製聲音嗎？

  • 痛點：聲音複製可以被用來冒充他人。深偽語音偵測器多以英語資料訓練與評估；Müller et al. 發現在 ASVspoof 上表現好的模型，換到真實世界蒐集的深偽語音上會大幅退化。面對華語、台語與新一代的合成系統，效果更是未知。
  • 先蒐集的證據：用開源偵測器，在公開評測資料與自行合成的華語樣本上量 EER，比較「語言」與「合成系統」兩個因素各自造成的落差。
  • 已查證的資源：
    • ASVspoof 5：以 Multilingual LibriSpeech 的英語語音為基礎，約 2,000 位說話人；ODC-By 1.0（真人語音部分 CC BY 4.0）。
    • In-the-Wild：58 位公眾人物，20.8 小時真人、17.2 小時深偽。官方頁寫 Apache 2.0，Hugging Face 鏡像寫 CC BY-SA 4.0；以官方頁為準。
    • AASIST：常用的偵測基線，MIT。
    • MLAAD：多語合成語音，CC BY-NC 4.0，需同意條款才能下載；目前版本有 zh-cn，沒有台灣華語或台語。語言與模型數隨版本增加。
    • CFAD：華語深偽偵測資料，Zenodo 第一版為 CC BY-NC-ND 4.0；之後的版本未能查到授權，使用時確認。
  • 起點文獻：
    • Müller et al., “Does Audio Deepfake Detection Generalize?,” Interspeech 2022, pp. 2783–2787. ISCA Archive
    • Wang et al., “ASVspoof 5: crowdsourced speech data, deepfakes, and adversarial attacks at scale,” ASVspoof 2024 Workshop, pp. 1–8. ISCA Archive
    • Ma et al., “CFAD: A Chinese dataset for fake audio detection,” Speech Communication 164, 2024. DOI
  • 開放方向：
    • 語言與合成系統，哪一個造成的落差大？
    • 少量華語資料能不能讓偵測器跨語言？
    • 偵測器到底用了什麼線索？換一個合成系統，那些線索還在嗎？
  • 風險：合成資料只用自己或已同意者的聲音；不要公開能被濫用的複製聲音或模型；多數資料集禁止商用。
  • 貢獻類型：分析或資源。
  • 課程週次：W9（濫用防範）。

E4　串流辨識的字，實際上多晚才出來？

  • 痛點：串流辨識常用 chunk 大小代表延遲，但一個詞從說完到被輸出，實際的發射延遲（emission latency）可能更長：transducer 類模型有延後發射的傾向，FastEmit 等方法就是為了壓低它而提出的。對全雙工系統，這是延遲預算的一部分（接 B2）。
  • 先蒐集的證據：用一兩個開源串流模型，以強制對齊得到的詞時間為參考，量每個詞從說完到被輸出的時間分布。
  • 已查證的資源：
    • sherpa-onnx：Apache-2.0。串流 Zipformer 模型列表中有華語模型，例如 sherpa-onnx-streaming-zipformer-zh-int8-2025-06-30、sherpa-onnx-streaming-zipformer-multi-zh-hans-2023-12-12，以及華英雙語的 sherpa-onnx-streaming-zipformer-bilingual-zh-en-2023-02-20。各模型的授權看它自己的頁面。
    • whisper_streaming：見 B2。
  • 起點文獻：
    • Yu et al., “FastEmit: Low-Latency Streaming ASR with Sequence-Level Emission Regularization,” ICASSP 2021, pp. 6004–6008. DOI
    • Kang et al., “Delay-Penalized Transducer for Low-Latency Streaming ASR,” ICASSP 2023. DOI　k2／icefall 團隊的做法。
  • 開放方向：
    • 發射延遲與詞長、詞頻、聲調有關嗎？
    • 延遲與正確率的取捨曲線長什麼樣子？不同框架之間能公平比較嗎？
    • 發射延遲與句末偵測怎麼互相影響？
  • 風險：參考時間來自強制對齊，本身有誤差，要說明；不同框架的時間戳定義不同。
  • 貢獻類型：分析。
  • 課程週次：W3–W4（CTC、RNN-T、streaming）、W7。

E5　地名、藥名、人名：在地專有名詞

  • 痛點：一般辨識模型錯得最多的，常常就是語音助理最需要的資訊：鄉鎮村里名、藥名、人名，以及用台語唸的地名。
  • 先蒐集的證據：建一份含專有名詞的測試句（約 100 句），比較模型在有無提示（prompt）或偏置清單時的專有名詞錯誤率。
  • 已查證的資源：
  • 起點文獻：
    • Sun, Zhang & Woodland, “Tree-Constrained Pointer Generator for End-to-End Contextual Speech Recognition,” ASRU 2021, pp. 780–787. DOI
    • Sudo et al., “OWSM-Biasing: Contextualizing Open Whisper-Style Speech Models for Automatic Speech Recognition with Dynamic Vocabulary,” Interspeech 2025, pp. 5188–5192. ISCA Archive
    • Hou et al., “Ranking and Selection of Bias Words for Contextual Bias Speech Recognition,” Interspeech 2025, pp. 5183–5187. ISCA Archive
  • 開放方向：
    • 偏置清單很長時，誤觸發會怎麼增加？
    • 專有名詞的錯誤率該怎麼定義與計算？
    • 同一個地名有華語與台語兩種唸法時怎麼辦？
  • 風險：上面的方法多在英語（LibriSpeech）上評估，華語的專有名詞以字為單位、同音字多，問題的形狀不同；測試句的錄製需要同意。
  • 貢獻類型：資源或方法。
  • 課程週次：W7。

E6　多人對話的說話人分段：重疊與 collar

  • 痛點：家庭聚會、會議、談話節目裡，說話人重疊很常見。說話人分段（diarization）的 DER 取決於 collar（參考段落邊界前後不計分的時間）與是否計入重疊區段，同一個系統在不同設定下的數字可能差很多，論文卻常不寫清楚。
  • 先蒐集的證據：用開源分段系統跑華語多人會議資料，在不同 collar 與重疊設定下計算 DER，看數字與系統排名怎麼變；再算錯誤集中在重疊區段的比例。
  • 已查證的資源：
    • pyannote.audio：程式 MIT。預訓練管線 speaker-diarization-community-1 為 CC BY 4.0，下載前要在 Hugging Face 同意分享聯絡資訊。
    • AliMeeting：見 B6。
    • DIHARD III：英語與華語，只透過 LDC 發行（開發集、評估集），要用的話私下聯繫授課老師。
    • 計分工具：pyannote.metrics 的 collar 是參考段落邊界周圍不計分的秒數，skip_overlap 預設為 False（計入重疊）；dscore 預設 collar 為 0 ms、計入重疊。
  • 起點文獻：
    • Bredin, “pyannote.audio 2.1 speaker diarization pipeline: principle, benchmark, and recipe,” Interspeech 2023, pp. 1983–1987. ISCA Archive
    • Yu et al., “M2MeT: The ICASSP 2022 Multi-Channel Multi-Party Meeting Transcription Challenge,” ICASSP 2022, pp. 6167–6171. DOI
    • Ryant et al., “The Third DIHARD Diarization Challenge,” Interspeech 2021, pp. 3570–3574. ISCA Archive
  • 開放方向：
    • 重疊區段的錯誤占多少？是漏掉、誤報，還是認錯人？
    • 華語對話的重疊型態（附和、搶話）與英語不同嗎？
    • DER 的報告至少要附上哪些設定，別人才能比較？
  • 風險：評分工具與參數要寫清楚；不同工具的預設值不同。
  • 貢獻類型：分析。
  • 課程週次：W10。

寫你自己的卡

選題不限於上面這些卡，但必須是與語音有關的問題：辨識、理解、生成或評估語音，或透過語音與機器互動。用同樣的欄位寫下你自己的問題，期中報告的 Problem Analysis 與 Related Work 就有了骨架：

問題：（一句話，寫成問句）
痛點：誰、在什麼情境下、遇到什麼問題；技術上是哪一個環節出錯
先蒐集的證據：一到兩週內能完成的觀察；做完之後，什麼結果會讓你放棄這個問題？
已查證的資源：每一項附官方連結、授權、你查證的日期
起點文獻：一到三篇，每篇寫一句它做了什麼、沒做什麼
開放方向：兩到四個問句
風險：資料授權、評估陷阱、被搶先的可能、算力
貢獻類型：方法／資源／分析

「什麼結果會讓你放棄」這一欄最常被跳過，卻最能檢驗問題是否想清楚：如果任何結果都不會讓你改變計畫，你蒐集的就不是證據。

投稿格式備忘

  • INTERSPEECH 2027：在巴西聖保羅舉行，2027 年 8 月 29 日至 9 月 2 日；官網公布的論文截稿日是 2027 年 2 月 9 日。日期以官網的最新公告為準。
  • 頁數（2026 年的官方 paper kit）：regular paper 最多 6 頁，long paper 最多 10 頁。regular 的第 5–6 頁、long 的第 9–10 頁只能放致謝、生成式 AI 使用聲明與參考文獻；附錄必須放在前 4 頁或前 8 頁之內。課程的〈報告範本〉採 long paper 格式；期中報告篇幅不限，頁數限制只用在期末論文。2027 年的規定可能改變，以 2027 年的 call for papers 為準。
  • 引用：2026 年的 paper kit 要求，非同儕審查的來源（包括 arXiv、軟體、私人通訊）只在沒有同儕審查版本時才引用，而且要盡量少。卡片上標為「只有 arXiv 版」的文獻，寫論文時先查有沒有正式發表的版本。
  • 生成式 AI：paper kit 要求以「Generative AI Use Disclosure」一節說明使用程度；生成式 AI 不能列為作者，可以用來編修文字，但不應用來產生論文的相當一部分。

版本

  • 2026-10-16：由前一版的十個預設方法的題目，改寫為問題卡；新增資源型、分析型，以及對話、codec、評估、穩健性方向的卡片；移除未經查證的顯存與訓練時數表；所有資源重新對照官方來源查證，並經第二輪獨立查核。
  • 2026-10-16 晚：專題算力由各組自備，16 GB 是規劃基準、不是上限（〈算力〉一節）；受限語料（TAT、TAT-TTS、HAT、族語E樂園、ILRDF 線上辭典、經 LDC 發行的語料）改為私下聯繫授課老師，授權與費用不寫進公開版；貢獻類型與 PoC 的說法改為與〈期中報告〉頁一致（只能有一個主要類型、PoC 至少完成一項）。
  • 2026-10-16 晚，與 NLP-LLM 對齊：需要申請或付費的語料一律先問授課老師有沒有；寫明題目必須與語音有關；efficiency 表的估計值要標明是估計；BibTeX 要有 doi 或 url；非同儕審查的來源要在句子裡寫明性質與讀取日期。
回到頂端