Midterm Report: From a Problem to a Proof of Concept

期中報告：從一個問題走到一份研究提案

期中報告是一份研究提案加上概念驗證（proof of concept, PoC），用 INTERSPEECH long paper 的格式，寫在〈報告範本〉裡：下載 zip、匯入 Prism 成為一個專案，改名為 [Speech-AI] <題目>（<題目> 用報告的英文標題），再以可編輯權限分享給組員與授課老師（見範本頁的 Getting started）。分享就是交件，不用另交 PDF：老師公告期限，期限當下把 midterm/main.tex 編譯成 PDF 打分數，所以期限前要確認它編譯得過。標準和投稿一樣：證據、引用、數字都要經得起審稿人檢查，只是實驗還沒做完。

這一頁是路線圖：期中要回答什麼、按什麼順序做、每一步寫進範本的哪裡。寫作與研究的細節都在範本的藍色導引框裡，這裡不重複；兩者若有出入，以範本為準，並告訴授課老師。選題的起點見〈選題問題卡〉；題目不限於問題卡，但必須是與語音有關的問題。

〈期末論文〉頁還是舊版、之後會改寫：它寫的 4＋1 頁、雙欄模板、200 字的摘要、從 Google Scholar 匯出 BibTeX 都不適用。期末同樣用範本的 final/，兩者不一致時以範本為準。

期中要回答的六個問題

審稿人看兩件事：主張有沒有證據支持，以及這個問題值不值得回答。仔細的實驗期末還能補強前者，卻很難讓一個沒人想知道答案的問題變得有趣。所以期中把大部分篇幅花在問題上。讀完你的報告，讀者應該能回答：

讀者的問題	寫在範本的哪裡
問題是什麼？真的存在嗎？（具體的條件、看得到的症狀、證據）	§1 Introduction、§2 Problem Analysis and Significance
誰在乎？解決了會改變什麼、為誰改變？下一個預訓練模型出來，問題還在嗎？	§2
別人做過什麼？這份工作新在哪裡？	§3 Related Work
怎麼知道成功了沒？（一個也可能證明你錯了的評估設計）	§4 Proposed Approach、§5 Evaluation Plan
現在有東西跑得起來嗎？	§6 Proof of Concept
做得完嗎？門檻在哪裡？（你們的 GPU、風險、目標會議的水準）	§5 的 Compute Budget and Statistics、§7 Plan Toward the Final Paper

路線：七步

1. 選題：先寫下十個候選

從問題卡、自己的生活與專業背景、課程每週講到「方法在哪裡壞掉」的地方、論文的 Limitations、挑戰賽、語音工具在 GitHub 上的 issue 找起。至少寫下十個候選再開始篩，第一個想法很少是最好的。篩的時候問六件事：痛點有沒有證據、解決了對誰有價值、和前人差在哪裡、做不做得到（資料拿不拿得到、你們的 GPU 一學期做不做得完）、你和這個領域的人想不想知道答案、下一個預訓練模型出來之後還重不重要（「系統 X 在 Y 上失敗」常常幾個月就過期，關於機制、語言、測量或資源的問題通常不會）。不是與語音有關的問題、找了一週還看不到痛點的證據、資料拿不到、或答案不用做實驗就猜得到，就換。需要申請或付費的語料（例如 TAT、HAT、族語E樂園、經 LDC 發行的語料），一律先問授課老師有沒有，見問題卡 A 組開頭。

讀範本：sections/00-finding-a-problem.tex 的六個導引框。這個檔只有導引；在框外打的字會印在摘要與 §1 之間，所以不要在這裡寫。候選清單、搜尋紀錄與 AI 輔助的過程，可以放進補充材料的 Problem Discovery Log（選做）。

2. 蒐集證據：讓痛點看得見

動手做方法之前，先證明問題存在，而且有規模：把現成系統跑在一小份資料上、逐句分類錯誤、把失敗的音檔拿出來聽，並放一個問題不該出現的對照條件，證明你看到的不是到處都有的現象。每一筆都記下系統與版本（或 checkpoint）、解碼設定、文字正規化與日期，否則別人重現不了，你自己一個月後也重現不了。問題卡上的「先蒐集的證據」就是這一步。證據不支持痛點時，修正問題或換題；這是研究的正常過程，不是失敗。

寫進範本：§2 Problem Analysis and Significance（證據表要有對照條件那一列），期中最長的一節：痛點、成因、為什麼到現在還沒解決、下一個模型會不會讓它消失、價值、成功長什麼樣子。

3. 決定貢獻類型

方法、資源、分析三種（見下一節的表）。可以有主有從，但只能有一個主要類型：一半方法、一半資料集的論文，通常兩邊都做不好。在 §1 寫明主要類型，以及一個可能被推翻的假設：如果任何結果都不會讓你改變想法，你的實驗就沒有在檢驗什麼。貢獻類型決定 §4 到 §6 寫什麼。

寫進範本：§1 Introduction；00-finding-a-problem.tex 的第 6 框說明三種類型。

4. Related work：系統化搜尋，逐條查證

跨社群搜尋（語音、NLP、訊號處理對同一件事常用不同的詞），期限前再掃一次最近六個月的 arXiv（eess.AS、cs.SD、cs.CL）與當年的會議論文集。最接近的三到五篇讀全文，用課程第一週的〈讀論文四問〉讀；點名「可能讓這篇發表不了的那一篇」，它要出現在 §5 的實驗裡（當 baseline、對照語料或引用的結果；其他接近的論文能放也放），做不到就寫一句為什麼。依概念組織，不要依年代列流水帳。

每一條引用都要查證三層：它在官方紀錄裡存在；標題、作者、出處、年份與官方紀錄一致；你寫的主張真的在那篇論文裡，用 \src{} 標出位置（例如 \src{Sec.~4.2}）。BibTeX 一律從官方來源匯出（ISCA Archive、IEEE Xplore、ACL Anthology、PMLR、OpenReview、DBLP、DOI 頁面；只有 arXiv 版的論文用 arxiv.org/abs/<id>），每一筆都要有 doi 或 url，不要憑記憶打，也不要讓 AI 產生。有同儕審查的版本就引用正式版本：ISCA 的政策是，非同儕審查的來源（包括 arXiv）只在沒有正式版本時才引用，而且要盡量少；arXiv 的 Comments 欄常常沒更新，用標題到 ISCA Archive 與 IEEE Xplore 再搜一次。technical report、model card、blog 與 leaderboard 要引用時，在句子裡寫明它是什麼，數字附上讀取的日期。

寫進範本：§3 的導引框（含對照表與查證框）；補充材料的 Closest Prior Work（選做，三到五篇，每篇一張閱讀卡）。

5. 設計與評估計畫：先把結果表畫出來

先定義研究對象，再依貢獻類型寫設計，說明為什麼應該有效、在哪些條件下不該有效。評估計畫在跑實驗之前定好：資料與切分、每個研究問題一個和主張綁在一起的主要指標、比較對象與控制組、算力預算、種子數與統計方法。用到預訓練模型時，說明它的訓練資料可能包含什麼；如果它可能看過你的測試集，加一份它不可能看過的測試資料（例如模型釋出之後才錄的音），兩份都報告。把期末要填的結果表現在就畫出來，每一格先寫 \pending，每一列只改一件事。

寫進範本：§4 Proposed Approach、§5 Evaluation Plan。

6. PoC：三種之中至少完成一項

下面三種至少完成一項，拿出你自己工作的真實輸出，並說明為什麼這一項最能支持你的貢獻類型（各類型的完整例子見下一節的表）：

1. 小規模試行：在一小份資料上得到穩定、說得通的結果（方法：訓練收斂；資源：依第一版規範試標一批並量一致性；分析：試測一小份資料）。
2. 管線端到端打通：從輸入到最後的輸出（分數、音檔或匯出的資料），在少量資料上走完一次。
3. 重現或對照一個已知結果：方法型用自己的評估程式，得到與已發表結果同一量級的數字；資源型把現有系統跑在你的試行資料與既有語料上，比較兩者；分析型先重現一個已發表的發現，驗證你的測量工具。

PoC 表裡沒有跑的列刪掉，沒有可預期的數字時，Expected 欄寫 --。報告要寫清楚設定（資料量、步數或筆數、硬體、實際花的時間），說你聽到了什麼，也寫出最早遇到的失敗，那是期末錯誤分析的起點。重現的數字對不上時，查出原因（文字正規化？切分？checkpoint？取樣率？）並寫出來；這是發現，不是失敗。

寫進範本：§6 Proof of Concept。

7. 計畫、限制與 AI 使用聲明，然後自我審稿

§7 寫目標會議（Interspeech、ICASSP、透過 ARR 投稿的 *ACL 會議……；不論目標是哪裡，期末論文都用 Interspeech long paper 的格式），以及那裡最近被接受、和你最接近的三篇論文，當作你的標準；剩下的工作依風險排序，最能消除風險的先做（通常是資料與評估，而不是自己的模型），每個決策點寫成「如果……就……」。Limitations 寫具體、會限制你主張的地方。Ethical considerations 在期中選做，範本的框列了該寫的四種情況：要找人錄音、轉寫、標註或聽測；要合成、轉換或複製別人的聲音；用到授權、使用條款或散布權不清楚或有限制的語料、網站或模型；音檔與轉寫可能含個資，或系統可能對某些說話人表現較差。本課不要求送倫理審查，但同意（以及有付費時的合理報酬）照樣要規劃。Generative AI Use Disclosure 寫用了什麼工具、做了什麼。

期限前自我審稿：INTERSPEECH 投稿表單有一份 scientific reporting checklist，分七組；逐組找出報告中回答它的句子（計畫書裡很多項還是計畫，就寫計畫）。再寫一份審稿人會寫的意見：三句話摘要、三個優點、三個缺點，以及對「主張有沒有證據支持」（Soundness）與「問題值不值得回答」（Excitement）各一個判斷與理由。也可以請另一個 AI 獨立寫一份，它找到而你漏掉的缺點，再看一次。能修的修掉，修不了的寫進 Limitations。

寫進範本：§7 的四個導引框（含紅旗清單）、Limitations、Ethical considerations（選做）、Generative AI Use Disclosure。

三種貢獻，期中各要拿出什麼

	方法	資源	分析
主張	在某個條件下比既有做法好，而且說得出為什麼	補上一個缺口：有了這份資料，才做得了原本做不了的研究	一個現象的成因與範圍，結論會改變別人做研究的方式
§4 設計	前端參數（取樣率、窗長、hop）、架構圖與模組間的張量形狀、訓練目標的每一項；宣稱串流就要每個模組都是因果的	來源與錄製方式、同意書與授權、標註規範、品質控制（雙重標註與一致性）、說話人不重疊的切分、data statement	測量工具與它的效度、可能的混淆因素與控制方法、每個假設預測的結果型態
§5 比較	標準基線與近期開源的強系統，同樣的資料與評分程式；參數量相當的對照組	既有系統在你的資料與既有語料上的表現，證明你的資料揭露了舊資料看不到的東西	排除每個混淆因素的控制條件，以及現象應該不出現的參照條件
§6 PoC 的例子	小資料上收斂、聽起來合理；音訊到 loss 的管線打通；用自己的評估程式重現 baseline	一小批資料依第一版規範收集與標註，量雙重標註的一致性；收集到匯出的管線打通；現有系統在你的試行資料與既有語料上的差異	一小份資料上得到穩定、可解讀的測量；刺激到統計的管線打通；先重現一個已發表的發現，驗證你的測量工具

篇幅與格式

• 長度：期中報告篇幅不限，沒有上限也沒有下限，版面照範本。頁數限制只用在期末論文，期末一律是 long paper（依 INTERSPEECH 2026 的 paper kit；2027 年的規定以它的 call for papers 為準）：最多 10 頁，正文、圖表、Limitations、Ethical considerations 與任何附錄都要放在前 8 頁，第 9–10 頁只能放致謝、生成式 AI 使用聲明與參考文獻。把導引框關掉（\showguidesfalse）才看得到真正的長度。
• 補充材料：supplementary.tex 是另一份文件，要單獨編譯。裡面三節（Problem Discovery Log、Closest Prior Work、Reproducibility Details）全部選做，不想放進報告本體的細節也可以放這裡；審稿人可以讀但不一定讀，報告本身要能獨立讀懂。它如果沒有引用任何文獻，刪掉檔尾那兩行 bibliography，否則 BibTeX 會報錯。
• 摘要：最多 1000 字元、只用 ASCII 字元、不能有引用。
• 語言：全文英文。範本預設用 pdfLaTeX，排不了中文字；需要在 PDF 裡放中文、台語或客語的例子時，照範本 README 的〈Chinese or Taiwanese text in the PDF〉改用 XeLaTeX，每段中文都包在 \zh{...} 裡（摘要除外，它只能用 ASCII 字元），並查編譯紀錄裡有沒有 Missing character。範本的 XeLaTeX 設定還沒在 Prism 上測過，找不到中文字型時告訴老師。（% 開頭的註解則可以直接寫中文。）
• 作者：在 metadata.tex 寫每位組員護照上的英文姓名（名在前，例如 Hung-Shin Lee）、學號與 email。
• 三種標記：紅色的 \fillin{...} 是還沒寫的文字，紅色的 \pending 是還沒量的數字，灰色的 \src{...} 是引用主張在原文中的位置。\src 在本課一律保留。期限前在 main.tex 設 \showguidesfalse 並編譯，PDF 裡不能有任何紅色標記；唯一的例外是 §5 預定結果表的格子，它們要到期末才填，保留 \pending。直接搜尋原始檔也會搜到導引框裡提到的標記，以 PDF 為準。計畫裡的數量（要錄的語料的目標大小、GPU 時數的估計）可以寫，但要標明是目標或估計。

用 AI 的規則

可以用來：

• 繪製領域地圖：方法家族、標準資料與指標、已知的失敗模式、搜尋關鍵字，包括不同社群對同一件事的不同說法。
• 從一個種子想法產生很多候選，再由你自己篩。
• 唱反調：「請扮演懷疑的 INTERSPEECH 審稿人，列出這個問題不值得一篇論文的三個最強理由，以及能回答每個理由的證據。」
• 診斷：列出一個症狀在訊號、資料、模型、評估四個層次上可能的成因，以及能區分它們的小實驗。
• 提出困難案例：請它列出 30 種可能讓某個系統失敗的條件、說話人或語句類型，你自己錄或找到這些例子、跑過、聽過，只留確認的失敗，並記下沒有失敗的比例。
• 搜尋文獻，但引用的正確與完整仍是你的責任。deep research 這類工具寫出來的報告是地圖，不是證據：它點名的每一篇論文，都要自己打開官方紀錄才算數。
• 輔助閱讀你已經打開的論文；之後一定要問「論文哪裡這樣寫？」並自己核對。
• 寫 PoC 的程式：資料載入、跑 baseline、畫圖。
• 潤飾英文。

不可以：

• 產生參考文獻或 BibTeX。每一筆都從官方來源匯出。
• 產生、補齊或解讀數字。每個數字都來自你自己的程式。
• 描述音檔聽起來怎樣。那要你自己聽。
• 宣稱「沒有人做過」。只有你自己的搜尋紀錄能支持這種話。
• 替你寫報告的段落。AI 可以潤飾你寫的句子，但不從你的要點生成段落；ISCA 的政策也是，生成式 AI 可以用來編修文字，但不能用來產生論文的相當一部分。
• 列為作者。ISCA 的政策是生成式 AI 不能當共同作者。
• 在檔案裡藏給 AI 讀者看的文字或指令。

這些限制針對寫作與研究過程中的 AI 助手。模型若本身是研究的一部分（被研究的系統、資料產生器如 ASR 偽轉寫或合成語音、評審如自動 MOS 預測器），照 §4 與 §5 的規定寫在正文，並驗證它，例如自動評分與聽測的一致性。

Prism 內建的 AI 功能也是生成式 AI，適用同樣的規則：不能用它插入參考文獻或數字，用過就寫進 Disclosure。

查證可以借助另一個 AI：用不同於找到那篇論文的 AI，依論文 PDF 與官方紀錄交叉比對書目和 \src；兩者不一致的地方，自己讀原文。從第一天起就記錄每一個 AI 輔助的步驟，包括它弄錯的地方。最後在 Generative AI Use Disclosure 寫明用了什麼工具、做了什麼、碰了報告或程式的哪些部分。

不熟寫訓練程式的組

語音研究的突破，常來自對語音本身的觀察，而不只是系統工程。

• 考慮分析型或資源型：分析型多半只需要推論與測量，工程量小，問題卡的 B2、C1、C2、D1、D3、E4、E6 都是；資源型不太需要寫訓練程式，但同意書、標註規範、雙重標註與切分的人工不少，例如 B6。問題選得好，兩者一樣可以是頂會論文（範本第 6 框引了 ARR 審稿指南的說法：資源與分析是領域需要的貢獻）。範本的 final/ 與〈期末論文〉頁目前只寫了方法型；資源型與分析型的期末寫法之後會補上。
• 用現成的工具鏈：ESPnet、SpeechBrain、NeMo、Hugging Face 上的 recipe 與預訓練模型。不要從零寫訓練迴圈。
• 從錯誤分析切入：聽失敗的音檔，分辨問題出在清濁音轉換、高頻摩擦音、殘響、重疊語音，還是文字正規化。
• 你的背景是優勢：語言學、音樂、醫療、教育、廣播的專業知識，常是找到好問題、選對評估方式的關鍵。

專題的算力由各組自備（多數有實驗室的機器）。問題卡與範本以單張 16 GB GPU 為規劃的基準，不是上限：組裡的卡更大可以用，在 §5 的 Compute Budget and Statistics 寫明用的硬體。問題卡的〈算力〉一節教你算記憶體帳。

交件前檢查

• main.tex 設為 \showguidesfalse，編譯出來的 PDF 裡沒有紅色標記（§5 預定結果表的 \pending 除外）；PoC 表裡沒有跑的列已刪掉。
• 每個歸給某篇論文的主張都有 \src{}；每一筆 BibTeX 都從官方來源匯出，並有 doi 或 url。
• 最接近的那篇論文出現在 §5 的實驗裡，或有一句話說明為什麼不能。
• 每個數字都來自你自己的程式；PoC 的設定（資料量、步數或筆數、硬體、時間）寫清楚。
• 摘要不超過 1000 字元、只用 ASCII 字元、沒有引用。
• 有用補充材料的話，它單獨編譯得過。
• Limitations 一節寫了；需要時，Ethical considerations 也寫了。
• Generative AI Use Disclosure 寫好了。
• PDF 裡有中文、台語或客語的話，用 XeLaTeX 編譯、每段都包在 \zh{...} 裡，編譯紀錄裡沒有 Missing character。
• §7 的紅旗清單逐條看過，自我審稿做過一次。
• midterm/main.tex 在 Prism 上編譯得過：期限當下，老師就是把它編譯成 PDF 來打分數。
• Prism 專案已改名為 [Speech-AI] <題目>（報告的英文標題），並以可編輯權限分享給授課老師。分享就是交件，不用另交 PDF；期限以老師的公告為準。

版本

• 2026-10-16：改寫成路線圖，對齊 INTERSPEECH long paper 的 Prism 範本與〈選題問題卡〉。前一版寫的 3–4 頁、4 頁正文、套 ICASSP 或 INTERSPEECH 雙欄模板已不適用，各章節的寫作規範改由範本的導引框負責。交件改為分享 Prism 專案（不另交 PDF）；期中篇幅不限。2026-10-16 晚：期限當下老師編譯 midterm/ 打分數、<題目> 用英文標題；期末一律是 long paper；16 GB 是規劃基準、不是上限。同晚與 NLP-LLM 對齊：題目必須與語音有關；篩選加上半衰期；PoC 表沒跑的列刪掉、Expected 欄可寫 --、計畫數量標明目標或估計；最接近的論文要進 §5 的實驗；BibTeX 要有 doi 或 url；AI 規則改為「潤飾句子、不生成段落」，並寫明模型本身是研究一部分時的例外；期中加上選做的 Ethical considerations；支援 \zh／XeLaTeX；需要申請或付費的語料一律先問老師有沒有；「交件前」改為「期限前」。