CM261 / MIDTERM 01 / V3 / 2026 FALL

第一次期中考複習 · V3

從需求、資料到結論:三個連貫案例,十二個停下來想

前三週複習 · 已開放

第一次期中考複習 · V3

前三次實質課程:10/02、10/16、10/23。考試日期:10/30。

我們一起完成一個任務:取得股票資料,算出價格變化,並說明這份結果可以回答什麼。 從規格開始,走過資料取得與清理,最後寫出有根據的報告。每一步都用 Weekly Lab 已練過的例子,先看懂熟悉的數字,再說出判斷理由。

案例一
把需求寫清楚
案例二
讓資料可核對
案例三
讓結論有根據

本頁沿用 Lab 的 100→105、100→95、[100, 102, 101]、"1,200"、[100, 缺值, 105] 與 200→210。各小段是同一工作流程中的獨立練習,不需要把上一段算出的答案帶進下一段。課堂的台積電/鴻海比較另外標示,與教學短例分開閱讀。pd、np 分別代表 pandas 與 NumPy。

案例一|把「算報酬」寫成可以驗收的規格

從熟悉的 100 到 105 開始

同學請 AI 幫忙算報酬。為了知道 AI 有沒有做對,我們先把需求寫清楚:輸入同一股票先後兩期的價格,回傳小數簡單報酬率。

項目 本例的規格
輸入 舊價格 old、新價格 new;起始價格須大於 0
公式 (new - old) / old
上漲測試 100 → 105,應得 0.05,即 5%
下跌測試 100 → 95,應得 −0.05,即 −5%
def pct_change(old, new):
    return (new - old) / old

pct_change(100, 105) 先算 105-100=5,再算 5/100=0.05。pct_change(100, 95) 則算出 -5/100=-0.05。函式把數值交回呼叫者,後續程式才能繼續使用。本短例假設輸入已符合規格,並未實作無效輸入的攔截。

停下來想 ①|100→105,應回傳 5,還是 0.05?

0.05。5 是價差;0.05 是小數報酬,換成百分比是 5%。規格要求的是小數報酬。

能跑,還要確認公式符合規格

若 AI 寫成 return (new-old)/new,分母就用了新價格。即使程式能執行,也不符合原來的規格;這是 verification(實作驗證) 的問題。這裡只需要辨認分母應為 old,不必另算錯誤公式的小數。

最簡單的驗收方式,就是把 Lab 已知的 100→105 放進去,檢查是否得到 0.05;再用 100→95 檢查下跌方向。不能只問 AI「你確定嗎」,或只看程式有多少行。

停下來想 ②|要先確認 AI 的報酬函式是否正確,你會用哪個已知案例?

用 100→105,確認輸出是 0.05;再用 100→95,確認輸出是 −0.05。預期答案要能由自己手算確認。

分開讀懂三個短片段

接下來會看到更多資料,先把串列、迴圈與回傳弄清楚。沿用 Lab 的原程式,三段各自閱讀,不需要把串列轉成一整串報酬。

prices = [100, 102, 101]

for x in [2, 4, 6]:
    print(x)

def pct_change(old, new):
    return (new - old) / old
看哪一段 如何閱讀 結果
prices[-1] −1 取最後一個元素 101
for x in [2, 4, 6] 依序處理 2、4、6 print 執行 3 次
函式中的 return 把計算結果交回呼叫者 呼叫者可使用這個數值

print 的用途是顯示;return 的用途是回傳。閱讀程式時,先指出現在問的是哪一段,就不用同時追蹤全部內容。

停下來想 ③|prices[-1] 是 101,那 len(prices) 是多少?

3。101 是最後一個價格;3 是元素個數。Lab 的串列一直是 [100, 102, 101]。

算對報酬之後,還不能直接變成買進建議

程式正確算出昨天到今天的報酬,不代表它已證明明天會上漲。這要回到 validation(目的確認):規格與證據能否支持研究結論?

另一個檢查是資訊何時公開。Lab 問公司 2026 Q3 財報能否當成 9/30 已知資訊;需要先確認實際公告時間,不能把財報所屬季末當成公開日。今日開盤前也不能使用今日尚未產生的收盤價。

停下來想 ④|公式分母用錯,與「算出歷史報酬就建議買進」,分別缺少哪種檢查?

分母用錯是 verification:程式不符合公式規格。歷史報酬直接變成買進建議是 validation:證據還不足以支持這項決策。

依第一週投影片,AI 協作紀錄應留下委託、接受或拒絕的建議、驗證方法及仍未證明的限制。現在函式與規格已清楚,下一個問題是:輸入價格從哪裡來?

教材回看:C1 規格、verification/validation、AI 協作紀錄;W01 Python 與程式設計補充。Lab 01 q3、q6、q9、q13、q17、q19、q20、q23、q25、q26、q27、q31。

案例二|取得資料,讓每個欄位都可以核對

工作需求決定資料來源

若要取得台積電歷史日收盤價並畫圖,可以從課堂的 yfinance 範例起步;若改成接收自己帳戶的委託回報,就先查券商 API 的功能與開通文件。歷史行情與帳戶交易回報,是不同需求。

需求 課內的查詢起點
歷史日股價 yfinance;再與官方來源核對
台灣公司長期財報 TEJ 等研究資料庫與學校授權
美國證券長期資料 CRSP;確認證券範圍與授權
自己帳戶的委託回報 券商 API 文件

沿用 Lab 的日期條件:history(start="2026-09-01", end="2026-10-01"),包含起日,不包含結束日。仍需確認實際取得的交易日期與是否空表;不是指定九月就一定有每天一筆。

停下來想 ⑤|end="2026-10-01",包含 10/1 嗎?

不包含。這是 Lab 的原日期範圍;9/1 包含,10/1 不包含。

看得到數字,抽取後仍然可能是文字

下表把 Lab 的 daily-prices、115/09/01、2440 與 "1,200" 組成一個教學 HTML。這是解析練習,不主張這些數值是真實同日行情。

<table id="daily-prices">
  <tr><th>Date</th><th>Close</th><th>Volume</th></tr>
  <tr><td>115/09/01</td><td>2440</td><td>1,200</td></tr>
</table>
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, "html.parser")
row = soup.select("#daily-prices tr")[1]
cells = row.select("td")
volume_text = cells[2].get_text(strip=True)

tr 代表一列,th 是表頭格,td 是資料格。[1] 在本例選取表頭後的第一筆資料列,cells[2] 取第三格成交量。volume_text 得到字串 "1,200";get_text(strip=True) 不會自動轉成數值。

抽取前後都需要驗收:HTTP 200 可能只是登入頁;選到一張表也要確認欄名。如果表頭有三欄,資料列卻只有兩個 td,先停下來檢查結構,不能直接補零。

停下來想 ⑥|抽到 "1,200",可以直接當數字 1200 嗎?

還不行。它仍是字串;先去掉千分位逗號,再轉成數值。不要把逗號當成小數點。

用同一組字串練習轉換

日期沿用 Lab 的 115/09/01;民國年加 1911 得 2026。下面將日期與數值分開處理,閱讀時一次看一件事。

import pandas as pd
year = 115 + 1911
date_text = f"{year}-09-01"

text = pd.Series(["1,200", "—"])
text = text.str.replace(",", "", regex=False)
volume = pd.to_numeric(text, errors="coerce")
變數/位置 結果 理由
date_text "2026-09-01" 115 + 1911 = 2026
volume.iloc[0] 1200 去逗號再轉數值
volume.iloc[1] 缺值 破折號無法轉數值,coerce 轉為缺值

轉成缺值並沒有交代原因;還需回查原始文字、欄位說明及轉換規則。未知成交量與已知零成交量意義不同。

停下來想 ⑦|errors="coerce" 把破折號變成什麼?為何不能直接當成零?

變成缺值。缺值表示未知,零表示已知沒有量;原始文字沒有提供後者的證據。

和另一個來源比較時,先保留差異

沿用 Lab 的情境:Yahoo 有某日期,證交所下載結果沒有。 此處只看比較步驟,不需要手算新日期表的列數。假設兩張資料表已取得:

comparison = yahoo.merge(
    twse, on="Date", how="outer",
    validate="one_to_one", indicator=True,
)

outer 保留兩邊所有日期,使只在一邊出現的日期可見;one_to_one 檢查兩邊的日期鍵是否各自唯一。這些設定不保證價格相同,也不會替缺少的日期補出行情。只保留共同日期時,單邊日期差異會被隱藏。

再看 Lab 的另一項紀錄:同日兩來源收盤價都是 2440,成交量不同。目前只能確認差異存在;原因仍需查統計範圍與資料說明。不能直接判定某方錯誤或取平均。如果文件已明確說明「股」與「千股」,先統一單位,再查範圍。

月報也沿用原數字:9/1 收盤 2440,9/30 收盤 2480。2480 / 2440 - 1 約 1.64%,描述的是這兩個收盤時點之間的價格報酬。缺少上月底價格時,不稱為上月底至本月底的完整月報酬;也沒有自動包含股利或成本。

停下來想 ⑧|兩來源價格都是 2440,成交量不同,可以直接說其中一個錯了嗎?

不能。先記錄差異,再查統計範圍與資料說明。價格相同也不表示量的差異可以忽略。

最後分開保存 Raw 與 Clean、來源網址、取得時間及轉換規則。下次資料變動時,才有辦法查出問題來自來源還是清理方式。接下來,帶著這些證據整理分析用資料。

教材回看:C2 來源選擇、yfinance、HTML 與來源比對;W02 資料來源、股票代號、課後複習與 Notebook。Lab 02 r2_source_broker、r2_source_yf、r3_yf_end、q8、q10、q13–q15、q17、q30、r3_html_roc、r2_compare_outer、r2_compare_unique、r3_compare_volume、r2_compare_units、r3_yf_return、q37、q38。

案例三|整理資料,完成可以解釋的比較

先分清重複與衝突

同股票同日期,價格與成交量完全相同,已確認只是重複複製時,保存原始資料後保留一列。若同股票同日卻出現 100 與 105,那是 Lab 的衝突情境,應保留來源線索並查明差異,不能直接留下第一筆或平均。

以下是整理流程的閱讀範例,假設 raw 已取得。第二種衝突要先查明,不能只靠第一行去重解決。

clean = raw.drop_duplicates()
clean = clean.sort_values(["Ticker", "Date"])
clean["Return"] = clean.groupby("Ticker")["Close"].pct_change(
    fill_method=None
)

先依股票、日期排序,再在各股票內算報酬。若不分組,第二檔股票可能錯用第一檔最後一筆價格作比較。分組解決了跨股票問題;缺值仍需要另外理解。

停下來想 ⑨|同股票同日價格是 100 與 105,可以直接平均成 102.5 嗎?

不能。兩筆有衝突,先保留來源線索、查明差異。平均並不能證明哪一個價格符合我們要分析的定義。

回到 Lab 的三筆價格:100、缺值、105

這段獨立練習只用三筆價格,不加入其他股票或成交量表。None 表示缺值。

import pandas as pd
prices = pd.Series([100, None, 105])
returns = prices.pct_change(fill_method=None)
位置 價格 相鄰報酬 原因
第一筆 100 缺值 本表沒有更早價格
第二筆 缺值 缺值 當期價格未知
第三筆 105 缺值 前一期價格未知

fill_method=None 表示不填補。第三筆不能因為看得到 100 與 105,就自動回傳 0.05;它需要的是第二筆價格。若先刪掉缺價列,100 與 105 才會變成相鄰列,但此時的 0.05 跨過了缺漏觀測。

停下來想 ⑩|第三筆價格是 105,為什麼第三筆報酬仍是缺值?

報酬需要當期與前一期價格;第二筆未知,所以第三筆無法計算相鄰報酬。第一筆缺值則是因為本表沒有更早價格。

不同圖需要的有效欄位也不同。當價格已知、成交量缺值時,價格走勢仍可保留;若畫成交量與同日報酬散布圖,每個點都要有同一天的兩個有效數值,不能各欄獨立刪缺值再按位置湊在一起。

先用 200→210 看懂共同起點

比較價格的相對變化時,可把起點設成 100。沿用 Lab:起點 200,後來 210。

start = 200
price = 210
index100 = price / start * 100

210/200×100=105。指數 105 表示比起點上漲 5%,不是原始價格變成 105 元。這和標準化不同:標準化是減平均再除標準差,參考基準不同。

接著閱讀 Lab 的課堂比較:9/1–9/30,台積電指數 100→101.64,鴻海 100→98.24。 圖中只標示起點與期末,沒有重建中間每日價格。

課堂 Lab 的共同起點與期末指數:TSMC 台積電、Hon Hai 鴻海;只顯示兩個端點

這些數字支持「此期間台積電相對價格變化較高」,不代表每股估值較便宜,也不保證下個月上漲。比較之前,兩股要有共同起點日期與相容的價格定義。

停下來想 ⑪|200→210 的起點 100 指數是多少?若兩股起點日期不同,能直接當成同期間比較嗎?

指數是 105。兩股需先確認共同起點日期與價格定義,不能只因圖都從 100 開始,就認定期間相同。

最後讀分布、轉換與樣本限制

Lab 的直方圖題目說:−1% 到 0% 區間的柱高是 5。意思是有 5 筆報酬落在該區間,不是第 5 天報酬,也不是未來會下跌 5 天。下圖只摘出這一個區間,不表示全部樣本只有 5 筆。

Lab 直方圖題目的單一區間:−1% 到 0%,觀測次數 5;其他區間未顯示

每日成交量長條圖則是「一根柱子對應某個觀測日的成交量」。比較兩股的報酬直方圖時,共同分組邊界讓柱子代表相同區間;改變區間數會改變外觀,不會增加原始觀測。

成交量的對數轉換也只看 Lab 已練過的零與缺值:

import numpy as np
volume = np.array([0.0, np.nan])
log_volume = np.log1p(volume)

log1p 就是 ln(1+x)。已知 0 轉成 0;缺值仍然未知。轉換改變尺度,不能保證常態分布、資料錯誤已修好或預測更準確。

停下來想 ⑫|課堂雙股案例各有 19 筆報酬,報告需要交代什麼?

交代期間、有效筆數、指標與短樣本限制。可以描述這段期間的價格變化,但不能憑一個月資料就確定長期風險排名或保證下期績效。

我們終於完成最初的任務:來源可追溯、計算有驗收、圖形有單位、結論有範圍。保存原始表、清理表、程式、圖形與來源條件,讓下一位讀者知道結果如何產生,也知道它沒有證明什麼。

教材回看:C3 資料清理、視覺化與轉換;W03 清理、繪圖與轉換補充。Lab 03 prep_duplicate、prep_conflict、prep_sort、prep_group、prep_gap、prep_first、prep_missing_volume、prep_scatter_missing、prep_rebase、prep_actual、prep_samebase、prep_standard、prep_hist、prep_bar、prep_bins、prep_bin_change、prep_log、prep_logzero、prep_lognormal、prep_summary、prep_save。

考前整合|用熟悉的例子走完同一條流程

需求
回傳小數報酬
驗收
100→105 得 0.05
取得
"1,200" 仍是文字
清理
缺值不等於零
比較
200→210 得 105
解釋
交代期間與限制
熟悉的例子 應該能說明
100→105、100→95 小數報酬 0.05、−0.05;分母是起始價格
[100, 102, 101];for x in [2, 4, 6] 最後一個價格 101;print 執行 3 次
"115/09/01"、"1,200"、"—" 西元 2026/09/01、數值 1200、缺值
Yahoo 有日期、證交所沒有 outer 保留差異;one_to_one 檢查日期鍵唯一
2440→2480,9/1 收盤到 9/30 收盤 約 1.64%,須說清楚期間與價格定義
[100, 缺值, 105],不填補 第三筆報酬仍缺值;第一筆沒有前期價格
200→210,起點設 100 指數 105;共同起點不同於標準化
−1% 到 0% 的柱高 5 此區間有 5 筆,不是第 5 天
0 與缺值取 log1p 0 與缺值;不保證常態或模型成效

必備範圍為現行前三週投影片、補充教材與 Weekly Lab 01–03。本頁沿用 Weekly Lab 的數字與情境,各段練習可獨立閱讀。Selenium/Playwright、動態等待、分頁、特徵工程及模型訓練實作不列入本次必考。正式時間與可攜帶資料仍以教師公告為準。