1. 項目概述從“湊合”到“最優(yōu)”的數(shù)學(xué)藝術(shù)干了這么多年數(shù)據(jù)分析我處理過無數(shù)散亂的數(shù)據(jù)點(diǎn)。很多時候客戶扔過來一堆X和Y問你“這倆玩意兒到底啥關(guān)系”畫個散點(diǎn)圖點(diǎn)倒是都在一條直線附近晃悠但真要你畫一條線穿過去怎么畫才算“最對”憑感覺手繪一條那太不靠譜了。這時候線性最小二乘就是那個讓你從“大概齊”走向“最合理”的數(shù)學(xué)工具箱。它不是什么高深莫測的黑科技而是一個解決“如何找到一條直線讓它最好地代表一堆數(shù)據(jù)點(diǎn)”這個問題的標(biāo)準(zhǔn)答案。簡單說線性最小二乘的核心任務(wù)就是給一組看上去有線性趨勢的數(shù)據(jù)(x1, y1), (x2, y2), ..., (xn, yn)找到一條直線y ax b。這里的“最好”有一個非常直觀的數(shù)學(xué)定義讓所有數(shù)據(jù)點(diǎn)到這條直線的垂直距離的平方和最小。為什么是平方和而不是直接加距離因?yàn)榫嚯x有正有負(fù)直接相加會相互抵消無法真實(shí)反映總的偏差而平方既能消除正負(fù)號的影響又在數(shù)學(xué)上具有良好的性質(zhì)可導(dǎo)便于我們求出那個唯一的、最優(yōu)的解。這個方法的應(yīng)用場景無處不在。從金融里預(yù)測股票趨勢雖然不準(zhǔn)但模型簡單到工業(yè)上校準(zhǔn)傳感器比如溫度傳感器的讀數(shù)與真實(shí)溫度的關(guān)系再到日常的廣告點(diǎn)擊率預(yù)估、用戶行為分析只要是涉及兩個或多個變量之間線性關(guān)系的建模和預(yù)測線性最小二乘往往是工程師和科學(xué)家們上手的第一選擇。它構(gòu)建的模型透明、計算高效、原理易懂是機(jī)器學(xué)習(xí)里線性回歸的基石也是無數(shù)更復(fù)雜模型的起點(diǎn)。接下來我就把這套方法的里里外外、實(shí)操細(xì)節(jié)和踩過的坑給你徹底拆解明白。2. 核心原理與數(shù)學(xué)拆解為什么“平方和最小”就是最優(yōu)2.1 問題形式化從直覺到方程我們面對的數(shù)據(jù)集可以看作是一系列觀測點(diǎn)。假設(shè)我們認(rèn)為y和x之間存在線性關(guān)系即y ≈ β? β?x。這里β?是截距β?是斜率也就是我們要求解的未知參數(shù)。對于第i個數(shù)據(jù)點(diǎn)(x_i, y_i)我們用模型預(yù)測的值是?_i β? β?x_i而實(shí)際觀測值是y_i。那么預(yù)測的誤差或稱殘差就是e_i y_i - ?_i y_i - (β? β?x_i)。線性最小二乘的目標(biāo)就是找到一組β?和β?使得所有數(shù)據(jù)點(diǎn)的殘差平方和RSS, Residual Sum of Squares最小RSS(β?, β?) Σ (y_i - β? - β?x_i)2其中求和i從1到n。注意這里選擇垂直距離即y方向上的誤差的平方隱含了一個重要假設(shè)我們認(rèn)為x是精確的、沒有誤差的或者誤差遠(yuǎn)小于y所有的隨機(jī)波動和不確定性都體現(xiàn)在y的觀測值上。這在很多實(shí)驗(yàn)和觀測場景中是合理的比如固定溫度x測量材料長度y。如果x也有顯著誤差則需要考慮更復(fù)雜的“總體最小二乘”等方法。2.2 求解過程求導(dǎo)與正規(guī)方程如何找到使RSS最小的β?和β?這是一個典型的多元函數(shù)求極值問題。由于RSS是β?和β?的二次函數(shù)開口向上的拋物線其最小值點(diǎn)必然出現(xiàn)在偏導(dǎo)數(shù)為零的地方。我們對RSS分別關(guān)于β?和β?求偏導(dǎo)并令其等于零?RSS/?β? -2 Σ (y_i - β? - β?x_i) 0?RSS/?β? -2 Σ [x_i (y_i - β? - β?x_i)] 0整理這兩個方程我們得到所謂的正規(guī)方程n β? (Σx_i) β? Σy_i(Σx_i) β? (Σx_i2) β? Σx_i y_i這是一個關(guān)于β?和β?的二元一次方程組。解這個方程組就能得到最小二乘估計的顯式公式β? [n Σ(x_i y_i) - (Σx_i)(Σy_i)] / [n Σ(x_i2) - (Σx_i)2]β? (Σy_i)/n - β? * (Σx_i)/n ? - β? x?其中x?和?分別是x和y的樣本均值。這個結(jié)果非常優(yōu)美最優(yōu)直線的斜率β?由數(shù)據(jù)的協(xié)方差結(jié)構(gòu)決定而截距β?則確保直線穿過數(shù)據(jù)的中心點(diǎn)(x?, ?)。2.3 幾何視角與矩陣形式對于理解多元線性回歸多個自變量和編程實(shí)現(xiàn)矩陣形式至關(guān)重要。我們將數(shù)據(jù)表示為矩陣y [y1, y2, ..., yn]?n×1列向量X [ [1, x1], [1, x2], ..., [1, xn] ]n×2設(shè)計矩陣第一列全1用于估計截距β [β?, β?]?2×1參數(shù)向量那么模型可以寫成y ≈ Xβ殘差向量e y - Xβ。最小二乘的目標(biāo)變?yōu)樽钚』瘹埐钕蛄康臍W幾里得范數(shù)平方RSS(β) ||y - Xβ||2 (y - Xβ)?(y - Xβ)。通過矩陣求導(dǎo)或幾何投影可以推導(dǎo)出正規(guī)方程的矩陣形式(X?X) β X?y。當(dāng)X?X可逆時最小二乘解為β? (X?X)?1 X?y。幾何解釋尋找最優(yōu)參數(shù)β?本質(zhì)上是在尋找由X的列向量所張成的列空間中的一個向量Xβ?使得這個向量與觀測向量y的歐幾里得距離最短。Xβ?正是y在X列空間上的正交投影。殘差向量e y - Xβ?垂直于整個列空間。這個視角將最小二乘從一個優(yōu)化問題升華為了一個清晰的幾何投影問題對于理解模型的擬合與殘差性質(zhì)非常有幫助。3. 從零實(shí)現(xiàn)與代碼實(shí)操不只是調(diào)個庫理解原理后自己動手實(shí)現(xiàn)一遍是加深印象的最好方式。我們會用Python從最基礎(chǔ)的公式實(shí)現(xiàn)再到利用NumPy的矩陣運(yùn)算最后與scikit-learn的結(jié)果進(jìn)行對比驗(yàn)證。3.1 基礎(chǔ)公式法實(shí)現(xiàn)這是最直接的方式完全按照我們推導(dǎo)出的顯式公式進(jìn)行計算。優(yōu)點(diǎn)是邏輯清晰易于理解每一步。import numpy as np def simple_linear_regression(x, y): 根據(jù)顯式公式計算簡單線性回歸的斜率和截距。 參數(shù): x: 自變量數(shù)組 y: 因變量數(shù)組 返回: beta_1: 斜率 beta_0: 截距 n len(x) if n ! len(y): raise ValueError(x和y的長度必須相同) # 計算必要的中間量 sum_x np.sum(x) sum_y np.sum(y) sum_xy np.sum(x * y) sum_x2 np.sum(x ** 2) # 計算斜率 beta_1 numerator n * sum_xy - sum_x * sum_y denominator n * sum_x2 - sum_x ** 2 if abs(denominator) 1e-10: # 防止除零錯誤 raise ValueError(分母接近零x的取值可能無方差無法計算斜率。) beta_1 numerator / denominator # 計算截距 beta_0 beta_0 (sum_y - beta_1 * sum_x) / n # 等價于 beta_0 np.mean(y) - beta_1 * np.mean(x) return beta_0, beta_1 # 示例數(shù)據(jù) x np.array([1, 2, 3, 4, 5]) y np.array([2.1, 2.9, 4.2, 5.1, 5.8]) beta_0, beta_1 simple_linear_regression(x, y) print(f手動公式計算: 截距 beta_0 {beta_0:.4f}, 斜率 beta_1 {beta_1:.4f}) print(f擬合直線: y {beta_0:.4f} {beta_1:.4f} * x)實(shí)操心得在實(shí)現(xiàn)公式時一定要警惕數(shù)值穩(wěn)定性問題。當(dāng)數(shù)據(jù)量很大或x的取值范圍很廣時直接計算sum_x2和sum_x**2可能導(dǎo)致大數(shù)吃小數(shù)或精度損失。一個更穩(wěn)健的做法是使用“校正和”公式但為了初次理解的清晰性我們這里使用最直接的公式。在生產(chǎn)環(huán)境中更推薦使用矩陣法或經(jīng)過數(shù)值優(yōu)化的庫。3.2 矩陣法實(shí)現(xiàn)對于簡單線性回歸矩陣法有點(diǎn)“殺雞用牛刀”但這是通向多元線性回歸的必經(jīng)之路也能讓我們更好地理解np.linalg.lstsq等函數(shù)背后的邏輯。def matrix_linear_regression(x, y): 使用矩陣運(yùn)算求解線性最小二乘。 n len(x) # 構(gòu)建設(shè)計矩陣 X第一列為1對應(yīng)截距項 X np.column_stack((np.ones(n), x)) # 形狀 (n, 2) # 求解正規(guī)方程 (X^T X) beta X^T y # 使用 np.linalg.solve 直接解線性方程組比求逆更穩(wěn)定高效 XT_X X.T X # 矩陣乘法 XT_y X.T y # 解方程 XT_X * beta XT_y beta np.linalg.solve(XT_X, XT_y) # beta 包含 [beta_0, beta_1] return beta[0], beta[1] beta_0_m, beta_1_m matrix_linear_regression(x, y) print(f矩陣法計算: 截距 beta_0 {beta_0_m:.4f}, 斜率 beta_1 {beta_1_m:.4f})3.3 使用專業(yè)庫驗(yàn)證最后我們用業(yè)界標(biāo)準(zhǔn)的scikit-learn來驗(yàn)證我們手算的結(jié)果。這不僅是驗(yàn)證也是學(xué)習(xí)如何使用工業(yè)級工具。from sklearn.linear_model import LinearRegression # 注意sklearn 要求輸入的特征 X 是二維數(shù)組即使只有一列 X_sklearn x.reshape(-1, 1) # 變?yōu)?(n, 1) 的矩陣 model LinearRegression(fit_interceptTrue) # 默認(rèn)擬合截距 model.fit(X_sklearn, y) print(fsklearn 驗(yàn)證: 截距 {model.intercept_:.4f}, 斜率 {model.coef_[0]:.4f}) # 計算預(yù)測值并評估 y_pred model.predict(X_sklearn) # 計算殘差平方和 RSS rss np.sum((y - y_pred) ** 2) print(f殘差平方和 RSS {rss:.4f}) # 計算 R-squared from sklearn.metrics import r2_score r2 r2_score(y, y_pred) print(f決定系數(shù) R2 {r2:.4f})運(yùn)行上述三段代碼你會發(fā)現(xiàn)三種方法得到的beta_0和beta_1是完全一致的可能存在極微小的浮點(diǎn)數(shù)誤差這證實(shí)了我們推導(dǎo)和實(shí)現(xiàn)的正確性。sklearn不僅給出了參數(shù)還提供了R2等重要的模型評估指標(biāo)。4. 模型評估與診斷你的直線真的“好”嗎擬合出一條直線只是第一步更重要的是評估這條直線在多大程度上描述了數(shù)據(jù)以及模型假設(shè)是否成立。盲目相信擬合結(jié)果而不加診斷是數(shù)據(jù)分析中的大忌。4.1 關(guān)鍵評估指標(biāo)解讀殘差平方和這是我們優(yōu)化的目標(biāo)函數(shù)RSS。其絕對值大小依賴于y的量綱通常用于比較同一個數(shù)據(jù)集上不同模型的擬合好壞RSS越小越好但不宜跨數(shù)據(jù)集比較?？偲椒胶蚑SS Σ (y_i - ?)2反映了因變量y自身的總波動。決定系數(shù)R2 1 - RSS/TSS。這是最常用的指標(biāo)之一表示模型能夠解釋的y的方差比例。R2越接近1說明模型對數(shù)據(jù)的擬合程度越好。注意R2高并不絕對意味著模型好。如果模型過度復(fù)雜例如用高階多項式去擬合線性數(shù)據(jù)R2也會很高但模型失去了預(yù)測新數(shù)據(jù)的能力過擬合。在簡單線性回歸中R2也等于皮爾遜相關(guān)系數(shù)的平方。調(diào)整后R2當(dāng)模型包含多個自變量時R2會隨著變量增加而自然增大即使新增變量無關(guān)緊要。調(diào)整后R2引入了懲罰項更適用于模型比較。均方誤差與均方根誤差MSE RSS / nRMSE sqrt(MSE)。RMSE與y同量綱更直觀。例如預(yù)測房價RMSE為5萬元可以理解為平均預(yù)測誤差在5萬元左右。4.2 殘差分析檢驗(yàn)?zāi)Ｐ图僭O(shè)線性最小二乘的有效性建立在幾個關(guān)鍵假設(shè)之上線性關(guān)系、誤差項獨(dú)立、同方差性方差恒定、正態(tài)性。殘差圖是檢驗(yàn)這些假設(shè)最強(qiáng)大的工具。import matplotlib.pyplot as plt # 計算殘差 residuals y - y_pred # 創(chuàng)建殘差診斷圖 fig, axes plt.subplots(1, 3, figsize(15, 4)) # 1. 殘差 vs. 擬合值圖 axes[0].scatter(y_pred, residuals, alpha0.7) axes[0].axhline(y0, colorr, linestyle--) axes[0].set_xlabel(擬合值 (Fitted values)) axes[0].set_ylabel(殘差 (Residuals)) axes[0].set_title(殘差 vs. 擬合值) # 理想情況殘差隨機(jī)、均勻分布在0線兩側(cè)無任何趨勢或模式。 # 2. 殘差的正態(tài)概率圖 (Q-Q圖) from scipy import stats stats.probplot(residuals, distnorm, plotaxes[1]) axes[1].set_title(正態(tài)Q-Q圖) # 理想情況點(diǎn)大致分布在一條直線上說明殘差近似正態(tài)分布。 # 3. 殘差 vs. 自變量X圖 axes[2].scatter(x, residuals, alpha0.7) axes[2].axhline(y0, colorr, linestyle--) axes[2].set_xlabel(自變量 X) axes[2].set_ylabel(殘差 (Residuals)) axes[2].set_title(殘差 vs. 自變量 X) # 理想情況同樣應(yīng)隨機(jī)分布在0線兩側(cè)。如果出現(xiàn)漏斗形或曲線形可能意味著異方差或非線性。 plt.tight_layout() plt.show()解讀“殘差 vs. 擬合值”圖如果圖中出現(xiàn)明顯的曲線模式如U型或倒U型則強(qiáng)烈暗示數(shù)據(jù)中存在非線性關(guān)系簡單的直線模型可能不合適需要考慮加入x2等項。如果殘差的離散度隨著擬合值增大而增大或減小形成漏斗形則存在異方差性這會影響參數(shù)估計的標(biāo)準(zhǔn)誤和假設(shè)檢驗(yàn)的有效性。解讀Q-Q圖嚴(yán)重偏離直線尤其是尾部偏離說明殘差分布與正態(tài)分布有差異。這對于小樣本下的精確假設(shè)檢驗(yàn)如t檢驗(yàn)有影響但對于大樣本下的參數(shù)估計中心極限定理通常能保證其穩(wěn)健性。解讀“殘差 vs. X”圖其信息常與“殘差 vs. 擬合值”圖類似因?yàn)閿M合值是x的線性函數(shù)。注意事項在實(shí)際項目中我經(jīng)常發(fā)現(xiàn)新手只關(guān)注R2而完全忽略殘差圖。這是一個巨大的誤區(qū)。一個R20.9的模型如果殘差圖顯示明顯的非線性那么這個模型對于預(yù)測和因果推斷可能是危險且具有誤導(dǎo)性的。殘差分析是判斷模型是否“正確使用”了最小二乘法的守門員。5. 陷阱、擴(kuò)展與實(shí)戰(zhàn)考量5.1 常見陷阱與應(yīng)對策略多重共線性在多元回歸中突出當(dāng)自變量之間高度相關(guān)時X?X矩陣接近奇異導(dǎo)致參數(shù)估計(X?X)?1極其不穩(wěn)定方差巨大。雖然簡單線性回歸只有一個自變量不存在此問題但這是邁向多元回歸時必須警惕的。診斷計算方差膨脹因子。應(yīng)對剔除相關(guān)性高的變量、使用主成分回歸、嶺回歸等正則化方法。異常值與強(qiáng)影響點(diǎn)個別遠(yuǎn)離主體數(shù)據(jù)群的“離群點(diǎn)”會對最小二乘擬合產(chǎn)生不成比例的巨大影響因?yàn)樽钚《藘?yōu)化的是平方和異常值的殘差平方非常大模型會為了“討好”這個點(diǎn)而嚴(yán)重偏離主流趨勢。診斷計算庫克距離、杠桿值。可視化散點(diǎn)圖通常也能一眼看出。應(yīng)對檢查首先檢查是否為數(shù)據(jù)錄入錯誤。理解分析其是否代表一種特殊但有意義的機(jī)制。處理如果確定為無益的噪聲可以考慮使用穩(wěn)健回歸方法如 Huber回歸、RANSAC算法它們對異常值不敏感。非線性關(guān)系數(shù)據(jù)本質(zhì)上是曲線卻強(qiáng)行用直線擬合。這會導(dǎo)致系統(tǒng)性的擬合不足。診斷殘差圖呈現(xiàn)明顯的曲線模式觀察原始散點(diǎn)圖。應(yīng)對對變量進(jìn)行變換如對數(shù)、平方根變換或直接采用多項式回歸、樣條回歸等非線性模型。偽回歸當(dāng)x和y都是隨時間變化的非平穩(wěn)序列時即使它們毫無關(guān)系也可能僅僅因?yàn)槎加袝r間趨勢而計算出很高的R2。這在時間序列數(shù)據(jù)分析中非常常見。應(yīng)對對時間序列數(shù)據(jù)必須先進(jìn)行平穩(wěn)性檢驗(yàn)或協(xié)整檢驗(yàn)不能直接套用普通最小二乘。5.2 向多元線性回歸的平滑過渡簡單線性回歸是多元線性回歸的特例。當(dāng)自變量從一個x擴(kuò)展到多個x1, x2, ..., xp時模型變?yōu)閥 β? β?x? β?x? ... β_p x_p ε所有的核心思想完全不變尋找參數(shù)β最小化殘差平方和RSS。矩陣形式y(tǒng) ≈ Xβ和正規(guī)方程(X?X)β X?y依然適用只是設(shè)計矩陣X從n×2變成了n×(p1)。求解依然可以用np.linalg.lstsq(X, y)或sklearn.linear_model.LinearRegression。# 多元線性回歸示例 import pandas as pd from sklearn.datasets import make_regression from sklearn.model_selection import train_test_split # 生成模擬數(shù)據(jù)100個樣本3個有效特征 X, y make_regression(n_samples100, n_features3, noise10, random_state42) X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.2, random_state42) model_multi LinearRegression() model_multi.fit(X_train, y_train) print(f截距: {model_multi.intercept_:.4f}) print(f系數(shù): {model_multi.coef_}) # 在測試集上評估 r2_test model_multi.score(X_test, y_test) print(f測試集 R2: {r2_test:.4f})5.3 正則化應(yīng)對過擬合與共線性當(dāng)特征很多或特征間存在共線性時普通最小二乘估計的方差可能很大模型容易過擬合。正則化通過在損失函數(shù)中加入對參數(shù)大小的懲罰項來解決這個問題。嶺回歸在RSS上增加L2懲罰項λ Σ β_j2。其解為β?_ridge (X?X λI)?1 X?y。它使參數(shù)估計向0收縮但不會等于0適用于處理共線性。Lasso回歸在RSS上增加L1懲罰項λ Σ |β_j|。它可以將某些不重要的特征的系數(shù)壓縮至精確為0從而實(shí)現(xiàn)特征選擇。from sklearn.linear_model import Ridge, Lasso from sklearn.preprocessing import StandardScaler # 重要使用正則化前通常需要對特征進(jìn)行標(biāo)準(zhǔn)化使懲罰項公平作用于所有系數(shù) scaler StandardScaler() X_train_scaled scaler.fit_transform(X_train) X_test_scaled scaler.transform(X_test) ridge Ridge(alpha1.0) # alpha 是正則化強(qiáng)度 λ ridge.fit(X_train_scaled, y_train) print(嶺回歸系數(shù):, ridge.coef_) lasso Lasso(alpha0.1) lasso.fit(X_train_scaled, y_train) print(Lasso回歸系數(shù):, lasso.coef_) # 注意Lasso可能會產(chǎn)生稀疏系數(shù)部分為06. 工程實(shí)踐與高級話題6.1 數(shù)值計算穩(wěn)定性在實(shí)際計算中尤其是特征維度很高時直接求解正規(guī)方程(X?X)β X?y可能面臨數(shù)值不穩(wěn)定的問題。因?yàn)閄?X可能是一個病態(tài)矩陣條件數(shù)很大求逆會放大誤差。更穩(wěn)健的解法是使用QR分解或奇異值分解QR分解將設(shè)計矩陣X分解為正交矩陣Q和上三角矩陣R即X QR。代入正規(guī)方程得到Rβ Q?y。由于R是上三角矩陣可以通過回代法穩(wěn)定求解。np.linalg.lstsq默認(rèn)使用的就是基于SVD或QR分解的算法。SVD分解將X分解為U Σ V?其中U和V是正交矩陣Σ是對角陣。最小二乘解可以優(yōu)雅地表示為β? V Σ? U? y其中Σ?是Σ的偽逆。SVD方法是最穩(wěn)定、最通用的即使X不是滿秩也能給出一個解。# 使用SVD直接求解學(xué)術(shù)理解實(shí)際用np.linalg.lstsq即可 U, s, Vt np.linalg.svd(X, full_matricesFalse) # 計算偽逆 Σ? S_inv np.diag(1.0 / s) # 求解參數(shù) beta_svd Vt.T S_inv U.T y6.2 統(tǒng)計推斷系數(shù)真的可信嗎在科研和嚴(yán)謹(jǐn)?shù)纳虡I(yè)分析中我們不僅要知道參數(shù)估計值β?還要知道它的不確定性。這需要通過統(tǒng)計推斷來完成其前提是誤差項ε滿足獨(dú)立同分布且服從正態(tài)分布N(0, σ2)。在此假設(shè)下參數(shù)估計β?也服從一個多元正態(tài)分布。我們可以計算參數(shù)的標(biāo)準(zhǔn)誤衡量β?的估計精度。t 統(tǒng)計量t β?_j / SE(β?_j)用于檢驗(yàn)單個系數(shù)是否顯著不為零原假設(shè) H?: β_j 0。置信區(qū)間給出系數(shù)真實(shí)值可能落入的范圍例如95%置信區(qū)間。statsmodels庫提供了非常完善的統(tǒng)計推斷輸出。import statsmodels.api as sm # 使用statsmodels它會自動添加截距項需指定add_constant X_sm sm.add_constant(x) # 添加一列常數(shù)1 model_sm sm.OLS(y, X_sm).fit() # 普通最小二乘 # 打印詳細(xì)的總結(jié)報告 print(model_sm.summary())summary()的輸出會包含系數(shù)估計值、標(biāo)準(zhǔn)誤、t值、P值以及置信區(qū)間還有R2、調(diào)整后R2、F統(tǒng)計量等模型整體檢驗(yàn)指標(biāo)。P值小于顯著性水平如0.05通常認(rèn)為該系數(shù)是顯著的。6.3 案例實(shí)戰(zhàn)房價預(yù)測簡化模型假設(shè)我們想用房屋面積area來預(yù)測房價price。我們模擬一份數(shù)據(jù)并完成全流程。import numpy as np import pandas as pd import matplotlib.pyplot as plt from sklearn.linear_model import LinearRegression from sklearn.metrics import mean_squared_error, r2_score import statsmodels.api as sm # 1. 模擬數(shù)據(jù) np.random.seed(123) area np.random.normal(100, 30, 100).clip(50, 150) # 面積50-150平米 # 假設(shè)真實(shí)關(guān)系房價 5000 300 * 面積 隨機(jī)噪聲 true_price 5000 300 * area noise np.random.normal(0, 10000, 100) # 較大的噪聲 price true_price noise df pd.DataFrame({area: area, price: price}) # 2. 可視化數(shù)據(jù)關(guān)系 plt.figure(figsize(8,6)) plt.scatter(df[area], df[price], alpha0.6, label數(shù)據(jù)點(diǎn)) plt.xlabel(房屋面積 (平米)) plt.ylabel(房價 (元)) plt.title(房屋面積與房價關(guān)系散點(diǎn)圖) plt.grid(True, linestyle--, alpha0.5) # 3. 擬合線性模型 X df[[area]].values y df[price].values model LinearRegression() model.fit(X, y) print(f模型截距: {model.intercept_:.2f}) print(f模型斜率: {model.coef_[0]:.2f}) # 繪制擬合直線 x_fit np.linspace(df[area].min(), df[area].max(), 100).reshape(-1,1) y_fit model.predict(x_fit) plt.plot(x_fit, y_fit, colorred, linewidth2, labelf擬合直線: price {model.intercept_:.0f} {model.coef_[0]:.0f}*area) plt.legend() plt.show() # 4. 模型評估 y_pred model.predict(X) mse mean_squared_error(y, y_pred) rmse np.sqrt(mse) r2 r2_score(y, y_pred) print(f\n模型評估:) print(f均方誤差 (MSE): {mse:.2f}) print(f均方根誤差 (RMSE): {rmse:.2f} (元)) print(f決定系數(shù) R2: {r2:.4f}) # 5. 殘差分析 residuals y - y_pred fig, axes plt.subplots(1, 2, figsize(12,4)) axes[0].scatter(y_pred, residuals, alpha0.6) axes[0].axhline(y0, colorr, linestyle--) axes[0].set_xlabel(預(yù)測房價) axes[0].set_ylabel(殘差) axes[0].set_title(殘差 vs. 擬合值圖) axes[0].grid(True, linestyle--, alpha0.5) axes[1].hist(residuals, bins20, edgecolorblack, alpha0.7) axes[1].set_xlabel(殘差) axes[1].set_ylabel(頻數(shù)) axes[1].set_title(殘差分布直方圖) plt.tight_layout() plt.show() # 6. 統(tǒng)計推斷 (使用statsmodels) X_sm sm.add_constant(df[area]) # 添加常數(shù)項 model_sm sm.OLS(df[price], X_sm).fit() print(\n 統(tǒng)計推斷詳細(xì)報告 ) print(model_sm.summary())通過這個完整案例你可以看到從數(shù)據(jù)探索、模型擬合、可視化、評估到統(tǒng)計推斷的全過程。報告中的P值會告訴你“面積”這個系數(shù)是否顯著置信區(qū)間給出了斜率的一個范圍例如我們可能得到斜率在[280, 320]之間95%置信水平這比單純報告一個點(diǎn)估計值300包含了更多的信息。線性最小二乘的魅力在于其簡潔與深刻。它用最優(yōu)雅的數(shù)學(xué)解決了“最佳直線”的問題為無數(shù)復(fù)雜的模型奠定了基石。然而真正的功夫在模型之外——在于你對數(shù)據(jù)的理解、對假設(shè)的檢驗(yàn)、對異常的處理。下次當(dāng)你看到一組散點(diǎn)圖本能地想畫一條趨勢線時希望你能想起背后這套完整的思考框架和工具箱而不僅僅是點(diǎn)擊軟件里的一個按鈕。工具本身是簡單的但如何正確地、批判性地使用工具才是數(shù)據(jù)工作中區(qū)分新手與老手的關(guān)鍵。