线性回归是有监督学习中最基础、应用最广泛的回归算法，核心用于解决连续型数值预测问题。其核心思想是：假设输入特征与输出目标之间存在近似线性的映射关系，通过构建特征的线性组合来逼近真实输出。即便在大模型时代，线性模型依然是结构化数据预测、风控评分卡、运营分析等工业场景的首选基线方案。

1. 线性回归算法流程、平方和损失、最小二乘法与梯度下降

- 线性回归的完整算法流程（数据准备→模型假设→损失函数→参数求解→评估→部署）

- 平方和损失函数的选择依据（统计意义、几何意义、数学性质）

- 最小二乘法原理与参数解析解推导

- 最小二乘法的局限性与梯度下降法的引入

2. 线性模型详解与房价预测案例

- 线性模型的严格定义与增广表示法

- 正规方程推导与梯度下降解法

- 高斯-马尔可夫定理

- 模型优势的实证展示

- 模型局限性（非线性欠拟合、离群值敏感性、多重共线性、外推预测）

- 正则化、特征缩放与标准化

3. 分类问题

- 二分类问题

- 多分类问题（One-vs-All 策略）

4. Sigmoid 函数与逻辑回归

- Sigmoid 函数的定义与性质

- 逻辑回归模型

- 逻辑回归的损失函数推演（从似然函数到交叉熵损失）

- 为什么不用平方误差

- 梯度下降法求解过程

- 分类决策边界

- 逻辑回归的优点与缺点

5. 支持向量机（SVM）

- SVM 的核心思想（间隔最大化、支持向量）

- 线性可分 SVM 的目标函数

- 核技巧与非线性分类

- SVM 的适用场景

6. 软间隔、松弛变量与超参数调优

- 软间隔与松弛变量 ξ 的几何意义

- 原始问题与对偶问题

- 惩罚参数 C 与核参数 γ 的影响

- 网格搜索调优策略

笔记三.pdf