在机器学习任务中，我们通常将原始数据集划分为三个互斥的部分：训练集、验证集和测试集。这种划分是评估模型泛化能力、防止过拟合的基础。同时，偏差与方差的权衡贯穿模型选择与评估的始终，是理解模型行为、指导改进方向的核心视角。 1. 数据集划分与模型拟合理论 - 训练集、验证集、测试集的定义与功能 - 常见

数据准备通常可以分为四个紧密衔接的部分：数据收集、数据清洗、特征工程和数据集划分。它们在实际项目中往往相互影响、反复迭代，共同决定模型能否被有效训练。特征工程则是把原始数据转化成更适合学习任务的特征表达，在传统机器学习中，其质量往往比模型选择更能决定最终效果。 1. 机器学习数据准备 - 数据准备的

线性回归是有监督学习中最基础、应用最广泛的回归算法，核心用于解决连续型数值预测问题。其核心思想是：假设输入特征与输出目标之间存在近似线性的映射关系，通过构建特征的线性组合来逼近真实输出。即便在大模型时代，线性模型依然是结构化数据预测、风控评分卡、运营分析等工业场景的首选基线方案。 1. 线性回归算法

写在开始之前：本笔记内容是基于西北工业大学2026春季学期本科模式识别与机器学习内容以及全班同学的笔记内容整理而成，在此感谢主讲老师朱老师以及各位助教的辛苦付出，也感谢各位同学帮助我整理这份笔记！ 机器学习的核心目标，是从数据中学习到输入到输出的映射规律，从而实现对未知数据的预测与决策。机器学习的本

梯度是多元函数在某一点处的一阶变化信息所组成的向量。如果把函数图像看作一座山，那么梯度指向"爬升最快"的方向，而负梯度则指向"下降最快"的方向。优化算法的核心目标，就是在参数空间中高效地寻找使损失函数最小化的最优参数。 1. 梯度的定义与梯度下降法 - 梯度的定义与几何意义 - 梯度下降法的核心思想