前馈神经网络（Feedforward Neural Networks, FNN）是深度学习的基础模型之一，广泛应用于分类、回归等任务。以下为关键知识点梳理：
核心概念
- 单向传播：数据从输入层 → 隐藏层 → 输出层单向流动，无循环或反馈
- 激活函数：常用ReLU、Sigmoid、Tanh，决定神经元输出非线性特性
- 权重初始化：Xavier初始化或He初始化可避免梯度消失/爆炸问题
- 正则化：通过添加L1/L2惩罚项（如
/advanced_topics/regularization_techniques）提升泛化能力
优化技巧
- 批量归一化（BatchNorm）：加速训练并缓解梯度问题
- Dropout：随机丢弃部分神经元防止过拟合
- 优化器选择：Adam、RMSProp等自适应学习率算法更高效
- 早停法：监控验证集损失，避免过拟合
应用场景
- 图像识别（如MNIST手写数字分类）
- 时间序列预测（如股票价格分析）
- 自然语言处理（如文本分类）