1. 词向量（Word Embedding）基础
词向量是将词语映射到数学向量空间的核心技术，常见的实现包括：
- Word2Vec：通过预测上下文或根据上下文预测词（CBOW 和 Skip-Gram）
- GloVe：基于词频统计的全局词向量模型
- FastText：支持子词信息，适合处理罕见词和形态学变化
2. Transformer 模型突破
2017年Transformer的提出彻底改变了NLP领域，其优势包括：
- 自注意力机制（Self-Attention）捕捉长距离依赖
- 并行计算提升训练效率
- 成为BERT、GPT等预训练模型的基础