以下为自然语言处理领域具有里程碑意义的论文列表,按技术演进顺序排列:
🚀 早期统计模型
1993 - A Statistical Parser for English
由Church和Hanks提出,首次将概率方法应用于句法分析1997 - A Maximum Entropy Model for Segmentation
利用最大熵原理解决中文分词问题
🧠 深度学习突破
2013 - Deep Neural Networks for Language Modeling
Hinton团队的开创性工作,推动深度学习在NLP的应用2014 - A Neural Probabilistic Language Model
Bengio等人提出,奠定神经语言模型基础
📈 变革性模型
2017 - Attention Is All You Need
Vaswani团队的Transformer架构,彻底改变序列建模方式2018 - BERT: Pre-training of Deep Bidirectional Transformers
Devlin等人提出的双向Transformer预训练模型