1950
图灵测试提出 → 详情
艾伦·图灵发表《计算机器与智能》论文,提出著名的图灵测试,为人工智能和自然语言处理领域奠定了哲学和理论基础。图灵测试成为衡量机器是否具有智能的重要标准。
1954
乔治敦实验 → 详情
第一个机器翻译实验成功,将60多句俄语自动翻译成英语,引发了对机器翻译的早期热情和投资热潮。
1957
乔姆斯基形式语言理论 → 详情
诺姆·乔姆斯基提出形式语言层级理论,为自然语言的句法分析提供了数学基础,影响了后续几十年的NLP研究。
1966
ELIZA聊天程序 → 详情
MIT的Joseph Weizenbaum开发了ELIZA,第一个能够模拟人类对话的计算机程序,展示了模式匹配在对话系统中的应用。
1970s
知识库与专家系统时代 → 详情
基于规则的NLP系统兴起,如SHRDLU、LUNAR等,研究者试图通过构建大型知识库来实现语言理解,但受限于知识的规模和复杂性。
1988
隐马尔可夫模型(HMM)应用于NLP → 详情
统计方法开始进入NLP领域,HMM被成功应用于词性标注和命名实体识别,开启了从规则到统计的范式转变。
1990s
统计机器翻译时代 → 详情
IBM提出基于噪声信道模型的统计机器翻译方法,从规则驱动转向数据驱动,机器翻译质量显著提升。
2001
条件随机场(CRF)提出 → 详情
Lafferty等人提出CRF模型,成为序列标注任务的主流方法,在中文分词、命名实体识别等任务中取得突破性进展。
2003
神经语言模型 → 详情
Bengio等人提出神经概率语言模型,首次将神经网络应用于语言建模,为后来的词嵌入和深度学习NLP奠定基础。
2011
IBM Watson赢得Jeopardy! → 详情
IBM Watson击败人类冠军,展示了深度问答系统的强大能力,标志着NLP技术在复杂知识问答领域的成熟。
2013
Word2Vec发布 → 详情
Google的Mikolov团队发布Word2Vec,词向量革命正式开启。分布式词表示能够捕捉语义关系,如"国王-男人+女人=女王",开创了深度学习NLP时代。
2014
Seq2Seq模型 → 详情
Sutskever等人提出序列到序列学习框架,Google发布神经机器翻译系统,端到端学习成为主流范式。
2015
注意力机制 → 详情
Bahdanau等人提出注意力机制,解决了Seq2Seq模型处理长序列的瓶颈问题,让模型能够动态关注输入的不同部分。
2017
Transformer架构 → 详情
Google发表《Attention Is All You Need》,提出Transformer架构,完全基于注意力机制,抛弃了循环神经网络。这一革命性架构成为后来所有大模型的基础。
2018
预训练模型元年 → 详情
ELMo、GPT、BERT相继发布,预训练+微调范式确立。BERT在11项NLP任务上刷新纪录,迁移学习在NLP领域广泛普及。
2019
GPT-2发布 → 详情
OpenAI发布15亿参数的GPT-2,展示了大规模语言模型的强大生成能力,引发了对AI安全的广泛讨论。
2020
GPT-3震撼登场 → 详情
1750亿参数的GPT-3发布,展示了惊人的少样本学习能力,大模型时代正式来临。模型展现出涌现能力,引发对AGI的新一轮讨论。
2021
多模态与指令微调 → 详情
CLIP、DALL-E等模型展示多模态能力,指令微调技术发展,让大模型更好地遵循人类指令。
2022
ChatGPT引爆AI革命 → 详情
OpenAI发布ChatGPT,两个月用户突破1亿,成为史上增长最快的消费级应用。对话式AI进入大众视野,引发全球AI热潮。
2023
GPT-4与多模态大模型 → 详情
GPT-4发布,支持图像输入,在各类考试中表现优异。开源社区涌现LLaMA、Alpaca等模型,百模大战开启。
2024
长上下文与智能体时代 → 详情
模型上下文窗口突破百万token,AI Agent概念兴起,大模型开始具备自主规划和工具使用能力,向通用智能迈进。
未来
通向通用人工智能(AGI) → 详情
持续探索:更强的推理能力、更长的记忆、多模态融合、具身智能、安全对齐。人类正在逐步接近真正的通用人工智能。