对比学习（Contrastive Learning）概述

对比学习是自监督学习领域的重要方法，通过让模型学习数据之间的对比关系来提取有意义的特征表示。以下是其核心要点：

🧠 核心思想

• 正样本与负样本：模型通过对比相似的正样本（如同一图像的不同增强版本）和不相似的负样本（如不同图像）来学习特征
• 对比损失函数：常用如InfoNCE（Information Noise Contrastive Estimation）或NT-Xent（Normalized Temperature-Scale Cross Entropy）来度量对比关系
• 无标签训练：无需人工标注，仅依赖数据本身的结构进行预训练

📚 应用场景

• 图像识别：如SimCLR、MoCo等模型
• 自然语言处理：通过句子对或文本片段的对比学习语义表示
• 跨模态任务：如图文匹配、视频-音频对齐

🌐 相关研究

• Self-Supervised Learning：对比学习的理论基础与扩展
• CLIP：结合对比学习的多模态预训练模型
• DINO：基于对比学习的视觉表示方法