自我监督学习塑造数据高效人工智能的未来
长期以来，人工智能一直由监督学习主导，在大量标注数据上训练模型。然而，这种方法有主要缺点——数据标注成本高、劳动密集型，对于大多数现实生活中的问题来说不可行。那么，如果人工智能可以从原始数据中学习而不被标注呢？
这就是自我监督学习（SSL）发生的时候。SSL利用数据的固有结构，使计算机程序可以在不受监督的情况下自行学习。
什么是自我监督学习？
自监督学习使得模型可以在没有标签帮助的情况下从原始数据中学习，因为它创建了自己的学习信号。
它是如何工作的？
SSL遵循两个步骤：
1. 假装任务（预训练）：模型通过训练自己创建的任务来学习，例如填充图像的空段或完成文本。
2. 下游任务（微调）：学习到的表示通过更小的标注数据集进行细化，用于分类或语音识别等任务。
通过减少对标注数据的依赖，SSL正在NLP、计算机视觉和机器人学中彻底改变人工智能，推动人工智能更接近人类水平的学习。
自我监督学习的关键技术
已经开发了几种强大的SSL技术来处理不同类型的数据。这些技术帮助AI模型学习结构、关系和上下文，而无需人类的特定干预。
1.对比学习——对比学习
对比学习还有助于人工智能模型区分相似和不同的例子。与典型嵌入方法的另一个区别是，模型不是从标签中训练的，而是以积极和消极的方式对数据进行配对。
在计算机视觉中，模型学习到两张略有不同的猫图片来自同一类别，而狗的图片来自不同类别。SimCLR和MoCo等框架在这种技术中发挥了作用。
2.蒙面预测——填空
近年来，对于BERT等模型，这些技术基于掩蔽预测，其中输入数据的某些部分被掩蔽，并且需要模型来预测掩蔽值。
在NLP中，这被定义为混淆句子中的某些单词。至于视频，它可能需要部分或完全模糊场景的某些部分。这种方法为上下文和结构奠定了坚实的基础。
3.预测学习——重建缺失的信息
预测学习涉及模型重建不完整或嘈杂输入的任务。无论是填充缺失的音频、预测下一个视频帧还是去噪图像，这种技术都鼓励没有明确标签的强结构学习。
4.基于聚类的学习——没有监督的分组
在基于聚类的SSL中，模型将相似的数据样本组合在一起，没有预定义的类别。例如，SwAV（视图之间交换分配）使用聚类从图像增强中学习。这种方法在生物信息学等领域很强大，在这些领域，数据的底层结构复杂且未标记。
推动自我监督学习的主要框架
一些研究框架和模型在推进SSL方面处于领先地位。这些框架实现了上述技术，并作为许多现代人工智能应用程序的支柱。
1. SimCLR（表示的简单对比学习）
SimCLR由Google Brain开发，是一个使用数据增强来创建正对的对比学习框架，它将图像表示投射到较低维度的空间中，并训练模型以最大化同一图像的增强视图之间的相似性，同时最小化与其他图像的相似性。
2.动量对比
由脸书人工智能研究公司开发的MoCo引入了一个动态记忆库来存储负面例子。它能够大规模进行对比学习，并在计算机视觉任务中极具影响力，尤其是在计算资源有限的情况下。
3. BYOL（引导你自己的潜在）
BYOL消除了对比学习中对负对的需求。它使用两个网络——目标网络和在线网络——通过预测彼此的表示来学习。尽管简单，BYOL在图像分类任务中表现出出色的性能。
4. BERT（基于转换器的双向编码表征）
BERT可能是NLP中最具标志性的SSL模型。它使用掩蔽语言模型化作为借口任务，并为各种语言理解任务进行微调。BERT的架构影响了跨领域的广泛模型，包括计算机视觉（BEiT）和多模态系统（CLIP）。
5. MAE（屏蔽自动编码器）
MAE将掩蔽建模的思想扩展到视觉任务，图像的很大一部分被掩蔽，模型被训练来重建缺失的像素，这迫使模型专注于全局结构和语义学，从而产生强视觉表示。
6. SwAV（视图之间交换分配）
SwAV结合了对比学习和聚类，它不是比较所有的样本对，而是使用聚类分配作为自我监督目标，减少了计算负载，同时提高了表示质量。
这些框架不仅支持SSL的当前状态，而且为跨不同任务和领域泛化的多功能AI系统铺平了道路
自我监督学习的现实应用
自监督学习（SSL）通过提高模型的数据效率和无需标注示例的学习能力，正在彻底改变人工智能。
• 医疗保健和医学成像： SSL帮助人工智能分析x光、核磁共振成像和CT扫描，以最少的标注数据改进疾病检测和药物发现。
• 计算机视觉：自动驾驶和面部识别模型使用SSL从原始视频和图像数据中学习，减少了手动标记的需要。
• 自然语言处理（NLP）：BERT和GPT等模型利用SSL来理解语言上下文，支持翻译和摘要等应用程序。
• 机器人学&自动化：机器人使用SSL从环境中学习，无需大量人工干预即可提高适应性。
自我监督学习正在推动人工智能走向更大的自主性和效率。SimCLR、MoCo和BERT等框架展示了SSL如何在视觉、语言和机器人学方面超越传统方法。随着人工智能的发展，SSL仍然是一项关键创新，无需人工标注数据即可实现可扩展和智能学习。