如何设计loss使得两个分布的差异更大

zhezhongyun 2025-09-29 15:52 2 浏览

说明：高维空间中常用的距离度量方法由欧式距离，余弦距离等。

对比损失函数（contrastive loss function） 对比损失函数通常是基于对比学习（contrastive learning）的思想，可以用于学习如何将同一类别的样本特征分布相互靠近（最小化），而将不同类别的样本特征分布相互远离（最大化），其设计的基本思想是对于一对样本，将它们在高维空间中的表示结果进行计算得到距离度量数值，将该数值与一个预先定义的阈值进行比较，如果两个样本属于同一类别，则它们之间的距离应小于阈值，反之不同类别的样本之间的距离应大于阈值。

其中，表示样本数量，说明所选样本与当前样本是同类，说明所选样本与当前样本不是一类，表示一堆数据在高维空间中的距离，表示设定的阈值。由于平方计算的存在，损失始终为正，优化的目的是使得损失减小，表示前半项同类距离越来越小，后半项不同类距离越来越大（刚开始时由于网络没有区分能力，肯定是区分不了样本聚类关系的，因此即使异类样本离当前样本距离也比较近，故）。

三元组损失函数（triplet loss function） 三元组损失函数设计的目的是为了实现将同类别的样本特征分布紧密聚集在一起，而将不同类别的样本特征分布相互隔开，常用在人脸识别任务中。对于每个样本，要找到一个与其同类别的样本和一个与其异类别的样本，然后比较它们在高维特征空间中的距离，目的希望该样本与同类别样本的距离尽可能小，而与异类别样本的距离尽可能大。

其中，表示当前选取样本，表示positive即同类样本，表示negative即异类样本，表示计算样本在高维空间表示，max(_, _)中前半项表示当前样本与同类样本距离，后半项表示当前样本与异类样本的距离，表示预设阈值。举个例子：1.当网络能力差的时候（分不清同类异类），假设前半项=0.7，后半项=0.5，阈值设为0.2，则根据损失，max(0.7-0.5+0.2，0)=0.4，这时候损失就很大；2.当网络能力好的时候（分得清同类异类），假设前半项=0.1，后半项=0.6，阈值设为0.2，则根据损失，max(0.1-0.6+0.2，0)=0，这时候损失就很小；3.如果不设置阈值，情况1.下的损失为max(0.7-0.5，0)=0.2，情况2.下的损失为max(0.1-0.6，0)=-0.5，可见并不能通过损失下降正确训练网络功能。

Less 颜色混合函数

上一篇：SwiftUI 本质论:声明式、可组合、状态驱动
下一篇：Swift中的模式匹配_swift操作

如何设计loss使得两个分布的差异更大

相关推荐

b端详情页:各种信息聚集地，设计师要如何规划这一亩三分地呢

漏洞系列一一看我一招征服漏洞 SSRF

Web前端需要学什么?Web前端开发需要学习哪些?

接口测试遇到500报错?别慌，你的头部可能有点问题

前端Flex布局可视化布局工具介绍，vue和html5快速设计利器

「资讯」为强迫用户使用Edge浏览器，微软又出新招数

HTML 简介（html简介及优缺点）

HBuilderX，uni-app创建HTML5项目，同时支持浏览器和移动端

现在页面实时聊天都使用Websocket技术实现吗?

关于HTML5被简称做H5，你怎么看?（html5缩写）