尧图网站设计 尧图网站设计YAOTU DESIGN
ARTICLE DETAIL

资讯详情

深耕网站设计与一线实操的经验洞察。

相似度度量标准之Jaccard相似度

相似度度量标准之Jaccard相似度 定义用于衡量两个集合相似程度该度量标准的相似度杰卡德相似度, 其定义如下, 给定两个集合S、T, 那么我们记这两个集合的相似度SIM(S,T)为:。SIM(S,T)|S\cap T|/|S\cup T|简而言之, 是将两个集合交集的规模, 去除以两个集合并集的规模。很明显, 其取值处于区间之中。扩展仅仅定义的原始相似度是两个集合形成的相似度, 然而进行实际操作时更常见的情形是我们要去求取两个包之间存在的相似度, 而包内情形是每个元素分别会出现多次。那么处于这种情境之下时, 相似度的分子就变成了去选取每个元素于两个包当中出现的最小次数加起来的总和, 分母是两个包里元素的数目加起来的总和。举例说明, 像\{a,a,a,b\}与\{a,a,b,b,c\}二者之间的相似度就是(2 1)÷(4 5)33%。这里分子的设计, 是极易理解的, 那为何分母设计成两个集合里元素数目之和, 而非并集包的并集通常被定义为元素的叠加中的数目之和呢? 因那般会让最大的相似度为1/2, 而非习惯所理解的1, 当然, 我们也能够把包的并集中的元素数目定义为在两个集合之中出现的最大次数, 如此的度量标准也较为契合我们的认知习惯。应用广泛应用着, 极为常见的应用情形是求取两份文档之类文本的相似度, 借助特定的方法诸如实施对文档予以分词操作, 促使构成词语的集合而后计算相似度便行。当然, 其用途存在着诸多, 不过大多时候是需要配合其他技术的。一道习题问: 假设全集U存在n个元素, 随机挑选两个子集S、T, 每个子集都具备m个元素, 求取S、T的相似度的期望值。解: 很明显, 果真存在k个元素存在重合的情况, 那么所贡献出的相似度便是\frac{k}{2m - k}, 并且此事件出现的概率为\frac{C^k_mC^{m - k}_{n - m}}{C^m_n}, 所以针对这k种可能情形进行求和便可:
返回列表