MRR（Mean Reciprocal Rank）和 NDCG（Normalized Discounted Cumulative Gain）

MRR计算就是看我想要的排序是第几。比如我要搜python教程搜出来是MRRMean Reciprocal Rank平均倒数排名第一个正确答案排在第几位比如搜索python教程第一个是python官网广告第二个是某培训机构广告第三个是python官方文档第四个是某博客教程。那么第三个才是我想要的所以MRR就是1/3.NDCGNormalized Discounted Cumulative Gain。不仅要看是否召回还要看排序是否合理。假如标准答案中有5篇论文相关性得分不同。然后agent搜到到的论文顺序是看清楚这个是咋计算的就是gain得分除以log以2为底然后括号里面的数字是从2开始每次加一的排在第 1 位不打折得分 Gain / log₂(11) Gain / 1排在第 2 位打折得分 Gain / log₂(21) Gain / 1.58排在第 3 位更打折得分 Gain / log₂(31) Gain / 2排在第 10 位严重打折得分 Gain / log₂(101) Gain / 3.46然后计算得到的值和期望得到的结果也就是期望agent搜索得到的结果是将两个结果进行相除来判断agent的效果衡量排序质量的指标