关于测试的合理性问题

[zhustrong]

Hi，想请教您一个问题。对于mAP评测阶段使用centroids相关的逻辑，我觉得不太合理。mAP反应的是单个样本对于单个样本的召回能力，使用了centroids相当于是单个样本到gallary簇的召回能力。所以98.6%的mAP和其他论文的mAP并不能相比。
不知道我的理解是否正确，望您不吝赐教，谢谢！

[anonymoussss]

I have the same question, and I translate this issue as follows:
" Hi, would like to ask you a question. I don't think it's reasonable to use centroids-related logic in the mAP evaluation stage. mAP reflects the recall ability of a single sample to a single sample, using centroids is equivalent to the recall ability of a single sample to a gallery cluster. So the mAP of 98.6% is not comparable to the mAP of other papers.
I don't know if my understanding is correct, I hope you can enlighten me, thank you! “

[lihuikenny]

这个应该是类似于multi query的 map，因为使用了centroids其实就是相当于利用了多个gallery的信息去做召回，不一样的是，一个是multi query，另外一个是multi gallery。不知道这样理解对不对。

[AvadaKarrot]

I have the same questions as well. In general criteria, when in inference phase as far as I know, it is not allowed to get access to Test Data Label Information(Gallery and Query). Is it possible to use label information to know exactly certain class of query and gallery to get centroids?
I do not know if I get things right. Hope someone could answer this confusing problem.

[AvadaKarrot]

这个应该是类似于multi query的 map，因为使用了centroids其实就是相当于利用了多个gallery的信息去做召回，不一样的是，一个是multi query，另外一个是multi gallery。不知道这样理解对不对。

我觉着这个理解是对的,reranking的方法改变了. 但是一般现实情况下,只能拿到一张query,而不是多张query去在Gallery里寻找. 这个方法排序出来的结果肯定是会更好的, 避免了一些hard样本排序的结果.

[zhustrong]

这个应该是类似于multi query的 map，因为使用了centroids其实就是相当于利用了多个gallery的信息去做召回，不一样的是，一个是multi query，另外一个是multi gallery。不知道这样理解对不对。

我觉着这个理解是对的,reranking的方法改变了. 但是一般现实情况下,只能拿到一张query,而不是多张query去在Gallery里寻找. 这个方法排序出来的结果肯定是会更好的, 避免了一些hard样本排序的结果.

我觉得不管是query还是gallery，用多个相同pid的样本平均特征去表示单个样本特征，特征的性能都会提升的，我在亿单位量级的person-reid数据上实验过，（个人认为的原因是，分类和度量学习学到的特征空间下，同一个pid的样本分布是 凸的，任意两个样本的平均都在这个凸体之内，多个样本的平均更靠近类心，所以平均特征由于单特征）；所以这种测试方式用于其他模型肯定也是有效的，也有论文提出过与此方法非常类似的rerank方法；综上，这篇论文的实验对比是不公平