Help Wanted for CUHK03 Standard Evaluation Protocol

[Play2Boy]

你好，我想请问下，cuhk03的标准测试步骤是怎么用的

[SZULH]

你好，我发现代码不能做交叉验证，当我在market1501的数据集上训练好模型后，用你的测试脚本在cuhk03，duke的数据集上测试，发现会报错。验证精度很低。但是在market1501上是可以测试的。比如会报fc层的一些参数没加载。然后我改动了一下，发现做交叉验证时又会保fc层维度不匹配。也就是最后的分类数不一样.

[huanghoujing]

你好，多谢关注！测试阶段fc层（分类器）参数没加载没问题的，因为只需要提取分类器之前一层的特征。跨库测试分数会降低好几十个百分点，这是正常的。

[SZULH]

cmc_kwargs = dict(separate_camera_set=False,
single_gallery_shot=False,
first_match_break=True)
请问一下，关于Evaluation Protocol（如上这个字典）中的设置的具体含义是什么？对最后的CMC精度影响有多大？如果设置不同是不是就不能和其他paper进行比较了？尤其是CUHK03数据集有多个测试协议，和这里的设置有关系吗？从我了解的来看，CUHK03的测试协议是对数据集的划分不一样。我不知道和这里的设置是否有关系。请您解答一下，谢谢

[huanghoujing]

你好,

• separate_camera_set=True表示gallery里边与当前query【不同id，相同camera】的图片被剔除，不参与计算分数
• single_gallery_shot=True表示每次query时，gallery集只包含一个与query【相同id，不同camera】的图片
• first_match_break=True表示当gallery中与query【相同id，不同camera】的图片有多个时，只考虑这些图片中排序最前的图片的位置来计算分数

不同数据集的计算方法不同。同一个数据集这几个参数的不同设置分数差别也挺大的。

CUHK03原始的协议100个测试id，要使用：

dict(separate_camera_set=True,
    single_gallery_shot=True,
    first_match_break=False)

新的协议700个测试id，采用market1501的协议，所以要使用：

dict(separate_camera_set=False,
    single_gallery_shot=False,
    first_match_break=True)