Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

有关distance计算出来后得疑问 #5

Open
yanhan19940405 opened this issue Jun 7, 2019 · 6 comments
Open

有关distance计算出来后得疑问 #5

yanhan19940405 opened this issue Jun 7, 2019 · 6 comments

Comments

@yanhan19940405
Copy link

你好,我看了您得源码。既然模型定义输入两个问题对[left,right],输出的是经过隐藏层的曼哈顿距离distance,为什么可以直接用文本相似的标签Y作为模型训练的label呢?具体distance与标签y是如何关联起来的呢?麻烦指点下,谢谢

@Liuyingnan0704
Copy link

我们训练的目的不就是为了让测试集中label=1的两个句子相似度变高吗?曼哈顿也好,余弦也好,既然trainset的label=1,我们就认为这两个句子是绝对相似的啊。。没什么问题。。

@yanhan19940405
Copy link
Author

yanhan19940405 commented Aug 15, 2019 via email

@Liuyingnan0704
Copy link

我有一个问题,训练完之后的验证,作者设置的多少的阈值呢? 就是大于多少,我们认为是1呢。。
还有就是,关于evalute.py最后得到的y,这个应该是验证集根据模型计算出的数据,我执行了两次,为什么两次的出来的结果不一样呢。。

@Liuyingnan0704
Copy link

发现test也好,dev也好,并没有label啊。。一开始还在想,这test-acc是怎么测的。。去数据集网站才看到,是后来公布的测试集label(一个csv文件),根据数据来看是1w对的那个dev集,并不是testset的label,而且,是1w对的label都是0。。如果我说的对的话,那为什么每次evalute的结果都是不一样的呢?相似度的阈值时多少呢(大于多少认为是1呢)?。。等待作者解答。。

@yanhan19940405
Copy link
Author

yanhan19940405 commented Aug 15, 2019 via email

@sixmilesroad
Copy link

发现test也好,dev也好,并没有label啊。。一开始还在想,这test-acc是怎么测的。。去数据集网站才看到,是后来公布的测试集label(一个csv文件),根据数据来看是1w对的那个dev集,并不是testset的label,而且,是1w对的label都是0。。如果我说的对的话,那为什么每次evalute的结果都是不一样的呢?相似度的阈值时多少呢(大于多少认为是1呢)?。。等待作者解答。。
老哥你现在知道标准了吗

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

3 participants