Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

关于模型TETFN使用的数据设置存在的疑问 #110

Open
1179365124 opened this issue Jun 26, 2024 · 7 comments
Open

关于模型TETFN使用的数据设置存在的疑问 #110

1179365124 opened this issue Jun 26, 2024 · 7 comments

Comments

@1179365124
Copy link

您好,非常感谢您在MSA领域做出的贡献,我们对您的工作表示尊重!我们有两个疑问:
1.在MOSI和MOSEI上,项目中TETFN的数据设置以及展示的结果都是基于对齐数据的,而在原始论文中,我们看到作者展示了非对齐上的模型性能,我们对此差异感到困惑。我们想要复现TETFN时应该基于哪种数据设置?对比结果应该参照您的还是原始论文的?
2.SIMS上只有非对齐数据,那么在TETFN中的的数据设置只能为非对齐。我们也看到您在result-stat.md中SIMS上的结果是基于非对齐数据的。但在config_regression.json中TETFN在数据设置参数是对齐数据的。非常感谢您百忙之中解答我们的疑惑!

@Columbine21
Copy link
Collaborator

您好,对于 1. TETFN 在我们复现的时候并没有进行开源,我们只是根据论文尽最大可能复现得到的模型,与原论文有差异是正常的,本仓库的TETFN的复现进提供参考,有official的实现,欢迎给本仓库pull request。
2. 因为在设置中设置了 need_model_aligned=True,进行了模型CTC对齐,将原始的非对齐数据进行了CTC模型对齐,将模型对齐的数据传入了TETFN模型。

@1179365124
Copy link
Author

您好,对于 1. TETFN 在我们复现的时候并没有进行开源,我们只是根据论文尽最大可能复现得到的模型,与原论文有差异是正常的,本仓库的TETFN的复现进提供参考,有official的实现,欢迎给本仓库pull request。 2. 因为在设置中设置了 need_model_aligned=True,进行了模型CTC对齐,将原始的非对齐数据进行了CTC模型对齐,将模型对齐的数据传入了TETFN模型。

非常感谢您的回复,我们根据您的回复认为,您复现的TETFN在MOSI和MOSEI上都使用了对齐数据和对齐处理,而在SIMS上使用了非对齐数据和对齐处理,不知道这样理解是否有偏差?

@Nasinhore1
Copy link

您好,非常感谢您在MSA领域做出的贡献,我们对您的工作表示尊重!我们有两个疑问: 1.在MOSI和MOSEI上,项目中TETFN的数据设置以及展示的结果都是基于对齐数据的,而在原始论文中,我们看到作者展示了非对齐上的模型性能,我们对此差异感到困惑。我们想要复现TETFN时应该基于哪种数据设置?对比结果应该参照您的还是原始论文的? 2.SIMS上只有非对齐数据,那么在TETFN中的的数据设置只能为非对齐。我们也看到您在result-stat.md中SIMS上的结果是基于非对齐数据的。但在config_regression.json中TETFN在数据设置参数是对齐数据的。非常感谢您百忙之中解答我们的疑惑!

您好,请问TETFN的模型如何运行,我选择tetfn模型后会报错没有这个模块,请问大佬这是哪里出问题了呀?

@Chaos-Lin
Copy link

您好,请问TETFN的模型如何运行,我选择tetfn模型后会报错没有这个模块,请问大佬这是哪里出问题了呀?

您好,可以检查一下 ATIO和AMIO是否有加入trtfn模块,以及检查在multitask目录下的init文件中是否有import tetefn模块

@Nasinhore1
Copy link

您好,请问TETFN的模型如何运行,我选择tetfn模型后会报错没有这个模块,请问大佬这是哪里出问题了呀?

您好,可以检查一下 ATIO和AMIO是否有加入trtfn模块,以及检查在multitask目录下的init文件中是否有import tetefn模块

感谢大佬的回复,还有一个问题,我运行后报错,无法下载,请问手动下载应该下载哪个文件,以及应该放在哪里呀:OSError: Can't load tokenizer for 'bert-base-uncased'. If you were trying to load it from 'https://huggingface.co/models', make sure you don't have a local directory with the same name. Otherwise, make sure 'bert-base-uncased' is the correct path to a directory containing all relevant files for a BertTokenizer tokenizer.

@Chaos-Lin
Copy link

就下载bert-base-uncased这个,你可以把该模块所包含的文件全下载了取同款名称,然后全放进去。
pic

@Nasinhore1
Copy link

就下载bert-base-uncased这个,你可以把该模块所包含的文件全下载了取同款名称,然后全放进去。 pic

好的,那代码有哪些路径需要更改嘛

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

4 participants