-
Notifications
You must be signed in to change notification settings - Fork 3
/
Copy pathrun_pred.sh
54 lines (43 loc) · 2.31 KB
/
run_pred.sh
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
####################################################################################
# Goal: scripts to generate the final output answer of hotpotqa task.
# Author: Chen Zheng
# School: Michigan State University
####################################################################################
####################################################################################
# First step: paragraph selection model.
# Goal: extract two or three most relevant paragraphs.
# Selection: If predict_batch_size == 4, then the gpu memory is MiB
####################################################################################
# cd end_to_end_test/
# python para_sele_test.py
# cd ../
mkdir tmp_dir
mkdir tmp_dir/intermediate_dir/
mkdir tmp_dir/res/
python para_sele/select_paras.py \
--input_path="input.json" \
--output_path="tmp_dir/intermediate_dir/para_sele_predict_file.json" \
--ckpt_path="ckpt/para_sele/para_select_model.bin"
####################################################################################
# Second step: paragraph selection result ---- squad format.
# paragraph selection result ---- support fact format.
####################################################################################
cd end_to_end_test/
python transfer_data_to_sp_reader_format.py
####################################################################################
# third step: generate span answer / yes / no;
# generate support fact answer.
# Supporting fact: If predict_batch_size == 4, then the gpu memory is 7669 MiB
# Answer: If predict_batch_size == 4, then the gpu memory is 3709 MiB
####################################################################################
python para_sp_test.py
python para_reader_test.py
####################################################################################
# fourth step: generate the final output answer, which is a json file
# we can use this file to meature our performance
# Work folder: rangers/evaluate_accuracy
####################################################################################
cd ../
python end_to_end_test/merge_sp_and_reader_res.py tmp_dir/res/ans.json tmp_dir/res/sp.json pred.json
# python ../rangers/evaluate_accuracy/hotpot_evaluate_v1.py pred.json input.json
python hotpot_evaluate_v1.py pred.json input.json