Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

[Enhancement] (nereids)implement KILL COMMAND in nereids #44325

Open
wants to merge 6 commits into
base: master
Choose a base branch
from
Open

[Enhancement] (nereids)implement KILL COMMAND in nereids #44325

wants to merge 6 commits into from

Conversation

Yao-MR
Copy link
Contributor

@Yao-MR Yao-MR commented Nov 20, 2024

What problem does this PR solve?

Issue Number: close #42533

Related PR: NO

Problem Summary: Implement KILL COMMAND in nereids

Release note

Support KILL Commnad in nereids

Check List (For Author)

  • Test

    • Regression test
    • Unit Test
    • Manual test (add detailed scripts or steps below)
    • No need to test or manual test. Explain why:
      • This is a refactor/code format and no logic has been changed.
      • Previous test can cover this change.
      • No code files have been changed.
      • Other reason

  • Behavior changed:

    • No.
    • Yes.

  • Does this need documentation?

    • No.
    • Yes.

Check List (For Reviewer who merge this PR)

  • Confirm the release note
  • Confirm test cases
  • Confirm document
  • Add branch pick label

@doris-robot
Copy link

Thank you for your contribution to Apache Doris.
Don't know what should be done next? See How to process your PR.

Please clearly describe your PR:

  1. What problem was fixed (it's best to include specific error reporting information). How it was fixed.
  2. Which behaviors were modified. What was the previous behavior, what is it now, why was it modified, and what possible impacts might there be.
  3. What features were added. Why was this function added?
  4. Which code was refactored and why was this part of the code refactored?
  5. Which functions were optimized and what is the difference before and after the optimization?

@Yao-MR
Copy link
Contributor Author

Yao-MR commented Nov 20, 2024

Clipboard_Screenshot_1732086655

@doris-robot
Copy link

TPC-H: Total hot run time: 40037 ms 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 0b565282861e4b3428b23a98c578de13339b5ce0, data reload: false

------ Round 1 ----------------------------------
q1	17592	7483	7288	7288
q2	2044	168	170	168
q3	10615	1075	1200	1075
q4	10435	761	788	761
q5	7620	2708	2742	2708
q6	244	148	145	145
q7	986	633	610	610
q8	9245	1820	1931	1820
q9	6536	6474	6389	6389
q10	7002	2288	2278	2278
q11	466	257	272	257
q12	441	223	224	223
q13	17813	3057	3050	3050
q14	248	216	218	216
q15	562	545	510	510
q16	676	593	574	574
q17	975	510	566	510
q18	7340	6705	6708	6705
q19	1345	1043	989	989
q20	468	194	188	188
q21	4047	3267	3253	3253
q22	388	320	322	320
Total cold run time: 107088 ms
Total hot run time: 40037 ms

----- Round 2, with runtime_filter_mode=off -----
q1	7273	7236	7259	7236
q2	331	231	240	231
q3	2972	2822	2937	2822
q4	2086	1796	1752	1752
q5	5699	5702	5678	5678
q6	228	136	142	136
q7	2264	1854	1782	1782
q8	3426	3520	3511	3511
q9	8856	8937	8950	8937
q10	3588	3568	3577	3568
q11	600	507	509	507
q12	833	651	612	612
q13	11652	3293	3265	3265
q14	322	283	278	278
q15	576	539	516	516
q16	683	642	641	641
q17	1861	1631	1577	1577
q18	8458	7852	7668	7668
q19	1788	1626	1410	1410
q20	2134	1946	1866	1866
q21	5711	5499	5506	5499
q22	646	622	596	596
Total cold run time: 71987 ms
Total hot run time: 60088 ms

@doris-robot
Copy link

TPC-DS: Total hot run time: 197162 ms 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 0b565282861e4b3428b23a98c578de13339b5ce0, data reload: false

query1	1230	912	942	912
query2	6246	2190	2166	2166
query3	10812	4099	3879	3879
query4	67741	28369	23634	23634
query5	4895	486	460	460
query6	408	181	199	181
query7	5561	308	301	301
query8	311	231	239	231
query9	8779	2711	2670	2670
query10	436	271	255	255
query11	17390	15319	16017	15319
query12	156	104	102	102
query13	1474	409	429	409
query14	9956	8098	7947	7947
query15	220	183	195	183
query16	7105	440	460	440
query17	1003	606	562	562
query18	1774	288	290	288
query19	198	147	147	147
query20	116	109	116	109
query21	205	99	102	99
query22	4384	4173	4343	4173
query23	35064	34359	34117	34117
query24	5358	2527	2604	2527
query25	511	391	389	389
query26	647	156	156	156
query27	1666	286	290	286
query28	4202	2445	2420	2420
query29	660	411	407	407
query30	214	151	152	151
query31	1002	819	828	819
query32	73	55	59	55
query33	402	284	286	284
query34	947	521	525	521
query35	823	754	731	731
query36	1069	979	974	974
query37	123	75	74	74
query38	4312	4193	4284	4193
query39	1482	1415	1433	1415
query40	199	108	99	99
query41	46	42	46	42
query42	115	101	100	100
query43	567	518	510	510
query44	1189	809	826	809
query45	188	165	165	165
query46	1155	718	698	698
query47	1919	1810	1834	1810
query48	416	321	309	309
query49	714	387	388	387
query50	826	390	410	390
query51	7313	7112	7169	7112
query52	108	90	95	90
query53	270	185	188	185
query54	529	398	393	393
query55	81	80	82	80
query56	259	238	249	238
query57	1290	1171	1139	1139
query58	224	225	233	225
query59	3465	3232	3187	3187
query60	295	275	256	256
query61	137	128	131	128
query62	813	681	686	681
query63	231	192	190	190
query64	1467	811	631	631
query65	3334	3263	3263	3263
query66	710	307	317	307
query67	15952	15553	15783	15553
query68	3648	584	567	567
query69	426	271	255	255
query70	1230	1153	1151	1151
query71	355	264	262	262
query72	6221	3891	4057	3891
query73	791	364	358	358
query74	10260	9009	9045	9009
query75	3436	2705	2745	2705
query76	1870	1087	1077	1077
query77	539	293	280	280
query78	10576	9395	9407	9395
query79	2037	608	620	608
query80	1324	468	445	445
query81	520	243	239	239
query82	838	127	123	123
query83	181	162	149	149
query84	278	71	72	71
query85	959	294	307	294
query86	400	303	290	290
query87	4685	4608	4619	4608
query88	3793	2232	2185	2185
query89	428	296	349	296
query90	1982	190	188	188
query91	137	112	107	107
query92	65	53	52	52
query93	2687	558	548	548
query94	886	300	299	299
query95	358	257	257	257
query96	657	274	287	274
query97	2842	2723	2702	2702
query98	223	209	195	195
query99	1621	1331	1319	1319
Total cold run time: 319020 ms
Total hot run time: 197162 ms

@doris-robot
Copy link

ClickBench: Total hot run time: 32.93 s 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 0b565282861e4b3428b23a98c578de13339b5ce0, data reload: false

query1	0.04	0.03	0.02
query2	0.06	0.03	0.03
query3	0.22	0.08	0.07
query4	1.61	0.10	0.10
query5	0.44	0.40	0.39
query6	1.14	0.66	0.65
query7	0.02	0.02	0.02
query8	0.04	0.03	0.03
query9	0.56	0.50	0.50
query10	0.57	0.54	0.55
query11	0.15	0.09	0.10
query12	0.13	0.12	0.12
query13	0.62	0.60	0.61
query14	2.71	2.74	2.80
query15	0.90	0.84	0.83
query16	0.39	0.38	0.37
query17	1.04	1.06	1.06
query18	0.20	0.20	0.21
query19	1.93	1.82	1.96
query20	0.01	0.01	0.01
query21	15.36	0.60	0.60
query22	2.78	2.41	1.98
query23	16.95	0.92	0.87
query24	2.88	1.14	1.20
query25	0.18	0.14	0.10
query26	0.56	0.14	0.14
query27	0.04	0.04	0.04
query28	10.59	1.10	1.08
query29	12.56	3.22	3.23
query30	0.25	0.06	0.06
query31	2.89	0.37	0.39
query32	3.25	0.47	0.48
query33	3.08	2.98	3.09
query34	17.01	4.44	4.49
query35	4.55	4.47	4.46
query36	0.67	0.50	0.47
query37	0.09	0.06	0.06
query38	0.05	0.04	0.04
query39	0.03	0.02	0.02
query40	0.15	0.13	0.14
query41	0.07	0.02	0.02
query42	0.03	0.02	0.02
query43	0.04	0.03	0.03
Total cold run time: 106.84 s
Total hot run time: 32.93 s

@Yao-MR Yao-MR force-pushed the enhancement_nereids_kill-query-support-union branch from 1695b6f to 4b2170f Compare November 21, 2024 12:49
@Yao-MR
Copy link
Contributor Author

Yao-MR commented Nov 22, 2024

run p0

@Yao-MR
Copy link
Contributor Author

Yao-MR commented Nov 22, 2024

run buildall

@doris-robot
Copy link

TPC-H: Total hot run time: 40017 ms 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 4e5b731346a121b9fed31dbac326d218b62b0490, data reload: false

------ Round 1 ----------------------------------
q1	17596	7463	7272	7272
q2	2044	173	165	165
q3	10621	1105	1156	1105
q4	10566	707	651	651
q5	7607	2724	2727	2724
q6	243	148	151	148
q7	984	613	614	613
q8	9224	1821	1916	1821
q9	6575	6395	6418	6395
q10	6992	2332	2319	2319
q11	452	261	268	261
q12	429	220	214	214
q13	17771	3037	3005	3005
q14	238	218	214	214
q15	563	541	525	525
q16	623	585	601	585
q17	967	553	509	509
q18	7188	6637	6847	6637
q19	1341	1051	1109	1051
q20	475	185	178	178
q21	4156	3638	3310	3310
q22	375	316	315	315
Total cold run time: 107030 ms
Total hot run time: 40017 ms

----- Round 2, with runtime_filter_mode=off -----
q1	7248	7202	7205	7202
q2	340	244	227	227
q3	2893	2804	2923	2804
q4	2116	1861	1897	1861
q5	5660	5669	5627	5627
q6	227	139	145	139
q7	2277	1818	1777	1777
q8	3426	3535	3805	3535
q9	8838	8924	8945	8924
q10	3619	3545	3556	3545
q11	596	533	520	520
q12	816	638	610	610
q13	11652	3383	3246	3246
q14	308	283	275	275
q15	573	540	516	516
q16	689	671	640	640
q17	1841	1651	1616	1616
q18	8200	7903	7609	7609
q19	1680	1645	1584	1584
q20	2096	1870	1891	1870
q21	5591	5425	5249	5249
q22	625	576	561	561
Total cold run time: 71311 ms
Total hot run time: 59937 ms

@doris-robot
Copy link

TPC-DS: Total hot run time: 197441 ms 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 4e5b731346a121b9fed31dbac326d218b62b0490, data reload: false

query1	1282	959	904	904
query2	6242	2123	2032	2032
query3	10764	3985	3895	3895
query4	67743	29376	23558	23558
query5	4989	468	461	461
query6	433	189	192	189
query7	5562	324	293	293
query8	315	231	231	231
query9	8879	2684	2677	2677
query10	460	255	255	255
query11	17206	15211	15823	15211
query12	160	112	113	112
query13	1523	425	431	425
query14	10769	7185	7641	7185
query15	213	202	187	187
query16	7010	497	454	454
query17	1057	556	551	551
query18	1855	298	300	298
query19	201	175	151	151
query20	113	115	114	114
query21	208	100	106	100
query22	4761	4541	4768	4541
query23	35356	34599	34448	34448
query24	5360	2545	2480	2480
query25	494	400	389	389
query26	638	150	152	150
query27	1783	278	289	278
query28	4714	2546	2468	2468
query29	672	427	438	427
query30	219	148	151	148
query31	998	830	842	830
query32	73	54	67	54
query33	450	283	296	283
query34	922	525	535	525
query35	859	727	727	727
query36	1098	972	964	964
query37	121	69	74	69
query38	4466	4322	4457	4322
query39	1528	1506	1505	1505
query40	212	103	106	103
query41	46	47	48	47
query42	113	101	102	101
query43	538	515	522	515
query44	1217	845	854	845
query45	186	173	166	166
query46	1144	723	738	723
query47	2041	1930	1956	1930
query48	424	336	349	336
query49	751	421	471	421
query50	882	393	401	393
query51	7451	7320	7109	7109
query52	95	88	90	88
query53	250	179	183	179
query54	513	393	408	393
query55	75	77	75	75
query56	243	240	246	240
query57	1323	1173	1168	1168
query58	217	204	213	204
query59	3338	3260	3155	3155
query60	264	240	247	240
query61	111	102	106	102
query62	796	672	659	659
query63	215	191	198	191
query64	1407	680	658	658
query65	3321	3203	3226	3203
query66	698	313	332	313
query67	16135	15770	15795	15770
query68	3923	581	572	572
query69	438	259	254	254
query70	1188	1124	1146	1124
query71	347	254	261	254
query72	6210	4039	4058	4039
query73	840	365	362	362
query74	10170	9050	9045	9045
query75	3371	2645	2657	2645
query76	1841	1142	1118	1118
query77	467	278	292	278
query78	10986	9456	9507	9456
query79	2565	590	610	590
query80	1275	441	436	436
query81	534	235	225	225
query82	1268	120	117	117
query83	251	151	156	151
query84	291	77	72	72
query85	998	307	305	305
query86	409	276	304	276
query87	4767	4650	4495	4495
query88	4027	2247	2223	2223
query89	425	338	297	297
query90	2023	188	189	188
query91	134	103	103	103
query92	74	51	54	51
query93	3190	553	556	553
query94	879	303	295	295
query95	353	258	251	251
query96	643	277	277	277
query97	2890	2725	2690	2690
query98	220	192	196	192
query99	1563	1289	1323	1289
Total cold run time: 324062 ms
Total hot run time: 197441 ms

@doris-robot
Copy link

ClickBench: Total hot run time: 32.21 s 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 4e5b731346a121b9fed31dbac326d218b62b0490, data reload: false

query1	0.03	0.03	0.03
query2	0.07	0.03	0.03
query3	0.23	0.07	0.07
query4	1.63	0.10	0.10
query5	0.42	0.41	0.43
query6	1.20	0.66	0.66
query7	0.02	0.01	0.01
query8	0.04	0.04	0.03
query9	0.58	0.51	0.51
query10	0.56	0.56	0.56
query11	0.14	0.11	0.10
query12	0.14	0.11	0.12
query13	0.60	0.61	0.60
query14	2.71	2.73	2.69
query15	0.89	0.82	0.82
query16	0.38	0.39	0.37
query17	1.00	1.07	1.06
query18	0.23	0.21	0.20
query19	1.96	1.88	1.98
query20	0.01	0.01	0.01
query21	15.36	0.61	0.58
query22	2.40	1.90	1.47
query23	16.92	0.83	0.79
query24	3.78	0.97	1.93
query25	0.15	0.28	0.06
query26	0.50	0.14	0.13
query27	0.06	0.04	0.04
query28	9.74	1.10	1.07
query29	12.51	3.30	3.25
query30	0.25	0.06	0.06
query31	2.87	0.38	0.37
query32	3.28	0.46	0.47
query33	2.98	3.01	3.01
query34	16.97	4.44	4.44
query35	4.49	4.48	4.50
query36	0.65	0.50	0.47
query37	0.09	0.06	0.06
query38	0.05	0.04	0.04
query39	0.04	0.02	0.03
query40	0.16	0.14	0.12
query41	0.08	0.02	0.02
query42	0.03	0.03	0.02
query43	0.04	0.04	0.03
Total cold run time: 106.24 s
Total hot run time: 32.21 s

@Yao-MR
Copy link
Contributor Author

Yao-MR commented Nov 25, 2024

run buildall

@Yao-MR Yao-MR closed this Nov 25, 2024
@Yao-MR Yao-MR reopened this Nov 25, 2024
@doris-robot
Copy link

TPC-H: Total hot run time: 39661 ms 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 9cb2c40e6e92cb262d90072c5a519cbeb8aba592, data reload: false

------ Round 1 ----------------------------------
q1	17615	7457	7255	7255
q2	2042	172	167	167
q3	10574	1092	1155	1092
q4	10560	717	711	711
q5	7598	2705	2711	2705
q6	245	148	145	145
q7	972	620	607	607
q8	9232	1893	1908	1893
q9	6495	6346	6397	6346
q10	7022	2273	2333	2273
q11	468	251	258	251
q12	426	214	215	214
q13	17776	3002	2983	2983
q14	238	223	220	220
q15	575	515	517	515
q16	677	600	593	593
q17	962	520	530	520
q18	7111	6571	6754	6571
q19	1341	938	1017	938
q20	466	180	176	176
q21	4214	3238	3175	3175
q22	383	326	311	311
Total cold run time: 106992 ms
Total hot run time: 39661 ms

----- Round 2, with runtime_filter_mode=off -----
q1	7199	7204	7203	7203
q2	320	230	223	223
q3	2893	2822	2933	2822
q4	2022	1836	1815	1815
q5	5690	5683	5601	5601
q6	223	142	138	138
q7	2249	1844	1823	1823
q8	3413	3546	3534	3534
q9	8806	8951	8788	8788
q10	3591	3600	3568	3568
q11	600	500	509	500
q12	867	608	631	608
q13	12513	3246	3155	3155
q14	326	289	278	278
q15	574	520	525	520
q16	698	638	647	638
q17	1851	1641	1608	1608
q18	8309	7731	7505	7505
q19	1736	1581	1541	1541
q20	2119	1892	1861	1861
q21	5566	5433	5365	5365
q22	660	590	600	590
Total cold run time: 72225 ms
Total hot run time: 59684 ms

@Yao-MR
Copy link
Contributor Author

Yao-MR commented Nov 25, 2024

run p0

@doris-robot
Copy link

TPC-DS: Total hot run time: 196203 ms 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 9cb2c40e6e92cb262d90072c5a519cbeb8aba592, data reload: false

query1	1241	911	931	911
query2	6238	2118	2043	2043
query3	10815	3999	3986	3986
query4	67145	29076	23549	23549
query5	4992	462	444	444
query6	414	199	199	199
query7	5565	302	295	295
query8	317	234	224	224
query9	9119	2652	2640	2640
query10	432	255	248	248
query11	17477	15010	15802	15010
query12	156	103	108	103
query13	1528	449	441	441
query14	10930	7358	7656	7358
query15	204	189	184	184
query16	7062	504	523	504
query17	1054	564	562	562
query18	1814	313	312	312
query19	188	179	155	155
query20	118	111	114	111
query21	204	106	106	106
query22	4758	4663	4687	4663
query23	34745	34531	34265	34265
query24	5455	2494	2561	2494
query25	509	391	394	391
query26	647	154	163	154
query27	1907	286	292	286
query28	4327	2455	2423	2423
query29	686	423	417	417
query30	233	151	145	145
query31	1007	841	863	841
query32	66	58	57	57
query33	401	277	271	271
query34	944	507	505	505
query35	872	742	744	742
query36	1109	956	972	956
query37	130	76	85	76
query38	4445	4341	4383	4341
query39	1536	1471	1452	1452
query40	200	96	121	96
query41	45	42	42	42
query42	111	99	99	99
query43	538	488	482	482
query44	1199	847	842	842
query45	197	168	166	166
query46	1175	716	709	709
query47	2028	1950	1964	1950
query48	416	311	321	311
query49	722	378	391	378
query50	862	387	395	387
query51	7415	7226	7164	7164
query52	97	90	89	89
query53	248	175	179	175
query54	499	393	382	382
query55	73	77	74	74
query56	249	230	232	230
query57	1305	1182	1161	1161
query58	219	222	207	207
query59	3141	2915	2998	2915
query60	257	243	251	243
query61	112	103	107	103
query62	800	691	658	658
query63	214	187	183	183
query64	1414	652	622	622
query65	3272	3198	3215	3198
query66	703	306	304	304
query67	16018	15539	15596	15539
query68	4092	566	543	543
query69	435	248	253	248
query70	1172	1132	1140	1132
query71	364	259	289	259
query72	6482	4030	3948	3948
query73	758	342	360	342
query74	10187	8915	8973	8915
query75	3367	2671	2739	2671
query76	1853	1071	1054	1054
query77	469	268	263	263
query78	10490	9440	9380	9380
query79	1813	599	592	592
query80	1404	432	468	432
query81	527	239	227	227
query82	1315	117	115	115
query83	271	149	149	149
query84	275	73	71	71
query85	1035	297	292	292
query86	411	302	297	297
query87	4730	4581	4449	4449
query88	3586	2189	2152	2152
query89	425	290	297	290
query90	1987	185	188	185
query91	132	106	100	100
query92	66	51	49	49
query93	2327	552	539	539
query94	827	303	290	290
query95	351	248	258	248
query96	614	272	278	272
query97	2874	2638	2681	2638
query98	229	193	204	193
query99	1973	1295	1301	1295
Total cold run time: 321160 ms
Total hot run time: 196203 ms

@doris-robot
Copy link

ClickBench: Total hot run time: 32.41 s 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 9cb2c40e6e92cb262d90072c5a519cbeb8aba592, data reload: false

query1	0.04	0.03	0.03
query2	0.07	0.03	0.03
query3	0.23	0.08	0.07
query4	1.61	0.10	0.11
query5	0.42	0.42	0.40
query6	1.15	0.66	0.67
query7	0.01	0.02	0.02
query8	0.04	0.03	0.04
query9	0.57	0.52	0.51
query10	0.54	0.56	0.55
query11	0.14	0.11	0.10
query12	0.14	0.11	0.12
query13	0.61	0.61	0.59
query14	2.82	2.84	2.73
query15	0.91	0.82	0.82
query16	0.38	0.39	0.37
query17	1.01	1.00	0.99
query18	0.23	0.20	0.21
query19	1.89	1.87	1.97
query20	0.02	0.02	0.01
query21	15.35	0.57	0.57
query22	2.52	2.73	2.07
query23	17.06	0.90	0.78
query24	3.29	1.90	0.67
query25	0.21	0.11	0.06
query26	0.61	0.14	0.15
query27	0.04	0.05	0.04
query28	10.26	1.10	1.09
query29	12.55	3.20	3.18
query30	0.26	0.07	0.07
query31	2.86	0.39	0.38
query32	3.27	0.47	0.46
query33	2.98	3.03	3.01
query34	16.71	4.51	4.48
query35	4.60	4.44	4.50
query36	0.68	0.48	0.49
query37	0.09	0.06	0.06
query38	0.05	0.04	0.03
query39	0.03	0.02	0.02
query40	0.15	0.12	0.12
query41	0.08	0.02	0.02
query42	0.03	0.02	0.02
query43	0.04	0.03	0.03
Total cold run time: 106.55 s
Total hot run time: 32.41 s

@LiBinfeng-01
Copy link
Collaborator

pls resolved conflicts

@Yao-MR Yao-MR marked this pull request as draft December 12, 2024 06:22
@Yao-MR Yao-MR force-pushed the enhancement_nereids_kill-query-support-union branch from 19b08de to 5ccd34b Compare December 12, 2024 06:52
@doris-robot
Copy link

TPC-H: Total hot run time: 40025 ms 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 44808e118c7321a0cfdd89807e495157e4ff1450, data reload: false

------ Round 1 ----------------------------------
q1	17650	7350	7248	7248
q2	2047	178	169	169
q3	10564	1076	1139	1076
q4	10686	741	688	688
q5	7618	2663	2697	2663
q6	235	149	148	148
q7	964	625	608	608
q8	9320	1862	1943	1862
q9	6810	6527	6532	6527
q10	7011	2283	2353	2283
q11	465	261	256	256
q12	427	227	227	227
q13	18771	3058	3034	3034
q14	250	214	214	214
q15	573	528	520	520
q16	653	577	584	577
q17	989	571	640	571
q18	7359	6759	6651	6651
q19	1339	1057	1006	1006
q20	455	186	188	186
q21	4250	3243	3180	3180
q22	398	331	338	331
Total cold run time: 108834 ms
Total hot run time: 40025 ms

----- Round 2, with runtime_filter_mode=off -----
q1	7355	7348	7359	7348
q2	330	233	238	233
q3	3105	3183	3076	3076
q4	2212	2002	1928	1928
q5	5838	5742	5741	5741
q6	229	141	142	141
q7	2254	1858	1777	1777
q8	3392	3584	3534	3534
q9	9015	9060	9076	9060
q10	3603	3525	3531	3525
q11	606	505	498	498
q12	787	613	594	594
q13	16206	3184	3194	3184
q14	308	275	286	275
q15	585	525	532	525
q16	695	652	653	652
q17	1853	1650	1613	1613
q18	8258	7902	7710	7710
q19	1771	1669	1696	1669
q20	2107	1888	1842	1842
q21	5577	5322	5333	5322
q22	640	559	553	553
Total cold run time: 76726 ms
Total hot run time: 60800 ms

@doris-robot
Copy link

TPC-H: Total hot run time: 39649 ms 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 8fe365648dc81129d604843e5c0eb688f4b54527, data reload: false

------ Round 1 ----------------------------------
q1	17579	7451	7216	7216
q2	2052	173	163	163
q3	10620	1095	1175	1095
q4	10578	773	746	746
q5	7605	2667	2615	2615
q6	238	146	145	145
q7	947	618	610	610
q8	9237	1805	1937	1805
q9	6618	6397	6407	6397
q10	6991	2317	2315	2315
q11	470	255	249	249
q12	425	228	224	224
q13	17811	3053	2977	2977
q14	234	208	204	204
q15	573	544	512	512
q16	659	578	576	576
q17	964	540	528	528
q18	7146	6731	6634	6634
q19	1348	990	969	969
q20	459	187	178	178
q21	3966	3176	3188	3176
q22	388	315	324	315
Total cold run time: 106908 ms
Total hot run time: 39649 ms

----- Round 2, with runtime_filter_mode=off -----
q1	7233	7187	7186	7186
q2	320	230	229	229
q3	2886	2807	2896	2807
q4	2054	1885	1823	1823
q5	5629	5672	5615	5615
q6	227	140	137	137
q7	2227	1791	1835	1791
q8	3357	3553	3468	3468
q9	8945	9090	8946	8946
q10	3605	3527	3545	3527
q11	603	505	508	505
q12	824	607	607	607
q13	11426	3215	3230	3215
q14	302	272	270	270
q15	577	525	522	522
q16	671	639	650	639
q17	1852	1629	1618	1618
q18	8362	7651	7583	7583
q19	1775	1620	1525	1525
q20	2101	1872	1881	1872
q21	5544	5436	5494	5436
q22	651	603	559	559
Total cold run time: 71171 ms
Total hot run time: 59880 ms

@doris-robot
Copy link

TPC-DS: Total hot run time: 196348 ms 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 8fe365648dc81129d604843e5c0eb688f4b54527, data reload: false

query1	1246	1007	905	905
query2	6241	2153	2109	2109
query3	11139	4645	4342	4342
query4	67059	29081	23390	23390
query5	4920	476	449	449
query6	433	185	184	184
query7	5514	310	314	310
query8	345	252	242	242
query9	9057	2702	2693	2693
query10	453	249	245	245
query11	17154	15160	15697	15160
query12	154	101	103	101
query13	1507	457	433	433
query14	9811	7333	7209	7209
query15	208	202	190	190
query16	7127	517	455	455
query17	1126	594	590	590
query18	1804	297	309	297
query19	199	156	152	152
query20	121	115	116	115
query21	204	135	100	100
query22	4853	4433	4424	4424
query23	34398	34115	34396	34115
query24	5419	2472	2499	2472
query25	491	376	379	376
query26	643	152	147	147
query27	1818	275	292	275
query28	4541	2480	2463	2463
query29	673	427	413	413
query30	216	148	149	148
query31	1032	850	830	830
query32	65	53	58	53
query33	427	282	288	282
query34	935	542	529	529
query35	915	799	735	735
query36	1109	954	958	954
query37	119	78	75	75
query38	4502	4380	4460	4380
query39	1511	1484	1471	1471
query40	211	100	96	96
query41	49	43	43	43
query42	111	98	106	98
query43	547	506	515	506
query44	1201	848	835	835
query45	189	182	172	172
query46	1206	727	742	727
query47	2030	1930	1934	1930
query48	433	319	324	319
query49	721	397	398	397
query50	843	392	397	392
query51	7412	7268	7084	7084
query52	94	86	85	85
query53	251	191	182	182
query54	518	403	421	403
query55	76	72	78	72
query56	255	245	246	245
query57	1245	1101	1114	1101
query58	215	205	204	204
query59	3244	2998	3124	2998
query60	266	245	256	245
query61	133	101	106	101
query62	773	660	670	660
query63	213	183	194	183
query64	1347	647	637	637
query65	3241	3189	3186	3186
query66	634	296	305	296
query67	16062	15513	15908	15513
query68	3954	593	564	564
query69	413	253	246	246
query70	1190	1135	1137	1135
query71	323	245	255	245
query72	6454	4064	4031	4031
query73	752	365	361	361
query74	9995	8887	8824	8824
query75	3361	2648	2659	2648
query76	2010	1089	1075	1075
query77	534	263	266	263
query78	10493	9444	9342	9342
query79	1936	593	599	593
query80	1480	413	435	413
query81	500	236	230	230
query82	1248	118	119	118
query83	175	141	139	139
query84	273	72	72	72
query85	981	322	309	309
query86	407	304	297	297
query87	4784	4583	4715	4583
query88	3870	2206	2180	2180
query89	432	297	295	295
query90	1860	184	183	183
query91	138	100	102	100
query92	66	48	49	48
query93	2749	553	561	553
query94	749	293	298	293
query95	343	245	238	238
query96	621	292	283	283
query97	2911	2664	2655	2655
query98	220	201	201	201
query99	1671	1347	1308	1308
Total cold run time: 319902 ms
Total hot run time: 196348 ms

@doris-robot
Copy link

ClickBench: Total hot run time: 33.22 s 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 8fe365648dc81129d604843e5c0eb688f4b54527, data reload: false

query1	0.04	0.03	0.03
query2	0.06	0.04	0.03
query3	0.24	0.07	0.07
query4	1.62	0.10	0.10
query5	0.43	0.40	0.38
query6	1.15	0.65	0.64
query7	0.02	0.02	0.02
query8	0.04	0.03	0.03
query9	0.57	0.52	0.52
query10	0.56	0.57	0.56
query11	0.13	0.10	0.10
query12	0.13	0.11	0.11
query13	0.61	0.60	0.60
query14	2.80	2.83	2.75
query15	0.89	0.82	0.82
query16	0.35	0.39	0.39
query17	1.02	1.06	1.01
query18	0.23	0.22	0.22
query19	1.99	1.91	2.05
query20	0.02	0.01	0.01
query21	15.35	0.59	0.59
query22	3.02	2.78	2.36
query23	16.96	0.96	0.77
query24	3.29	1.06	2.00
query25	0.33	0.13	0.08
query26	0.53	0.13	0.13
query27	0.04	0.04	0.04
query28	9.76	1.12	1.06
query29	12.56	3.21	3.21
query30	0.24	0.06	0.06
query31	2.87	0.38	0.37
query32	3.27	0.45	0.46
query33	2.98	2.97	3.02
query34	16.78	4.49	4.54
query35	4.51	4.54	4.49
query36	0.67	0.48	0.47
query37	0.09	0.06	0.06
query38	0.05	0.04	0.04
query39	0.04	0.02	0.02
query40	0.16	0.13	0.13
query41	0.07	0.02	0.03
query42	0.04	0.02	0.02
query43	0.04	0.03	0.03
Total cold run time: 106.55 s
Total hot run time: 33.22 s

@Yao-MR Yao-MR force-pushed the enhancement_nereids_kill-query-support-union branch from 8fe3656 to cf514c9 Compare December 12, 2024 10:01
@Yao-MR
Copy link
Contributor Author

Yao-MR commented Dec 12, 2024

run buildall

@doris-robot
Copy link

TPC-H: Total hot run time: 39592 ms 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 046405789074cfab1ebcb6415beb21a71094bbbb, data reload: false

------ Round 1 ----------------------------------
q1	17591	7415	7221	7221
q2	2051	173	158	158
q3	10602	1056	1180	1056
q4	10565	726	714	714
q5	7608	2700	2634	2634
q6	234	145	143	143
q7	966	621	616	616
q8	9265	1817	1892	1817
q9	6657	6450	6484	6450
q10	7041	2293	2325	2293
q11	466	259	253	253
q12	422	223	212	212
q13	17771	2988	2982	2982
q14	241	210	219	210
q15	573	529	523	523
q16	664	593	599	593
q17	966	506	548	506
q18	7281	6797	6653	6653
q19	1342	1013	975	975
q20	469	181	179	179
q21	4123	3093	3185	3093
q22	383	322	311	311
Total cold run time: 107281 ms
Total hot run time: 39592 ms

----- Round 2, with runtime_filter_mode=off -----
q1	7251	7214	7173	7173
q2	325	228	234	228
q3	2898	2743	2919	2743
q4	2095	1844	1851	1844
q5	5642	5642	5598	5598
q6	228	141	139	139
q7	2251	1812	1831	1812
q8	3407	3544	3515	3515
q9	8866	8996	8942	8942
q10	3567	3540	3534	3534
q11	602	512	531	512
q12	836	606	594	594
q13	11721	3251	3186	3186
q14	320	266	271	266
q15	562	516	515	515
q16	707	633	672	633
q17	1827	1632	1620	1620
q18	8341	7743	7719	7719
q19	1737	1583	1591	1583
q20	2119	1888	1857	1857
q21	5648	5334	5443	5334
q22	620	567	613	567
Total cold run time: 71570 ms
Total hot run time: 59914 ms

@doris-robot
Copy link

TPC-DS: Total hot run time: 197186 ms 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 046405789074cfab1ebcb6415beb21a71094bbbb, data reload: false

query1	1310	1013	952	952
query2	6257	2176	2116	2116
query3	10978	4408	4336	4336
query4	67141	29155	23569	23569
query5	4927	461	454	454
query6	428	192	176	176
query7	5640	302	298	298
query8	313	225	229	225
query9	9153	2706	2699	2699
query10	464	248	253	248
query11	17458	15261	15727	15261
query12	166	109	104	104
query13	1602	452	450	450
query14	10685	7683	7234	7234
query15	229	188	207	188
query16	7101	463	464	463
query17	1370	592	585	585
query18	1435	290	312	290
query19	242	147	148	147
query20	114	112	113	112
query21	213	102	104	102
query22	4726	4736	4734	4734
query23	34334	33955	34101	33955
query24	5479	2587	2376	2376
query25	495	406	377	377
query26	635	156	155	155
query27	2144	297	297	297
query28	4205	2495	2456	2456
query29	666	409	412	409
query30	209	158	149	149
query31	1033	864	863	863
query32	65	56	55	55
query33	395	293	287	287
query34	967	517	511	511
query35	870	761	753	753
query36	1091	969	966	966
query37	124	71	79	71
query38	4505	4436	4372	4372
query39	1546	1455	1444	1444
query40	209	97	97	97
query41	43	42	45	42
query42	115	97	100	97
query43	552	500	514	500
query44	1217	858	853	853
query45	192	172	168	168
query46	1175	753	757	753
query47	2015	1950	1922	1922
query48	413	336	323	323
query49	728	398	432	398
query50	862	408	391	391
query51	7399	7245	7155	7155
query52	98	87	94	87
query53	249	176	178	176
query54	502	390	397	390
query55	80	75	81	75
query56	247	226	231	226
query57	1284	1128	1111	1111
query58	232	210	204	204
query59	3421	3125	3070	3070
query60	265	239	238	238
query61	109	106	104	104
query62	800	656	671	656
query63	213	191	196	191
query64	1401	745	727	727
query65	3258	3173	3190	3173
query66	675	302	310	302
query67	15906	15691	15680	15680
query68	4121	591	559	559
query69	460	259	248	248
query70	1222	1135	1134	1134
query71	360	247	253	247
query72	6429	4009	4082	4009
query73	764	358	363	358
query74	10056	8855	8908	8855
query75	3371	2658	2687	2658
query76	1851	1004	1163	1004
query77	480	263	269	263
query78	10460	9388	9448	9388
query79	1442	601	592	592
query80	865	430	456	430
query81	485	236	233	233
query82	1264	117	122	117
query83	189	144	148	144
query84	284	77	72	72
query85	874	311	305	305
query86	351	294	296	294
query87	4777	4562	4711	4562
query88	3734	2233	2222	2222
query89	423	289	298	289
query90	2032	185	186	185
query91	136	104	105	104
query92	68	47	49	47
query93	1910	549	553	549
query94	758	294	298	294
query95	335	244	250	244
query96	627	279	277	277
query97	2838	2698	2657	2657
query98	216	190	195	190
query99	1594	1324	1308	1308
Total cold run time: 319151 ms
Total hot run time: 197186 ms

@doris-robot
Copy link

ClickBench: Total hot run time: 32.09 s 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 046405789074cfab1ebcb6415beb21a71094bbbb, data reload: false

query1	0.03	0.03	0.02
query2	0.06	0.03	0.04
query3	0.22	0.08	0.07
query4	1.63	0.10	0.11
query5	0.43	0.40	0.40
query6	1.14	0.66	0.66
query7	0.02	0.01	0.01
query8	0.04	0.03	0.04
query9	0.58	0.52	0.52
query10	0.54	0.58	0.56
query11	0.14	0.11	0.11
query12	0.14	0.11	0.11
query13	0.61	0.60	0.60
query14	2.70	2.82	2.83
query15	0.89	0.83	0.83
query16	0.38	0.37	0.39
query17	0.99	0.98	1.01
query18	0.22	0.21	0.20
query19	1.92	1.89	1.92
query20	0.01	0.01	0.02
query21	15.36	0.59	0.58
query22	2.98	2.61	1.28
query23	16.92	0.87	0.65
query24	2.94	1.07	1.56
query25	0.33	0.16	0.13
query26	0.41	0.15	0.13
query27	0.05	0.04	0.04
query28	10.43	1.09	1.07
query29	12.54	3.22	3.19
query30	0.25	0.07	0.06
query31	2.86	0.38	0.39
query32	3.26	0.47	0.45
query33	2.97	3.05	3.10
query34	17.00	4.44	4.46
query35	4.54	4.47	4.49
query36	0.69	0.48	0.49
query37	0.09	0.06	0.07
query38	0.05	0.03	0.03
query39	0.03	0.02	0.02
query40	0.16	0.13	0.12
query41	0.07	0.02	0.02
query42	0.04	0.02	0.02
query43	0.03	0.04	0.03
Total cold run time: 106.69 s
Total hot run time: 32.09 s

@Yao-MR Yao-MR force-pushed the enhancement_nereids_kill-query-support-union branch from b062397 to a253ba0 Compare January 10, 2025 07:58
@Yao-MR
Copy link
Contributor Author

Yao-MR commented Jan 10, 2025

run buildall

@doris-robot
Copy link

TPC-H: Total hot run time: 32331 ms 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit a253ba0f711040efd77157b19fe5e9590b52a573, data reload: false

------ Round 1 ----------------------------------
q1	17575	6120	5970	5970
q2	2053	297	176	176
q3	10571	1204	719	719
q4	10214	858	425	425
q5	7522	2154	1922	1922
q6	204	181	149	149
q7	892	738	600	600
q8	9227	1296	1167	1167
q9	5306	4919	5034	4919
q10	6766	2289	1836	1836
q11	499	276	264	264
q12	338	355	222	222
q13	18256	3602	2993	2993
q14	235	228	219	219
q15	551	506	512	506
q16	637	614	587	587
q17	604	832	335	335
q18	6742	6346	6469	6346
q19	1206	941	560	560
q20	301	320	190	190
q21	2831	2131	1921	1921
q22	362	333	305	305
Total cold run time: 102892 ms
Total hot run time: 32331 ms

----- Round 2, with runtime_filter_mode=off -----
q1	6188	6210	6190	6190
q2	242	328	241	241
q3	2239	2654	2325	2325
q4	1438	1790	1360	1360
q5	4348	4767	4623	4623
q6	182	178	146	146
q7	2046	1981	1825	1825
q8	2587	2849	2692	2692
q9	7247	7189	7290	7189
q10	3052	3296	2797	2797
q11	560	507	491	491
q12	672	790	640	640
q13	3453	3822	3222	3222
q14	306	300	269	269
q15	574	514	520	514
q16	667	697	646	646
q17	1227	1693	1267	1267
q18	7760	7597	7444	7444
q19	824	1005	1106	1005
q20	2114	2055	1918	1918
q21	5622	5044	4921	4921
q22	613	656	577	577
Total cold run time: 53961 ms
Total hot run time: 52302 ms

@doris-robot
Copy link

TPC-DS: Total hot run time: 194504 ms 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit a253ba0f711040efd77157b19fe5e9590b52a573, data reload: false

query1	1317	971	923	923
query2	6342	2323	2286	2286
query3	10940	4706	4783	4706
query4	33054	23562	23150	23150
query5	4218	583	441	441
query6	307	198	190	190
query7	3987	480	319	319
query8	289	238	220	220
query9	9458	2751	2724	2724
query10	466	320	250	250
query11	17783	15156	14931	14931
query12	166	108	99	99
query13	1539	525	404	404
query14	9622	7032	7469	7032
query15	257	192	199	192
query16	7849	626	444	444
query17	1559	801	619	619
query18	1922	412	324	324
query19	228	198	167	167
query20	127	112	111	111
query21	215	129	113	113
query22	4497	4632	4268	4268
query23	33901	33329	33346	33329
query24	6408	2285	2318	2285
query25	517	461	411	411
query26	781	274	158	158
query27	2200	484	352	352
query28	5182	2499	2485	2485
query29	591	551	433	433
query30	210	191	162	162
query31	975	912	816	816
query32	80	59	56	56
query33	476	352	314	314
query34	760	851	514	514
query35	836	824	743	743
query36	1016	1043	951	951
query37	122	98	78	78
query38	4243	4376	4155	4155
query39	1483	1491	1461	1461
query40	207	119	109	109
query41	62	60	58	58
query42	139	109	106	106
query43	534	517	493	493
query44	1304	839	843	839
query45	192	190	170	170
query46	889	1069	669	669
query47	1932	1901	1834	1834
query48	414	414	328	328
query49	724	505	410	410
query50	686	663	397	397
query51	7063	6906	6936	6906
query52	113	101	94	94
query53	236	253	179	179
query54	500	537	413	413
query55	87	90	82	82
query56	270	308	253	253
query57	1225	1203	1112	1112
query58	250	232	242	232
query59	3196	3280	3194	3194
query60	292	281	256	256
query61	126	124	116	116
query62	828	788	730	730
query63	232	190	188	188
query64	3324	1049	646	646
query65	3309	3204	3242	3204
query66	982	412	318	318
query67	16501	15791	15219	15219
query68	7754	709	522	522
query69	493	292	263	263
query70	1199	1155	1106	1106
query71	447	296	255	255
query72	6577	3836	3911	3836
query73	665	751	359	359
query74	10738	8966	8952	8952
query75	4163	3147	2673	2673
query76	3679	1186	763	763
query77	767	350	275	275
query78	10065	9910	9247	9247
query79	3190	797	606	606
query80	667	520	455	455
query81	498	275	239	239
query82	638	150	116	116
query83	164	175	152	152
query84	242	97	71	71
query85	786	341	309	309
query86	353	303	294	294
query87	4429	4502	4304	4304
query88	4208	2228	2202	2202
query89	418	329	289	289
query90	1809	188	186	186
query91	133	135	107	107
query92	69	53	50	50
query93	1742	841	519	519
query94	641	394	304	304
query95	333	259	253	253
query96	504	618	302	302
query97	2865	2973	2748	2748
query98	220	201	192	192
query99	1619	1532	1384	1384
Total cold run time: 293615 ms
Total hot run time: 194504 ms

@doris-robot
Copy link

ClickBench: Total hot run time: 31.09 s 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit a253ba0f711040efd77157b19fe5e9590b52a573, data reload: false

query1	0.03	0.04	0.03
query2	0.07	0.03	0.04
query3	0.23	0.07	0.07
query4	1.60	0.11	0.10
query5	0.40	0.41	0.42
query6	1.15	0.65	0.64
query7	0.03	0.02	0.02
query8	0.05	0.04	0.04
query9	0.59	0.50	0.50
query10	0.55	0.56	0.56
query11	0.16	0.11	0.10
query12	0.13	0.11	0.11
query13	0.60	0.60	0.59
query14	2.86	2.83	2.81
query15	0.90	0.82	0.82
query16	0.38	0.39	0.37
query17	1.01	1.01	1.01
query18	0.22	0.20	0.21
query19	1.93	1.82	1.96
query20	0.01	0.01	0.01
query21	15.36	0.92	0.59
query22	0.76	0.79	0.65
query23	15.25	1.43	0.51
query24	3.39	0.76	1.76
query25	0.19	0.18	0.16
query26	0.19	0.15	0.14
query27	0.05	0.06	0.05
query28	14.25	1.51	1.05
query29	12.59	3.93	3.25
query30	0.25	0.09	0.07
query31	2.82	0.59	0.37
query32	3.23	0.54	0.46
query33	3.19	3.21	3.07
query34	16.76	5.09	4.46
query35	4.44	4.44	4.44
query36	0.65	0.49	0.50
query37	0.10	0.06	0.06
query38	0.04	0.04	0.04
query39	0.04	0.03	0.02
query40	0.16	0.13	0.13
query41	0.09	0.03	0.03
query42	0.04	0.03	0.02
query43	0.03	0.03	0.04
Total cold run time: 106.77 s
Total hot run time: 31.09 s

@Yao-MR
Copy link
Contributor Author

Yao-MR commented Jan 13, 2025

run P0

@Yao-MR
Copy link
Contributor Author

Yao-MR commented Jan 13, 2025

run p0

@Yao-MR
Copy link
Contributor Author

Yao-MR commented Jan 13, 2025

run cloud_p0

@Yao-MR
Copy link
Contributor Author

Yao-MR commented Jan 13, 2025

run vault_p0

@Yao-MR
Copy link
Contributor Author

Yao-MR commented Jan 13, 2025

run buildall

@Yao-MR
Copy link
Contributor Author

Yao-MR commented Jan 13, 2025

run buildall

@Yao-MR
Copy link
Contributor Author

Yao-MR commented Jan 13, 2025

run p0

@doris-robot
Copy link

TPC-H: Total hot run time: 32636 ms 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 3713ea6d1931a189ecdb2395593ef78f238c01c2, data reload: false

------ Round 1 ----------------------------------
q1	17615	6230	6068	6068
q2	2058	313	172	172
q3	10422	1248	727	727
q4	10217	881	445	445
q5	7743	2213	2022	2022
q6	206	180	148	148
q7	907	753	606	606
q8	9270	1399	1232	1232
q9	5215	5019	4859	4859
q10	6809	2289	1846	1846
q11	494	277	250	250
q12	339	361	223	223
q13	17766	3636	3035	3035
q14	243	218	227	218
q15	547	513	506	506
q16	627	636	598	598
q17	584	854	323	323
q18	6825	6448	6327	6327
q19	1890	942	542	542
q20	318	323	192	192
q21	2927	2208	1992	1992
q22	366	335	305	305
Total cold run time: 103388 ms
Total hot run time: 32636 ms

----- Round 2, with runtime_filter_mode=off -----
q1	6303	6220	6206	6206
q2	241	327	231	231
q3	2263	2650	2330	2330
q4	1379	1784	1393	1393
q5	4375	4788	4793	4788
q6	186	177	143	143
q7	2074	1975	1824	1824
q8	2603	2812	2699	2699
q9	7300	7255	7277	7255
q10	3049	3262	2769	2769
q11	589	528	505	505
q12	671	812	610	610
q13	3499	3852	3309	3309
q14	308	302	266	266
q15	575	514	505	505
q16	658	684	662	662
q17	1249	1722	1273	1273
q18	7647	7413	7269	7269
q19	841	1141	1086	1086
q20	1960	2020	1892	1892
q21	5787	5034	5018	5018
q22	622	646	578	578
Total cold run time: 54179 ms
Total hot run time: 52611 ms

@doris-robot
Copy link

TPC-DS: Total hot run time: 194985 ms 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 3713ea6d1931a189ecdb2395593ef78f238c01c2, data reload: false

query1	1314	958	939	939
query2	6336	2380	2310	2310
query3	10970	4601	4797	4601
query4	33585	23930	23453	23453
query5	4760	601	463	463
query6	319	214	188	188
query7	3985	500	303	303
query8	294	243	229	229
query9	9100	2663	2689	2663
query10	501	309	254	254
query11	18014	15662	15279	15279
query12	154	106	106	106
query13	1669	509	375	375
query14	11565	6549	8018	6549
query15	247	217	196	196
query16	8063	689	469	469
query17	1537	805	588	588
query18	1424	380	317	317
query19	225	196	163	163
query20	126	118	115	115
query21	203	125	114	114
query22	4466	4537	4491	4491
query23	34253	33217	33307	33217
query24	6057	2349	2380	2349
query25	461	473	381	381
query26	788	287	156	156
query27	2189	470	324	324
query28	5733	2460	2455	2455
query29	545	570	442	442
query30	216	199	159	159
query31	969	911	851	851
query32	73	59	57	57
query33	478	371	326	326
query34	756	846	494	494
query35	847	817	746	746
query36	1017	1031	955	955
query37	118	99	85	85
query38	4086	4169	4371	4169
query39	1481	1490	1453	1453
query40	214	114	105	105
query41	54	53	48	48
query42	117	109	107	107
query43	516	514	506	506
query44	1359	827	816	816
query45	196	184	168	168
query46	873	1053	637	637
query47	1920	1897	1859	1859
query48	387	388	314	314
query49	756	503	393	393
query50	641	671	419	419
query51	7048	6996	6898	6898
query52	106	102	95	95
query53	223	249	180	180
query54	484	516	407	407
query55	86	75	77	75
query56	269	262	254	254
query57	1243	1212	1175	1175
query58	267	234	234	234
query59	3265	3258	3263	3258
query60	272	274	254	254
query61	122	110	120	110
query62	816	806	742	742
query63	232	188	190	188
query64	2855	1043	687	687
query65	3358	3272	3264	3264
query66	909	432	319	319
query67	16193	15749	15421	15421
query68	7422	694	520	520
query69	492	300	302	300
query70	1247	1102	1125	1102
query71	463	290	257	257
query72	6218	3855	3812	3812
query73	653	736	355	355
query74	10240	9195	9031	9031
query75	4148	3113	2648	2648
query76	3742	1191	762	762
query77	779	350	280	280
query78	10335	9985	9312	9312
query79	3482	794	581	581
query80	681	534	420	420
query81	503	286	232	232
query82	657	165	119	119
query83	161	171	156	156
query84	282	103	158	103
query85	781	397	294	294
query86	390	317	299	299
query87	4415	4527	4193	4193
query88	4833	2141	2126	2126
query89	412	336	296	296
query90	1866	185	189	185
query91	135	134	107	107
query92	67	59	50	50
query93	1659	827	531	531
query94	635	393	292	292
query95	338	250	252	250
query96	475	623	277	277
query97	2888	2965	2815	2815
query98	230	214	214	214
query99	1576	1511	1349	1349
Total cold run time: 295910 ms
Total hot run time: 194985 ms

@doris-robot
Copy link

ClickBench: Total hot run time: 31.16 s 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 3713ea6d1931a189ecdb2395593ef78f238c01c2, data reload: false

query1	0.03	0.03	0.03
query2	0.07	0.03	0.04
query3	0.24	0.07	0.07
query4	1.62	0.11	0.10
query5	0.43	0.42	0.40
query6	1.16	0.66	0.65
query7	0.02	0.02	0.01
query8	0.04	0.04	0.03
query9	0.57	0.50	0.51
query10	0.55	0.57	0.56
query11	0.14	0.10	0.10
query12	0.13	0.11	0.11
query13	0.61	0.60	0.59
query14	2.85	2.85	2.73
query15	0.89	0.83	0.82
query16	0.36	0.37	0.38
query17	1.00	0.99	0.96
query18	0.22	0.20	0.20
query19	1.92	1.86	2.00
query20	0.01	0.01	0.02
query21	15.37	0.91	0.60
query22	0.88	0.86	0.63
query23	15.80	1.42	0.57
query24	3.00	1.26	1.17
query25	0.23	0.07	0.09
query26	0.29	0.16	0.13
query27	0.06	0.05	0.04
query28	13.79	1.52	1.04
query29	12.55	3.88	3.22
query30	0.25	0.09	0.06
query31	2.84	0.59	0.37
query32	3.23	0.54	0.46
query33	3.15	3.08	3.01
query34	16.76	5.12	4.45
query35	4.51	4.48	4.41
query36	0.84	0.48	0.48
query37	0.10	0.06	0.06
query38	0.04	0.04	0.04
query39	0.03	0.02	0.02
query40	0.17	0.13	0.13
query41	0.08	0.02	0.02
query42	0.03	0.03	0.02
query43	0.04	0.03	0.03
Total cold run time: 106.9 s
Total hot run time: 31.16 s

@Yao-MR
Copy link
Contributor Author

Yao-MR commented Jan 13, 2025

run p0

@Yao-MR
Copy link
Contributor Author

Yao-MR commented Jan 13, 2025

run P0 Regression

@Yao-MR
Copy link
Contributor Author

Yao-MR commented Jan 13, 2025

run p0

1 similar comment
@Yao-MR
Copy link
Contributor Author

Yao-MR commented Jan 15, 2025

run p0

@Yao-MR
Copy link
Contributor Author

Yao-MR commented Jan 15, 2025

run P0 Regression

@Yao-MR
Copy link
Contributor Author

Yao-MR commented Jan 15, 2025

run P0

@Yao-MR
Copy link
Contributor Author

Yao-MR commented Jan 15, 2025

run p0 20

@Yao-MR
Copy link
Contributor Author

Yao-MR commented Jan 15, 2025

run buildall

@doris-robot
Copy link

TPC-H: Total hot run time: 32985 ms 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 2acb2c78d245989ef833cf9d36e5595a19d4d38c, data reload: false

------ Round 1 ----------------------------------
q1	17580	6172	6120	6120
q2	2059	308	172	172
q3	10484	1303	743	743
q4	10231	981	546	546
q5	7636	2407	2154	2154
q6	209	179	148	148
q7	920	745	600	600
q8	9247	1405	1175	1175
q9	5244	4898	4925	4898
q10	6816	2375	1935	1935
q11	482	289	259	259
q12	336	354	219	219
q13	17768	3744	3080	3080
q14	224	223	211	211
q15	577	541	501	501
q16	627	614	585	585
q17	582	864	321	321
q18	7085	6577	6304	6304
q19	2254	945	535	535
q20	309	320	179	179
q21	2987	2196	1984	1984
q22	367	325	316	316
Total cold run time: 104024 ms
Total hot run time: 32985 ms

----- Round 2, with runtime_filter_mode=off -----
q1	6313	6204	6243	6204
q2	243	333	236	236
q3	2281	2655	2385	2385
q4	1415	1816	1366	1366
q5	4382	4786	4978	4786
q6	187	186	143	143
q7	2114	1946	1831	1831
q8	2614	2769	2671	2671
q9	7325	7181	7213	7181
q10	3021	3316	2872	2872
q11	588	513	512	512
q12	665	749	581	581
q13	3477	3939	3303	3303
q14	272	305	286	286
q15	581	530	523	523
q16	643	702	648	648
q17	1242	1761	1256	1256
q18	7683	7489	7146	7146
q19	800	942	1104	942
q20	1988	2065	1885	1885
q21	5635	5333	5065	5065
q22	622	624	582	582
Total cold run time: 54091 ms
Total hot run time: 52404 ms

@doris-robot
Copy link

TPC-DS: Total hot run time: 188308 ms 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 2acb2c78d245989ef833cf9d36e5595a19d4d38c, data reload: false

query1	973	379	378	378
query2	6525	2117	2048	2048
query3	6789	217	211	211
query4	33881	23542	23884	23542
query5	4456	633	458	458
query6	285	200	184	184
query7	4613	498	315	315
query8	286	226	221	221
query9	9659	2771	2785	2771
query10	478	310	254	254
query11	18217	17156	15055	15055
query12	158	107	104	104
query13	1657	521	426	426
query14	9521	7590	6543	6543
query15	219	202	204	202
query16	7911	622	423	423
query17	1638	734	565	565
query18	2059	416	307	307
query19	230	196	163	163
query20	121	116	121	116
query21	222	128	105	105
query22	4314	4316	4335	4316
query23	34269	32956	33150	32956
query24	6795	2292	2275	2275
query25	469	464	382	382
query26	1210	270	157	157
query27	2034	470	338	338
query28	5262	2450	2424	2424
query29	647	550	434	434
query30	232	185	174	174
query31	968	851	778	778
query32	72	62	60	60
query33	505	343	287	287
query34	743	861	525	525
query35	790	830	733	733
query36	995	1015	918	918
query37	127	107	82	82
query38	4191	4251	4097	4097
query39	1466	1381	1420	1381
query40	200	115	99	99
query41	56	54	56	54
query42	121	109	110	109
query43	521	549	508	508
query44	1337	805	818	805
query45	183	174	161	161
query46	854	1062	640	640
query47	1830	1839	1776	1776
query48	378	391	324	324
query49	779	490	397	397
query50	622	665	385	385
query51	6932	6964	6817	6817
query52	106	107	92	92
query53	222	250	185	185
query54	486	509	441	441
query55	83	78	80	78
query56	271	259	246	246
query57	1159	1131	1062	1062
query58	243	232	236	232
query59	3206	3242	2925	2925
query60	292	271	288	271
query61	120	116	119	116
query62	860	767	741	741
query63	227	200	191	191
query64	4040	986	705	705
query65	3271	3168	3205	3168
query66	1074	419	315	315
query67	16165	15488	15424	15424
query68	4332	820	538	538
query69	467	298	257	257
query70	1185	1141	1144	1141
query71	395	286	266	266
query72	5758	3814	3772	3772
query73	656	751	361	361
query74	10062	8937	8884	8884
query75	3225	3150	2667	2667
query76	3189	1216	773	773
query77	482	370	274	274
query78	10039	9903	9305	9305
query79	3496	802	586	586
query80	696	524	447	447
query81	504	281	248	248
query82	682	150	125	125
query83	171	238	152	152
query84	238	93	78	78
query85	775	354	302	302
query86	397	326	303	303
query87	4432	4668	4336	4336
query88	5028	2187	2174	2174
query89	397	328	306	306
query90	1830	194	192	192
query91	136	137	110	110
query92	65	55	52	52
query93	1986	881	547	547
query94	724	420	294	294
query95	340	265	255	255
query96	491	617	285	285
query97	2902	2826	2713	2713
query98	240	199	200	199
query99	1767	1497	1391	1391
Total cold run time: 287712 ms
Total hot run time: 188308 ms

@doris-robot
Copy link

ClickBench: Total hot run time: 31.48 s 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 2acb2c78d245989ef833cf9d36e5595a19d4d38c, data reload: false

query1	0.04	0.03	0.03
query2	0.08	0.03	0.03
query3	0.24	0.07	0.07
query4	1.62	0.11	0.11
query5	0.42	0.41	0.41
query6	1.16	0.65	0.65
query7	0.02	0.01	0.01
query8	0.04	0.03	0.04
query9	0.57	0.50	0.52
query10	0.56	0.56	0.56
query11	0.14	0.11	0.11
query12	0.13	0.11	0.11
query13	0.61	0.60	0.60
query14	2.82	2.73	2.83
query15	0.88	0.82	0.83
query16	0.39	0.39	0.40
query17	1.06	1.00	1.04
query18	0.23	0.21	0.21
query19	1.83	1.87	2.03
query20	0.01	0.01	0.01
query21	15.63	0.95	0.60
query22	0.76	0.90	0.71
query23	15.14	1.46	0.60
query24	2.93	1.26	1.03
query25	0.22	0.16	0.17
query26	0.33	0.14	0.14
query27	0.07	0.06	0.06
query28	14.31	1.52	1.05
query29	12.57	3.90	3.24
query30	0.24	0.10	0.08
query31	2.80	0.58	0.38
query32	3.23	0.55	0.46
query33	3.11	3.05	2.98
query34	16.77	5.06	4.47
query35	4.56	4.51	4.48
query36	0.65	0.50	0.48
query37	0.09	0.06	0.06
query38	0.05	0.04	0.03
query39	0.04	0.02	0.02
query40	0.18	0.14	0.13
query41	0.08	0.02	0.02
query42	0.03	0.03	0.02
query43	0.04	0.03	0.03
Total cold run time: 106.68 s
Total hot run time: 31.48 s

@Yao-MR
Copy link
Contributor Author

Yao-MR commented Jan 16, 2025

run P0

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Reviewers

@starocean999 starocean999 Awaiting requested review from starocean999

At least 1 approving review is required to merge this pull request.

Assignees
No one assigned
Labels
None yet
Projects
None yet
Milestone
No milestone
Development

Successfully merging this pull request may close these issues.

[Enhancement] (nereids)implement KillQueryCommand in nereids
4 participants
@Yao-MR @doris-robot @LiBinfeng-01 @starocean999