Copybara import of the project:

-- 378c835 by Xu Jun <[email protected]>: optimize qs8-x8c8-gio packw using avxvnni -- 12915c9 by Xu Jun <[email protected]>: fix _mm_unpacklo_epi32 -- 67c98df by Xu Jun <[email protected]>: fix w movement in kc remainder -- a60cf60 by Xu Jun <[email protected]>: vectorize NC remainder -- 3b3dac2 by Xu Jun <[email protected]>: fix typo -- ed80587 by Xu Jun <[email protected]>: renmae safe_load_64bits to safe_load_u64 FUTURE_COPYBARA_INTEGRATE_REVIEW=#7497 from xujuntwt95329:qs8-gio-avxvnni ed80587 PiperOrigin-RevId: 699061552
google · Nov 22, 2024 · 9c9f0db · 9c9f0db
1 parent cc7c00a
commit 9c9f0db
Show file tree

Hide file tree

Showing 7 changed files with 1,139 additions and 0 deletions.
diff --git a/cmake/gen/avxvnni_microkernels.cmake b/cmake/gen/avxvnni_microkernels.cmake
@@ -132,6 +132,8 @@ SET(NON_PROD_AVXVNNI_MICROKERNEL_SRCS
   src/qd8-f32-qc8w-igemm/gen/qd8-f32-qc8w-igemm-7x8c8-minmax-avxvnni.c
   src/qd8-f32-qc8w-igemm/gen/qd8-f32-qc8w-igemm-8x8c8-minmax-avxvnni-prfm.c
   src/qd8-f32-qc8w-igemm/gen/qd8-f32-qc8w-igemm-8x8c8-minmax-avxvnni.c
+  src/qs8-packw/gen/qs8-packw-x8c8-gemm-gio-avxvnni-prfm.c
+  src/qs8-packw/gen/qs8-packw-x8c8-gemm-gio-avxvnni.c
   src/qs8-packw/gen/qs8-packw-x16c8-gemm-goi-avxvnni-prfm.c
   src/qs8-packw/gen/qs8-packw-x16c8-gemm-goi-avxvnni.c
   src/qs8-qc8w-gemm/gen/qs8-qc8w-gemm-1x8c8-minmax-fp32-avxvnni.c

diff --git a/gen/avxvnni_microkernels.bzl b/gen/avxvnni_microkernels.bzl
@@ -129,6 +129,8 @@ NON_PROD_AVXVNNI_MICROKERNEL_SRCS = [
     "src/qd8-f32-qc8w-igemm/gen/qd8-f32-qc8w-igemm-7x8c8-minmax-avxvnni.c",
     "src/qd8-f32-qc8w-igemm/gen/qd8-f32-qc8w-igemm-8x8c8-minmax-avxvnni-prfm.c",
     "src/qd8-f32-qc8w-igemm/gen/qd8-f32-qc8w-igemm-8x8c8-minmax-avxvnni.c",
+    "src/qs8-packw/gen/qs8-packw-x8c8-gemm-gio-avxvnni-prfm.c",
+    "src/qs8-packw/gen/qs8-packw-x8c8-gemm-gio-avxvnni.c",
     "src/qs8-packw/gen/qs8-packw-x16c8-gemm-goi-avxvnni-prfm.c",
     "src/qs8-packw/gen/qs8-packw-x16c8-gemm-goi-avxvnni.c",
     "src/qs8-qc8w-gemm/gen/qs8-qc8w-gemm-1x8c8-minmax-fp32-avxvnni.c",

diff --git a/scripts/generate-x8-packw.sh b/scripts/generate-x8-packw.sh
@@ -67,6 +67,10 @@ tools/xngen src/x8-packw/kr-avxvnni.c.in -D NR=16 -D KR=8 -D DATATYPE=QS8 -D TYP
 tools/xngen src/x8-packw/kr-avxvnni.c.in -D NR=16 -D KR=8 -D DATATYPE=QS8 -D TYPE=int8_t -D IZP=128 -D AVX=10 -D PREFETCH=0 -o src/qs8-qu8-packw/gen/qs8-qu8-packw-x16c8-gemm-goi-avx256vnni.c &
 tools/xngen src/x8-packw/kr-avxvnni.c.in -D NR=16 -D KR=8 -D DATATYPE=QS8 -D TYPE=int8_t -D IZP=128 -D AVX=10 -D PREFETCH=1 -o src/qs8-qu8-packw/gen/qs8-qu8-packw-x16c8-gemm-goi-avx256vnni-prfm.c &
 
+### GIO packing
+tools/xngen src/x8-packw/kr-gio-avxvnni.c.in -D NR=8  -D KR=8 -D DATATYPE=QS8 -D TYPE=int8_t -D IZP=0 -D AVX=2 -D PREFETCH=0 -o src/qs8-packw/gen/qs8-packw-x8c8-gemm-gio-avxvnni.c &
+tools/xngen src/x8-packw/kr-gio-avxvnni.c.in -D NR=8  -D KR=8 -D DATATYPE=QS8 -D TYPE=int8_t -D IZP=0 -D AVX=2 -D PREFETCH=1 -o src/qs8-packw/gen/qs8-packw-x8c8-gemm-gio-avxvnni-prfm.c &
+
 # X8 packing
 tools/xngen src/x8-packw/kr-avxvnni.c.in -D NR=8  -D KR=8 -D DATATYPE=X8  -D TYPE=int8_t -D IZP=0   -D AVX=2  -D PREFETCH=0 -o src/x8-packw/gen/x8-packw-x8c8-gemm-goi-avx2.c &
 tools/xngen src/x8-packw/kr-avxvnni.c.in -D NR=8  -D KR=8 -D DATATYPE=X8  -D TYPE=int8_t -D IZP=0   -D AVX=2  -D PREFETCH=1 -o src/x8-packw/gen/x8-packw-x8c8-gemm-goi-avx2-prfm.c &