Skip to content

Commit

Permalink
deploy: eb7c9ef
Browse files Browse the repository at this point in the history
  • Loading branch information
p208p2002 committed Dec 19, 2023
1 parent 3992cb0 commit 2edc1e6
Show file tree
Hide file tree
Showing 2 changed files with 4 additions and 4 deletions.
4 changes: 2 additions & 2 deletions _version.txt
Original file line number Diff line number Diff line change
@@ -1,3 +1,3 @@
Git Hash: ffaf7b579a6c226ee168c33b03cefde112282dcc
Build Time: 2023/12/19 05:16:59
Git Hash: eb7c9eff6c3bceea1c24a12bebb786aac1bc8ab7
Build Time: 2023/12/19 05:22:51
Build Platform: Linux-6.2.0-1018-azure-x86_64-with-glibc2.35
4 changes: 2 additions & 2 deletions docs/chat-template/document.md
Original file line number Diff line number Diff line change
Expand Up @@ -9,7 +9,7 @@

許多第三方的部屬框架 (如: vllm, openllm) 也已經開始支援這個屬性,但如果沒有設置 `.chat_template` 則會使用 `.default_chat_template` ,需要特別注意。

> 這些框架號稱支援多種不同模型與 `chat_template` ,但以 [chatglm3](https://huggingface.co/THUDM/chatglm3-6b)[vllm](https://github.com/vllm-project/vllm/blob/main/vllm/entrypoints/openai/api_server.py) 舉例來說,就會發現因為 chatglm3 `chat_template` 缺失,導致套用到非正確的聊天模板。
> 部份框架號稱支援多種不同模型與 `chat_template` ,但以 [chatglm3](https://huggingface.co/THUDM/chatglm3-6b)[vllm](https://github.com/vllm-project/vllm/blob/main/vllm/entrypoints/openai/api_server.py) 舉例來說,就會發現因為 chatglm3 並沒有提供 `chat_template` ,導致套用到非正確的聊天模板。
### chatglm3 聊天模板
chatglm3是能力不錯的中文 chat model,不過目前尚未提供 `.chat_template` ,使用起來不太方便:
Expand Down Expand Up @@ -137,7 +137,7 @@ print(official_result:=tokenizer.decode(tokenizer.build_chat_input(query=message
Can I ask a question?<|assistant|>
```

現在是 `jinja_template``.build_chat_input` 對齊了:)
現在 `jinja_template``.build_chat_input` 對齊了:)

##### 模板除錯
用肉眼一個一個比對太累了,直接使用difflib比較兩組字串差異。
Expand Down

0 comments on commit 2edc1e6

Please sign in to comment.