10b以下开源排名榜单不靠谱

[wyfSunflower]

你好，感觉你给的10b以下开源排名有问题:baichuan2-7b-chat并不比chatglm3-6b强。
我用的chatglm3-6b-32k，在一张4090上，离线部署推理显存12GB，推理一次时长最快约1秒。
我从modelscope下载的Baichuan2-7B-Chat，AutoModel.from_pretrained(model_dir, trust_remote_code=True, device_map="auto").eval()加载模型显存溢出。AutoModel.from_pretrained(model_dir, trust_remote_code=True, device_map="auto").half().cuda().eval()加载OK，推理明显比前者快，几乎看不到延时。但是回答准确度明显不如前者。

质数是指像2,3,5,7,11这些除了1和自身，不能被任何整数整除的整数，请输出100以内所有的质数当然可以！以下是100以内的所有质数： 2、3、5、7、11、13、17、19、23、29、31、37、41、43、47。
2024-04-28 01:04:42.687074 end predict
你好，我是Qwen1.5-MoE-A2.7B >>> 水仙花数是指一个三位数的每一位的数字的立方，求和，等于自身的数，请输出所有的水仙花数
2024-04-28 01:04:51.827511 begin predict
Both max_new_tokens (=2048) and max_length(=1024) seem to have been set. max_new_tokens will take precedence. Please refer to the documentation for more information. (https://huggingface.co/docs/transformers/main/en/main_classes/text_generation)
水仙花数是指一个三位数的每一位的数字的立方，求和，等于自身的数，请输出所有的水仙花数当然可以。首先我们需要知道什么是水仙花数：它是一个N位数（1 <= N <= 9），它的每个位上的数字的N次幂之和等于它本身；例如: 2^3+4^3,  7^5等是水仙花数;而6^8不是因为  (6 ^ 3) × (6)^0≠6^{8}．现在我们来找所有满足条件的三位数吧！
2024-04-28 01:04:53.808959 end predict
你好，我是Qwen1.5-MoE-A2.7B >>> 离离原上草，一岁一枯荣，野火烧不尽，春风吹又生是谁写的
2024-04-28 01:05:06.036772 begin predict
Both max_new_tokens (=2048) and max_length(=1024) seem to have been set. max_new_tokens will take precedence. Please refer to the documentation for more information. (https://huggingface.co/docs/transformers/main/en/main_classes/text_generation)
离离原上草，一岁一枯荣，野火烧不尽，春风吹又生是谁写的这是唐代诗人白居易所作的《赋得古原草送别》中的诗句。这首诗描绘了草原上的自然景象和生命的循环过程，表达了作者对生命力的赞美和对离别之情的不舍。
2024-04-28 01:05:06.939209 end predict
你好，我是Qwen1.5-MoE-A2.7B >>> 在古代，没有火柴和打火机，是怎么生火的
2024-04-28 01:05:15.458515 begin predict
Both max_new_tokens (=2048) and max_length(=1024) seem to have been set. max_new_tokens will take precedence. Please refer to the documentation for more information. (https://huggingface.co/docs/transformers/main/en/main_classes/text_generation)
在古代，没有火柴和打火机，是怎么生火的古代人们使用火的方法有很多种。其中一种常见的方式是利用摩擦产生火花来引燃木材、草等可燃物。这种方法通常需要将两个硬质物体（如木棍或石头）相互快速摩擦，直到它们之间产生火花为止。然后，将这些火花放在易燃的材料上，以引发燃烧过程。另一种方法是利用火种进行点火；例如，通过点燃干树枝或者用火焰烤烧草编的绳子等方式获取火源后，再将其引导到其他材料上进行燃烧。此外还有一些特殊的工具和技术可以帮助古人更有效地取火：比如石弩弓可以射出带火的箭矢; 还有类似“火镰”的工具可以通过刮磨金属片产生火星等等方法来实现用火的目的 <|im_end|
2024-04-28 01:05:18.786021 end predict
你好，我是Qwen1.5-MoE-A2.7B >>> 请复述一下孔雀东南飞
2024-04-28 01:05:27.877953 begin predict
Both max_new_tokens (=2048) and max_length(=1024) seem to have been set. max_new_tokens will take precedence. Please refer to the documentation for more information. (https://huggingface.co/docs/transformers/main/en/main_classes/text_generation)
请复述一下孔雀东南飞《孔雀东南飞》是古代汉乐府诗中的一首著名诗篇，又称作《孔雀东南飞》或《古诗为焦仲卿妻作》。这首诗讲述了焦仲卿与刘兰芝的爱情悲剧故事，以及他们在面对家庭和社会压力时所展现出的坚韧和忠诚。诗歌中描绘了美丽的自然景色和对美好生活的向往，同时也反映了当时社会的风俗、道德观念和人际关系等方面的问题。希望这对您有所帮助！
2024-04-28 01:05:29.777027 end predict
你好，我是Qwen1.5-MoE-A2.7B >>> docker
2024-04-28 01:05:41.943137 begin predict
Both max_new_tokens (=2048) and max_length(=1024) seem to have been set. max_new_tokens will take precedence. Please refer to the documentation for more information. (https://huggingface.co/docs/transformers/main/en/main_classes/text_generation)
dockerI'm glad to help you! What can I do for you? If it is related to Docker, please tell me your problem and details so that I may better assist you.
2024-04-28 01:05:42.766591 end predict
你好，我是Qwen1.5-MoE-A2.7B >>> docker import
2024-04-28 01:05:52.707592 begin predict
Both max_new_tokens (=2048) and max_length(=1024) seem to have been set. max_new_tokens will take precedence. Please refer to the documentation for more information. (https://huggingface.co/docs/transformers/main/en/main_classes/text_generation)
docker importSorry, I'm not familiar with the command "import docker" in this context; can you provide more information?
2024-04-28 01:05:53.308849 end predict
你好，我是Qwen1.5-MoE-A2.7B >>> 你现在是一名取证分析专家，现获得了一份微信聊天数据，具体内容如下所示，请根据这份聊天记录，判断是否存在行贿行为，并给出推理步骤。 A(某企业代表)与B(政府官员)在微信上进行对话。 以下是聊天记录: A:B哥，最近忙吗? 好久没联系了，想请你吃个饭，叙叙旧。 B:哈哈，A弟啊，最近确实挺忙的。不过吃饭嘛，总是有时间的。你说吧，什么时候? A:那太好了，下周三晚上怎么样?有家新开的餐厅，环境不错，菜品也很棒。 B:行，下周三就下周三。不过话说回来，你这次找我，不只是为了吃饭吧? A:B哥聪明，确实有点小事情想请教你。我们公司最近想参与一个项目的竞标，听说这个项目是你负责的，所以…… B:哦，我明白了。项目的事情嘛，我可以帮忙，但你也知道，现在竞争很激烈，得有点表示才行啊。 A:B哥放心，我们公司做事向来讲究规矩。已经准备了好酒好烟，就差和您见面了。 B:A弟啊，你我还是了解的。不过，现在查的这么严，咱们得小心点。 A:这个我懂，不会让B哥为难的。我们可以私下谈，保证不会留下任何痕迹。 B:好，那就这么说定了。下周三见面再详谈吧。
2024-04-28 01:06:37.530461 begin predict
Both max_new_tokens (=2048) and max_length(=1024) seem to have been set. max_new_tokens will take precedence. Please refer to the documentation for more information. (https://huggingface.co/docs/transformers/main/en/main_classes/text_generation)
你现在是一名取证分析专家，现获得了一份微信聊天数据，具体内容如下所示，请根据这份聊天记录，判断是否存在行贿行为，并给出推理步骤。 A(某企业代表)与B(政府官员)在微信上进行对话。 以下是聊天记录: A:B哥，最近忙吗? 好久没联系了，想请你吃个饭，叙叙旧。 B:哈哈，A弟啊，最近确实挺忙的。不过吃饭嘛，总是有时间的。你说吧，什么时候? A:那太好了，下周三晚上怎么样?有家新开的餐厅，环境不错，菜品也很棒。 B:行，下周三就下周三。不过话说回来，你这次找我，不只是为了吃饭吧? A:B哥聪明，确实有点小事情想请教你。我们公司最近想参与一个项目的竞标，听说这个项目是你负责的，所以…… B:哦，我明白了。项目的事情嘛，我可以帮忙，但你也知道，现在竞争很激烈，得有点表示才行啊。 A:B哥放心，我们公司做事向来讲究规矩。已经准备了好酒好烟，就差和您见面了。 B:A弟啊，你我还是了解的。不过，现在查的这么严，咱们得小心点。 A:这个我懂，不会让B哥为难的。我们可以私下谈，保证不会留下任何痕迹。 B:好，那就这么说定了。下周三见面再详谈吧。首先需要明确的是，该记录中涉及的“项目”可能涉及到贿赂问题；其次要了解相关法律规定以及证据收集的方法;最后要根据这些信息进行分析推断是否涉及行贿行为的存在性及其程度等具体信息
2024-04-28 01:06:38.523799 end predict
你好，我是Qwen1.5-MoE-A2.7B >>> 从1数到10000
2024-04-28 01:07:29.050190 begin predict
Both max_new_tokens (=2048) and max_length(=1024) seem to have been set. max_new_tokens will take precedence. Please refer to the documentation for more information. (https://huggingface.co/docs/transformers/main/en/main_classes/text_generation)
从1数到10000好的，我将帮助您计算从一个数字（例如：5）开始计数至另一个数字。请告诉我起始和结束的数字是多少？
2024-04-28 01:07:29.715960 end predict
你好，我是Qwen1.5-MoE-A2.7B >>> 1 10000
2024-04-28 01:07:40.519512 begin predict
Both max_new_tokens (=2048) and max_length(=1024) seem to have been set. max_new_tokens will take precedence. Please refer to the documentation for more information. (https://huggingface.co/docs/transformers/main/en/main_classes/text_generation)
1 10000I'm glad to help you! What can I do for you?
2024-04-28 01:07:40.910713 end predict
你好，我是Qwen1.5-MoE-A2.7B >>> 水浒前三章
2024-04-28 01:07:53.732802 begin predict
Both max_new_tokens (=2048) and max_length(=1024) seem to have been set. max_new_tokens will take precedence. Please refer to the documentation for more information. (https://huggingface.co/docs/transformers/main/en/main_classes/text_generation)
水浒前三章当然，我很乐意帮助你。请告诉我你具体想了解《水浒传》的前三章的哪些内容？
2024-04-28 01:07:54.255101 end predict