Nanbeige-4.2-3B：来自BOSS直聘的小钢炮

文章目录一前言1.1难以通过的测试1.2失败的原因二Nanbeige-4.2-3B2.1简介2.2测试例子2.3理论速度2.4参数和资源占用2.5小遗憾三总结一前言我在《本地模型都这么强了16GB级别LLM工具能力不完全体验》里测试了很多开源的LLM模型能在我16G显存下跑起来的模型。比较亮眼的是新出的小鸟也就是Ornith系列模型。但让人失望的是这个级别所有模型都可能会搞错一些信息给出错误的结果。小鸟偏向编程后来又出现了同样基于Qwen的Agents-A1模型更偏向实际任务工具调用等。相对来说效果也是非常好。但是在4B这个参数量级上没有能够稳定通过测试的。1.1难以通过的测试我的测试很简单从OpenCLI出发给LLM一个指令让它自己查出最后的正确信息。考虑了一下之后决定用查询火车票的场景作为例子因为它需要几个工具步骤并且需要理解返回信息。ChatGPT曾经告诉我这是小菜一碟本地模型能胜任甚至不用开推理。但实际测试结果给俺泼了一盆冷水。除了Qwen3.5-88B-A10B这种勉强能运行的REAP超标模型其它模型多少都会有一定的机率答错。较大的模型中MOE模型错误率高些Dense错误率低些。小鸟和Agent-A1比原版的Qwen系列好些。1.2失败的原因非常不靠谱的失败请看之前的文章。当AI的查询逻辑和调用工具全对时会拿到如下的数据当然LLM看到的是Yaml格式。12306/trains ┌───────┬──────────────┬────────────┬────────────┬─────────────┬──────────┬───────────┬───────────────┬────────────┬─────────────┬──────────────┬──────────────┬───────────┬─────────┬──────────────┐ │ Code │ From_station │ To_station │ Start_time │ Arrive_time │ Duration │ Available │ Business_seat │ First_seat │ Second_seat │ Soft_sleeper │ Hard_sleeper │ Hard_seat │ No_seat │ Train_no │ ├───────┼──────────────┼────────────┼────────────┼─────────────┼──────────┼───────────┼───────────────┼────────────┼─────────────┼──────────────┼──────────────┼───────────┼─────────┼──────────────┤ │ G322 │ 成都东 │ 北京西 │ 06:56 │ 14:26 │ 07:30 │ true │ 无 │ 15 │ 无 │ │ │ │ 有 │ 760000G32201 │ ├───────┼──────────────┼────────────┼────────────┼─────────────┼──────────┼───────────┼───────────────┼────────────┼─────────────┼──────────────┼──────────────┼───────────┼─────────┼──────────────┤ │ D1046 │ 成都东 │ 清河 │ 07:11 │ 18:53 │ 11:42 │ true │ │ 11 │ 17 │ │ │ │ 有 │ 76000D104603 │ ├───────┼──────────────┼────────────┼────────────┼─────────────┼──────────┼───────────┼───────────────┼────────────┼─────────────┼──────────────┼──────────────┼───────────┼─────────┼──────────────┤ │ G1308 │ 成都东 │ 北京丰台 │ 10:16 │ 20:22 │ 10:06 │ true │ 无 │ 无 │ 有 │ │ │ │ 有 │ 77000G130801 │ ├───────┼──────────────┼────────────┼────────────┼─────────────┼──────────┼───────────┼───────────────┼────────────┼─────────────┼──────────────┼──────────────┼───────────┼─────────┼──────────────┤ │ G970 │ 成都东 │ 北京西 │ 10:56 │ 20:20 │ 09:24 │ true │ 2 │ 有 │ 无 │ │ │ │ 有 │ 770000G97001 │ ├───────┼──────────────┼────────────┼────────────┼─────────────┼──────────┼───────────┼───────────────┼────────────┼─────────────┼──────────────┼──────────────┼───────────┼─────────┼──────────────┤ │ G1592 │ 成都东 │ 北京西 │ 11:25 │ 20:30 │ 09:05 │ true │ 1 │ 7 │ 无 │ │ │ │ 有 │ 76000G159202 │ ├───────┼──────────────┼────────────┼────────────┼─────────────┼──────────┼───────────┼───────────────┼────────────┼─────────────┼──────────────┼──────────────┼───────────┼─────────┼──────────────┤ │ D50 │ 成都东 │ 北京西 │ 13:01 │ 10:07 │ 21:06 │ true │ │ │ 无 │ 无 │ 无 │ │ 无 │ 7600000D5001 │ ├───────┼──────────────┼────────────┼────────────┼─────────────┼──────────┼───────────┼───────────────┼────────────┼─────────────┼──────────────┼──────────────┼───────────┼─────────┼──────────────┤ │ D118 │ 成都东 │ 北京丰台 │ 13:38 │ 10:44 │ 21:06 │ true │ │ │ 无 │ 无 │ 无 │ │ 有 │ 760000D11801 │ ├───────┼──────────────┼────────────┼────────────┼─────────────┼──────────┼───────────┼───────────────┼────────────┼─────────────┼──────────────┼──────────────┼───────────┼─────────┼──────────────┤ │ G324 │ 成都东 │ 北京西 │ 15:02 │ 22:32 │ 07:30 │ true │ 6 │ 无 │ 有 │ │ │ │ 有 │ 760000G32400 │ ├───────┼──────────────┼────────────┼────────────┼─────────────┼──────────┼───────────┼───────────────┼────────────┼─────────────┼──────────────┼──────────────┼───────────┼─────────┼──────────────┤ │ D16 │ 成都东 │ 北京西 │ 15:37 │ 12:16 │ 20:39 │ true │ │ │ 无 │ 有 │ 无 │ │ 有 │ 7600000D1600 │ ├───────┼──────────────┼────────────┼────────────┼─────────────┼──────────┼───────────┼───────────────┼────────────┼─────────────┼──────────────┼──────────────┼───────────┼─────────┼──────────────┤ │ D966 │ 成都东 │ 北京丰台 │ 19:28 │ 06:47 │ 11:19 │ true │ │ │ 无 │ 无 │ │ │ 无 │ 760000D96600 │ ├───────┼──────────────┼────────────┼────────────┼─────────────┼──────────┼───────────┼───────────────┼────────────┼─────────────┼──────────────┼──────────────┼───────────┼─────────┼──────────────┤ │ D968 │ 成都东 │ 北京丰台 │ 19:33 │ 06:55 │ 11:22 │ true │ │ │ 无 │ 无 │ │ │ 无 │ 780000D96800 │ ├───────┼──────────────┼────────────┼────────────┼─────────────┼──────────┼───────────┼───────────────┼────────────┼─────────────┼──────────────┼──────────────┼───────────┼─────────┼──────────────┤ │ K118 │ 成都西 │ 北京西 │ 21:12 │ 05:26 │ 32:14 │ true │ │ │ │ 无 │ 无 │ 有 │ 有 │ 760000K1180L │ └───────┴──────────────┴────────────┴────────────┴─────────────┴──────────┴───────────┴───────────────┴────────────┴─────────────┴──────────────┴──────────────┴───────────┴─────────┴──────────────┘通常LLM们会错在下面这几个地方。其实非常像咱看错内容的原因。内容看到一半就开跑比如问的是有商务座则看到G1592、G970时就直接给答案了。忽略了后面更快的G324列车。弄错车次内部编码比如G324的内部编码是760000G32400AI看漏了0硬要用76000G32400进一步查询票价和停站信息。混淆最快、最早到达其实是不同的涵义。混淆商务座、二等座等明显的结构化数据含义。二Nanbeige-4.2-3B直到我在世界杯后再一次看到Boss直聘的名字和这个Nanbeige-4.2-3B模型……它似乎每次都能通过我的测试。2.1简介南北阁Nanbeige4.2-3B是Boss直聘南北阁实验室从零训练的一款紧凑型通用Agent模型。它最核心的特点是 “小而强” 以仅30亿的非嵌入参数量在多项Agent和推理任务上超越了参数量大得多的模型。当然以小博大我们见得太多了宣传上强实战拉跨的更多。让我们看看它有啥特点创新的循环Transformer架构4.2版本采用了Looped Transformer架构在推理时让数据在同一个Transformer层中循环多次如两次在不增加参数的前提下有效增加了模型的“深度”和容量。这个架构是从零开始训练的效果比事后改造更好。海量且高质量的训练数据模型在28万亿28T个Token上进行了预训练相比前代23T数据规模更大、质量更高并特别增加了数学、代码和合成问答数据的比重。强大的Agent与推理能力根据其技术报告Nanbeige4.2-3B在通用Agent、代码Agent和复杂工具使用等任务上表现出色性能超越了Qwen3.5-9B和Gemma4-12B等更大模型。同时它在数学、代码和科学推理能力上也保持了强竞争力。实用的本地部署潜力模型体积小巧适合本地部署。当集成到OpenClaw等通用Agent框架中时它在日常助理、办公流程和深度研究等任务中表现良好可作为本地个人助理使用。很官方的文案似乎只有第一项是真正的特点。上个版本就曾经冲击到HF的LLM模型的前三感觉还是挺厉害的。不过有个小疑问明明是4B的参数量为啥名字是3B。2.2测试例子没开推理也会输出思维过程cot思维过程中总结了工具返回的一些关键信息。也许就是这些关键的思维过程文字让它没有跑偏[2026-07-30 14:37:42.377][Question]请查询明天从成都到北京的火车。商务座有票的、耗时最短的车次。查询那趟车的票价和停站详情。[2026-07-30 14:37:42.377][Service]LLM provider: http://127.0.0.1:8999/v1[2026-07-30 14:37:42.729][开始]收到用户指令并开始处理…… 352ms[2026-07-30 14:37:44.674]Streaming...1.94s 我来帮您查询明天从成都到北京的火车信息。首先让我确认12306网站的可用命令。[2026-07-30 14:37:46.452][工具](1.1)site_help →{site:12306}1.78s[2026-07-30 14:37:46.797][工具](1.1)site_help ←(3891)command_count: 9 commands:-desc: Open 12306 login and waituntilthe browser session is authenticated name: logi...344ms 好的12306网站支持查询车次、票价和停站详情。现在让我分步执行**第一步查询明天2026-07-31从成都到北京的火车车次**[2026-07-30 14:37:51.560][工具](2.1)cmd_exec →{full_cmd:opencli 12306 trains 成都 北京 --date 2026-07-31}4.76s[2026-07-30 14:37:52.297][工具](2.1)cmd_exec ←(3507)-arrive_time:14:26business_seat: 无 code: G322 duration: 07:30 first_seat:14from_code: ICW from_station:...737ms 已获取车次列表。现在分析**商务座有票的车次筛选**-G970770000G97001商务座有票耗时**09:24**-G159276000G159202商务座有票耗时**09:05**-G324760000G32400商务座有票耗时**07:30****耗时最短且有商务座票的车次是 G324760000G32400耗时 07:30**现在查询这趟车的票价和停站详情**第二步查询 G324 车次的票价**[2026-07-30 14:38:03.078][工具](3.1)cmd_exec →{full_cmd:opencli 12306 price 760000G32400 --from 成都 --to 北京 --date 2026-07-31}10.78s[2026-07-30 14:38:03.749][工具](3.1)cmd_exec ←(102)ok: false error: code: COMMAND_EXEC message: Train does not stop at 成都 \ \ exitCode: 1670ms 看来需要从成都东站出发。让我用正确的站点名称查询票价**第二步修正查询 G324 车次的票价成都东→北京西**[2026-07-30 14:38:09.928][工具](4.1)cmd_exec →{full_cmd:opencli 12306 price 760000G32400 --from 成都东 --to 北京西 --date 2026-07-31}6.18s[2026-07-30 14:38:10.733][工具](4.1)cmd_exec ←(329)-currency: CNY price:2699.5seat_code: A9 seat_name: 商务座-currency: CNY price:1598.5seat_code: P seat_n...805ms 票价已获取现在查询停站详情**第三步查询 G324 车次的停站详情**[2026-07-30 14:38:16.756][工具](5.1)cmd_exec →{full_cmd:opencli 12306 train 760000G32400 --from 成都东 --to 北京西 --date 2026-07-31}6.02s[2026-07-30 14:38:17.466][工具](5.1)cmd_exec ←(622)-arrive_time:start_time:15:02station_name: 成都东 station_no:01stopover_time:-arrive_time:15:39...710ms 所有查询已完成以下是为您汇总的结果---## 明天2026-07-31成都→北京 火车查询结果### 符合条件的车次商务座有票 耗时最短经过筛选**耗时最短且有商务座票的车次是 G324760000G32400**|项目|详情||------|------||**车次**|G324760000G32400||**出发站**|成都东||**到达站**|北京西||**出发时间**|15:02||**到达时间**|22:32||**总耗时**|**7小时30分钟**✅最短||**商务座**|有票 ✅|---### 票价信息|座位类型|票价元||----------|-----------||**商务座**|**¥2,699.5**||特等座|¥1,598.5||一等座|¥1,403.5||二等座|¥877.5||无座|¥877.5|---### ️ 停站详情|序号|站名|到达|出发|停站时间||------|------|------|------|----------||1|成都东起点|15:02|15:02|—||2|绵阳|15:39|15:41|**2分钟**||3|西安北|18:16|18:22|**6分钟**||4|郑州东|20:10|20:13|**3分钟**||5|石家庄|21:29|21:32|**3分钟**||6|北京西终点|22:32|—|—|---### 小结-该车次共**5个中间停站**不含起点终点停靠时间较短效率较高-商务座票价**¥2,699.5**适合商务出行需求-建议尽早购票商务座余票可能有限 如需进一步操作如登录12306抢票请告诉我 [2026-07-30 14:38:41.056]Answer completed 23.59s[2026-07-30 14:38:41.056]Retrieval: 3265.7 ms,Answers: 42031.24 ms,Total: 58318.13 ms[2026-07-30 14:38:41.056]Tokens in: 33118,Tokens out: 1251,nanbeige4.2-3b-Q8_0 29.76 tokens/s[2026-07-30 14:38:41.056]All done ✅2.3理论速度提示词处理很快但输出稍微慢了些。.\llama-bench-m nanbeige4.2-3b-Q8_0.gguf-ngl-1-fa on-ctk q8_0-ctv q8_0 ggml_cuda_init: found 1 CUDA devices(Total VRAM: 16379 MiB): Device 0: NVIDIA GeForce RTX 4060 Ti,compute capability 8.9,VMM: yes,VRAM: 16379 MiB load_backend: loaded CUDA backendfromD:\AI\llama.cpp\ggml-cuda.dll load_backend: loaded RPC backendfromD:\AI\llama.cpp\ggml-rpc.dll load_backend: loaded CPU backendfromD:\AI\llama.cpp\ggml-cpu-alderlake.dll|model|size|params|backend|ngl|type_k|type_v|fa|test|t/s||----------------|-------:|-----:|-------|--:|-----:|-----:|-:|----:|--------------:||nanbeige ?B Q8_0|4.13 GiB|4.17 B|CUDA|-1|q8_0|q8_0|1|pp512|3666.17 ± 58.56||nanbeige ?B Q8_0|4.13 GiB|4.17 B|CUDA|-1|q8_0|q8_0|1|tg128|34.84 ± 0.01|2.4参数和资源占用在如下启动参数的情况下显存占用11.20.8GB。也就是说虽然文件只有4G多还是必须得12GB显存才装得下。稍做解释参数ctx-size 65536在这个场景下确实需要这么大比如查询多个新闻来源并总结。如果用在RAG的场景下可以适当缩小比如到8092可以节约不少显存。参数reasoning-budget后面那几个不用管它。这个模型根本用不到是给无限重复的模型救场用的。.\llama-server.exe-m D:\AI\llama.cpp\models\nanbeige4.2-3b-Q8_0.gguf--gpu-layers auto--flash-attn on--no-cache-prompt--ctx-size 65536-ctk q8_0-ctv q8_0--reasoning auto--reasoning-preserve--reasoning-format deepseek--reasoning-budget 1024--reasoning-budget-message. I need to stop thinking, and proceed the users request.--offline--threads 4--threads-batch 8--threads-http 6--parallel1--no-cont-batching--no-cache-idle-slots--cache-ram 0--poll 0--load-mode none--no-ui--host 127.0.0.1--port 89992.5小遗憾有时应调用tool时它把调用写成了xml格式直接输出到token中……因官方没有放GGUF文件所以不清楚是转换还是模型自身原因造成的。当然这也不是无解检测到这种输出后可以手动调tool然后把结果再喂给LLM。三总结超高的成功率可以让我放心的用这个4B小模型。在本地资源较为极限的情况下不失为很好的选择……或者说目前唯一的选择哇系姆巴佩补水啦嘘看球……