神农中医药大模型低成本部署完整实战【免费下载链接】Awesome-Chinese-LLM整理开源的中文大语言模型以规模较小、可私有化部署、训练成本较低的模型为主包括底座模型垂直领域微调及应用数据集与教程等。项目地址: https://gitcode.com/GitHub_Trending/aw/Awesome-Chinese-LLM神农大模型ShenNong-TCM-LLM是华东师范大学开源的中医药大模型。它以 70 亿参数的中文底座为基础用 11 万条中医药指令数据做了微调单张消费级显卡就能跑起中药知识问答和处方辅助。 项目亮点速览7B 中文底座自带中文医学知识LoRA 高效微调单张 RTX 3090 可训11 万条中医药指令数据支持 4-bit 量化10GB 显存起步权重与数据均开源私有化友好 中医药大模型部署快速上手部署环境最低要求系统Ubuntu 20.04 及以上 Linux运行时Python 3.8图形驱动CUDA 11.7显存至少 10GB 可用依赖安装与 4-bit 量化加载模型git clone https://gitcode.com/GitHub_Trending/aw/Awesome-Chinese-LLM pip install torch transformers peft accelerate bitsandbytesfrom transformers import AutoTokenizer, AutoModelForCausalLM tokenizer AutoTokenizer.from_pretrained(./ShenNong-TCM-LLM) model AutoModelForCausalLM.from_pretrained( ./ShenNong-TCM-LLM, load_in_4bitTrue, device_mapauto)先克隆代码库再装五个核心依赖。加载时打开 4-bit 量化显存占用降到 10GB 级别的卡就能装下的水平。两组问答快速验证效果问当归的四气五味是什么主要治什么。模型会输出其性味归经、活血调经的定位并提示血热妄行者使用需谨慎。输入患者头晕耳鸣、记忆力减退、夜间失眠。模型给出肾阴阳两虚的辨证方向附右归丸等方剂参考并简述配伍思路。 大模型能力清单与适用场景部署完成后模型能覆盖以下四类工作可按需取用场景说明中药知识检索快速给出单味药的性味归经、功效主治与使用注意方剂配伍辅助根据主诉给出候选方剂并解释配伍原理辨证论治参考梳理四诊信息的推理链辅助辨证规范化记录领域知识库搭建11 万条开源指令可直接作为 RAG 或知识库种子️ 技术路线与训练数据构成这款中医药大模型的路线并不复杂。它从中文优化底座 Chinese-Alpaca-Plus-7B 出发不做从头预训练只在中医方向做 LoRArank16微调。训练语料是 ShenNong_TCM_Dataset以开源中医药知识图谱为骨架调用 ChatGPT 生成 11 万余条指令数据拆分为中药知识模块8,236 条药材信息方剂配伍模块5,641 条处方数据辨证论治模块7,123 条诊断案例这个数据量用单卡即可完成微调训练成本对个人团队来说在可接受范围内。上图展示了神农模型在医学大模型生态中的位置完整清单可参考 README.md。 部署优化与常见坑点硬件建议最低RTX 308010GB或同级显卡推荐RTX 309024GB多轮对话更从容云端AWS、阿里云等主流平台均可承载踩坑速查Q显存不够、模型加载失败 A启用 load_in_4bit 与 device_mapauto即示例代码里的默认配置。Q回答偏泛、缺少中医味 A确认加载的是微调后的权重底座模型没有上过这 11 万条指令数据。Qbitsandbytes 安装报错 A核对驱动与 CUDA 是否匹配 11.7升级后重装 torch 再试。 写在最后部署跑通之后更常见的下一步是把它接进实际的中医业务流。开源的中医药指令集本身已按任务类型整理好可以直接作为 RAG 语料或二次微调的种子数据细节见 中医药指令数据集。【免费下载链接】Awesome-Chinese-LLM整理开源的中文大语言模型以规模较小、可私有化部署、训练成本较低的模型为主包括底座模型垂直领域微调及应用数据集与教程等。项目地址: https://gitcode.com/GitHub_Trending/aw/Awesome-Chinese-LLM创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 神农中医药大模型：低成本部署完整实战
神农中医药大模型低成本部署完整实战【免费下载链接】Awesome-Chinese-LLM整理开源的中文大语言模型以规模较小、可私有化部署、训练成本较低的模型为主包括底座模型垂直领域微调及应用数据集与教程等。项目地址: https://gitcode.com/GitHub_Trending/aw/Awesome-Chinese-LLM神农大模型ShenNong-TCM-LLM是华东师范大学开源的中医药大模型。它以 70 亿参数的中文底座为基础用 11 万条中医药指令数据做了微调单张消费级显卡就能跑起中药知识问答和处方辅助。 项目亮点速览7B 中文底座自带中文医学知识LoRA 高效微调单张 RTX 3090 可训11 万条中医药指令数据支持 4-bit 量化10GB 显存起步权重与数据均开源私有化友好 中医药大模型部署快速上手部署环境最低要求系统Ubuntu 20.04 及以上 Linux运行时Python 3.8图形驱动CUDA 11.7显存至少 10GB 可用依赖安装与 4-bit 量化加载模型git clone https://gitcode.com/GitHub_Trending/aw/Awesome-Chinese-LLM pip install torch transformers peft accelerate bitsandbytesfrom transformers import AutoTokenizer, AutoModelForCausalLM tokenizer AutoTokenizer.from_pretrained(./ShenNong-TCM-LLM) model AutoModelForCausalLM.from_pretrained( ./ShenNong-TCM-LLM, load_in_4bitTrue, device_mapauto)先克隆代码库再装五个核心依赖。加载时打开 4-bit 量化显存占用降到 10GB 级别的卡就能装下的水平。两组问答快速验证效果问当归的四气五味是什么主要治什么。模型会输出其性味归经、活血调经的定位并提示血热妄行者使用需谨慎。输入患者头晕耳鸣、记忆力减退、夜间失眠。模型给出肾阴阳两虚的辨证方向附右归丸等方剂参考并简述配伍思路。 大模型能力清单与适用场景部署完成后模型能覆盖以下四类工作可按需取用场景说明中药知识检索快速给出单味药的性味归经、功效主治与使用注意方剂配伍辅助根据主诉给出候选方剂并解释配伍原理辨证论治参考梳理四诊信息的推理链辅助辨证规范化记录领域知识库搭建11 万条开源指令可直接作为 RAG 或知识库种子️ 技术路线与训练数据构成这款中医药大模型的路线并不复杂。它从中文优化底座 Chinese-Alpaca-Plus-7B 出发不做从头预训练只在中医方向做 LoRArank16微调。训练语料是 ShenNong_TCM_Dataset以开源中医药知识图谱为骨架调用 ChatGPT 生成 11 万余条指令数据拆分为中药知识模块8,236 条药材信息方剂配伍模块5,641 条处方数据辨证论治模块7,123 条诊断案例这个数据量用单卡即可完成微调训练成本对个人团队来说在可接受范围内。上图展示了神农模型在医学大模型生态中的位置完整清单可参考 README.md。 部署优化与常见坑点硬件建议最低RTX 308010GB或同级显卡推荐RTX 309024GB多轮对话更从容云端AWS、阿里云等主流平台均可承载踩坑速查Q显存不够、模型加载失败 A启用 load_in_4bit 与 device_mapauto即示例代码里的默认配置。Q回答偏泛、缺少中医味 A确认加载的是微调后的权重底座模型没有上过这 11 万条指令数据。Qbitsandbytes 安装报错 A核对驱动与 CUDA 是否匹配 11.7升级后重装 torch 再试。 写在最后部署跑通之后更常见的下一步是把它接进实际的中医业务流。开源的中医药指令集本身已按任务类型整理好可以直接作为 RAG 语料或二次微调的种子数据细节见 中医药指令数据集。【免费下载链接】Awesome-Chinese-LLM整理开源的中文大语言模型以规模较小、可私有化部署、训练成本较低的模型为主包括底座模型垂直领域微调及应用数据集与教程等。项目地址: https://gitcode.com/GitHub_Trending/aw/Awesome-Chinese-LLM创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考