granite-4.0-h-350m部署指南Ollama一键部署多语言对话API服务封装想找一个轻量、快速、支持多语言对话的AI模型但又担心部署复杂、资源消耗大今天介绍的Granite-4.0-H-350M模型可能就是你的理想选择。这是一个只有3.5亿参数的“小个子”模型却拥有强大的指令跟随能力支持包括中文在内的12种语言对话。更重要的是通过Ollama你可以像安装一个普通软件一样在几分钟内完成它的部署和启动。这篇文章我将带你从零开始手把手完成Granite-4.0-H-350M的Ollama部署并教你如何将其封装成标准的API服务方便集成到你的应用里。整个过程非常简单即使你之前没接触过模型部署也能轻松跟上。1. 认识Granite-4.0-H-350M轻量级的多语言助手在开始动手之前我们先花几分钟了解一下这个模型的特点知道它能做什么以及为什么选择它。1.1 模型的核心特点Granite-4.0-H-350M是IBM开发的一个轻量级指令模型。它的“轻量”体现在参数规模上——只有3.5亿个参数。这是什么概念呢相比动辄百亿、千亿参数的大模型它就像一个精巧的瑞士军刀虽然功能不是最全的但在特定任务上非常高效而且对硬件要求极低。这个模型是通过对基础模型进行有监督微调和强化学习等技术训练出来的核心能力就是准确理解和执行人类的指令。它最吸引我的几个点是多语言支持原生支持英语、中文、德语、法语、日语等12种语言。这意味着你可以直接用中文和它对话它也能用中文流畅地回答你。指令跟随能力强你让它总结、分类、回答问题它都能很好地执行。资源占用小因为模型小它在普通电脑甚至一些边缘设备上都能流畅运行推理速度也很快。适合微调如果你有特定领域的数据比如法律、医疗、客服对话可以在这个模型的基础上进行微调让它更懂你的业务。1.2 它能帮你做什么这个模型不是万能的但在很多实际场景中非常有用。根据官方介绍它擅长以下任务功能简单解释举个例子摘要把长文章压缩成简短要点帮你快速阅读长篇报告或新闻文本分类判断一段文字属于哪个类别自动给用户反馈分门别类如投诉、咨询、表扬文本提取从文档中找出关键信息从合同里提取甲方、乙方、金额、日期等信息问答根据提供的知识回答问题充当一个智能知识库助手增强检索生成结合外部资料生成更准确的回答先查资料再基于资料内容回答你的问题代码相关任务理解、解释甚至生成简单代码帮你解释一段Python代码是做什么的函数调用理解指令并决定调用哪个工具/函数你让它“查一下北京的天气”它能理解这需要调用天气API多语言对话用不同语言进行日常交流练习外语对话或者处理多语言客服咨询代码补全帮你补全正在编写的代码在写代码时给出智能提示看到这里你应该对这个模型的能力有了基本了解。接下来我们就进入正题看看怎么把它跑起来。2. 环境准备与Ollama快速部署部署Granite-4.0-H-350M我们选择Ollama这个工具。它就像是AI模型的“应用商店”让模型的下载、安装和管理变得像安装手机App一样简单。2.1 第一步安装OllamaOllama支持Windows、macOS和Linux系统。这里以最常用的Linux/macOS命令行方式为例Windows用户可以去官网下载安装包。打开你的终端命令行工具执行下面这一条命令curl -fsSL https://ollama.com/install.sh | sh这条命令会自动下载并安装Ollama。安装完成后你可以通过下面的命令检查是否安装成功ollama --version如果显示了版本号比如ollama version 0.1.xx说明安装成功。安装完成后Ollama服务会自动在后台运行。给Windows用户的小提示如果你在Windows上使用安装完成后Ollama会以系统服务的形式运行。你可以在开始菜单找到“Ollama”并打开它也能在任务栏右下角看到它的图标。2.2 第二步拉取并运行Granite模型Ollama安装好后拉取模型就是一句话的事。在终端里输入ollama run granite4:350m-h第一次运行这个命令时Ollama会自动从云端下载名为granite4:350m-h的模型文件。下载进度会在终端里显示。由于这个模型只有3.5亿参数体积很小下载通常很快取决于你的网速。下载完成后你会直接进入一个交互式对话界面就像下面这样 你好请用中文介绍一下你自己。这时你就可以开始和模型对话了试着用中文问它一个问题比如 用简单的话解释一下什么是人工智能。模型会很快生成回答。你可以继续提问进行多轮对话。要退出对话界面按CtrlD或者输入/bye。到这里核心的部署其实已经完成了是不是比想象中简单模型已经在你本地运行起来了。但如果我们想把它集成到自己的程序里或者提供一个Web界面给别人用还需要做一点额外的工作。3. 将模型封装为API服务Ollama本身提供了一个基础的API但功能比较原始。为了方便其他程序调用我们可以用Python写一个简单的Web服务把Ollama的接口包装成更友好、更标准的RESTful API。3.1 创建API服务项目首先创建一个新的文件夹来存放我们的项目文件mkdir granite-api-service cd granite-api-service然后创建一个Python虚拟环境这能避免包版本冲突并安装必要的库# 创建虚拟环境Python 3.8 python -m venv venv # 激活虚拟环境 # Linux/macOS: source venv/bin/activate # Windows: # venv\Scripts\activate # 安装依赖库 pip install fastapi uvicorn requests我们主要用到了三个库FastAPI一个现代、快速的Web框架用于构建API。Uvicorn一个轻量级的ASGI服务器用来运行我们的FastAPI应用。Requests用来向Ollama的后台接口发送请求。3.2 编写核心API代码在项目文件夹里创建一个名为main.py的文件然后把下面的代码复制进去from fastapi import FastAPI, HTTPException from pydantic import BaseModel from typing import Optional import requests import json # 初始化FastAPI应用 app FastAPI(titleGranite-4.0-H-350M API Service, description基于Ollama的轻量级多语言模型API封装) # 定义请求体的数据模型 class ChatRequest(BaseModel): 聊天请求模型 prompt: str # 用户输入的提示词 model: str granite4:350m-h # 默认使用我们的模型也可以指定其他Ollama模型 stream: bool False # 是否流式输出我们这里先做非流式更简单 system: Optional[str] None # 可选的系统指令用于设定模型角色 # 定义响应体的数据模型 class ChatResponse(BaseModel): 聊天响应模型 response: str # 模型的回复内容 model: str # 使用的模型名称 total_duration: Optional[int] None # 总耗时毫秒 # Ollama API的基础地址默认运行在本地的11434端口 OLLAMA_BASE_URL http://localhost:11434 app.get(/) async def root(): 根路径返回服务信息 return { service: Granite-4.0-H-350M API, status: running, endpoints: { chat: /api/v1/chat (POST), models: /api/v1/models (GET) } } app.get(/api/v1/models) async def list_models(): 获取本地可用的Ollama模型列表 try: response requests.get(f{OLLAMA_BASE_URL}/api/tags) response.raise_for_status() # 如果请求失败状态码不是200抛出异常 return response.json() except requests.exceptions.RequestException as e: raise HTTPException(status_code500, detailf无法连接到Ollama服务: {str(e)}) app.post(/api/v1/chat, response_modelChatResponse) async def chat(chat_request: ChatRequest): 核心聊天接口 接收用户提示调用Ollama生成回复 # 构造发送给Ollama的请求数据 payload { model: chat_request.model, prompt: chat_request.prompt, stream: chat_request.stream, } # 如果有系统指令也加上 if chat_request.system: payload[system] chat_request.system try: # 发送POST请求到Ollama的生成接口 response requests.post( f{OLLAMA_BASE_URL}/api/generate, jsonpayload, timeout60 # 设置60秒超时 ) response.raise_for_status() # 解析Ollama返回的JSON数据 result response.json() # 返回我们定义好的响应格式 return ChatResponse( responseresult.get(response, ), modelresult.get(model, chat_request.model), total_durationresult.get(total_duration) ) except requests.exceptions.Timeout: raise HTTPException(status_code504, detail模型响应超时请稍后重试或简化提示词。) except requests.exceptions.RequestException as e: raise HTTPException(status_code502, detailf调用Ollama服务失败: {str(e)}) except (KeyError, json.JSONDecodeError) as e: raise HTTPException(status_code500, detailf解析Ollama响应时出错: {str(e)}) if __name__ __main__: import uvicorn # 启动服务运行在8000端口允许外部访问host0.0.0.0 uvicorn.run(app, host0.0.0.0, port8000)这段代码做了几件事定义了两个主要的API接口一个用来列出本地模型 (/api/v1/models)一个用来聊天 (/api/v1/chat)。聊天接口接收用户的问题 (prompt)转发给本机运行的Ollama服务。将Ollama返回的结果重新整理成更规范的格式再返回给调用者。添加了错误处理比如网络超时、服务不可用等情况会返回明确的错误信息。3.3 启动API服务并测试确保Ollama服务正在后台运行安装后默认就是运行的。然后在我们项目的终端里运行python main.py你会看到类似下面的输出说明服务启动成功了INFO: Started server process [12345] INFO: Waiting for application startup. INFO: Application startup complete. INFO: Uvicorn running on http://0.0.0.0:8000 (Press CTRLC to quit)现在打开你的浏览器访问http://localhost:8000你会看到一个简单的JSON页面显示服务正在运行。更专业的测试方法是使用curl命令或者API测试工具如Postman。打开另一个终端窗口用curl测试聊天接口curl -X POST http://localhost:8000/api/v1/chat \ -H Content-Type: application/json \ -d { prompt: 请用中文写一首关于春天的五言绝句。, model: granite4:350m-h }如果一切正常你会很快收到一个JSON格式的回复里面包含了模型生成的诗歌。你也可以测试多语言能力比如用英文提问curl -X POST http://localhost:8000/api/v1/chat \ -H Content-Type: application/json \ -d { prompt: Explain the concept of machine learning in simple terms., model: granite4:350m-h }4. 进阶使用与实用技巧基本的API服务搭建好了但要让它在实际项目中更好用我们还可以做一些优化。4.1 为模型设定系统角色有时候我们希望模型以特定的身份或风格来回答问题。比如让它扮演一个专业的客服或者一个幽默的朋友。这可以通过system参数来实现。修改你的请求加入system指令curl -X POST http://localhost:8000/api/v1/chat \ -H Content-Type: application/json \ -d { prompt: 用户说产品太难用了想退款。, model: granite4:350m-h, system: 你是一个专业、耐心、以用户为中心的客服助手。你的目标是安抚用户情绪了解具体问题并提供解决方案尽量避免直接退款。请用中文回复。 }你会发现模型的回复语气和内容会变得更加“客服化”它会尝试安抚情绪并询问具体问题而不是直接同意退款。4.2 在Python项目中调用API现在我们的模型有了标准的HTTP API就可以很方便地被其他Python程序集成。下面是一个简单的调用示例import requests api_url http://localhost:8000/api/v1/chat def ask_granite(question, system_promptNone): 一个简单的函数用于向Granite模型提问 payload { prompt: question, model: granite4:350m-h, stream: False } if system_prompt: payload[system] system_prompt try: response requests.post(api_url, jsonpayload, timeout30) response.raise_for_status() data response.json() return data.get(response, 抱歉我没有得到回复。) except Exception as e: return f请求出错: {e} # 示例1普通问答 answer ask_granite(Python中的列表和元组有什么区别) print(回答, answer) # 示例2带角色设定的问答 customer_service_answer ask_granite( 我的订单已经三天了还没发货怎么回事, system_prompt你是一个电商平台的客服机器人礼貌、高效致力于解决用户问题。请先道歉然后询问订单号以便查询。 ) print(客服回答, customer_service_answer)4.3 处理常见问题在部署和使用过程中你可能会遇到一些小问题这里列出几个常见的Ollama服务没启动症状API服务返回“无法连接到Ollama服务”。解决打开终端运行ollama serve来启动Ollama后台服务。或者重启Ollama应用Windows/macOS。模型没下载症状Ollama返回错误提示找不到模型granite4:350m-h。解决确保你之前成功运行过ollama run granite4:350m-h来拉取模型。也可以运行ollama pull granite4:350m-h专门拉取。端口冲突症状启动python main.py时提示端口8000被占用。解决修改main.py文件最后一行将port8000改为其他端口比如port8080。响应速度慢症状第一次提问或长时间不提问后第一次提问响应很慢。解决这是正常的模型需要加载到内存。后续的对话会快很多。你也可以在启动Ollama时预加载模型ollama run granite4:350m-h之后先别退出让模型保持在内存中。5. 总结通过这篇指南我们完成了从零部署Granite-4.0-H-350M模型到将其封装为可用API服务的全过程。我们来简单回顾一下模型选择Granite-4.0-H-350M是一个轻量、高效、支持多语言包括中文的指令模型非常适合本地部署和轻量级应用。极简部署使用Ollama工具一行命令ollama run granite4:350m-h就完成了模型的下载和运行堪称最简单的大模型部署方式。服务封装我们编写了一个简单的FastAPI应用将Ollama的原生接口包装成了标准的RESTful API/api/v1/chat这使得任何能发送HTTP请求的程序Web前端、移动App、其他后端服务都能方便地调用这个模型。进阶使用通过system参数可以轻松设定模型的角色和行为风格极大地扩展了模型的适用场景。这个方案最大的优势就是“简单”和“轻量”。你不需要昂贵的GPU不需要复杂的深度学习环境配置在普通的开发机甚至笔记本电脑上就能跑起来一个可用的AI对话服务。无论是用于学习研究、开发原型还是集成到对响应速度要求不高但需要多语言支持的应用中都是一个非常不错的选择。下一步你可以尝试用这个API服务搭建一个简单的聊天网页。尝试用不同的system指令让模型扮演更多角色翻译官、代码审查员、创意写手等。如果你有特定领域的数据可以研究如何用Ollama提供的工具对这个模型进行微调让它更专业。希望这篇指南能帮你快速上手这个有趣的轻量级模型。动手试试吧感受一下在本地运行AI对话服务的乐趣。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
granite-4.0-h-350m部署指南：Ollama一键部署+多语言对话+API服务封装
发布时间：2026/6/24 8:43:03
granite-4.0-h-350m部署指南Ollama一键部署多语言对话API服务封装想找一个轻量、快速、支持多语言对话的AI模型但又担心部署复杂、资源消耗大今天介绍的Granite-4.0-H-350M模型可能就是你的理想选择。这是一个只有3.5亿参数的“小个子”模型却拥有强大的指令跟随能力支持包括中文在内的12种语言对话。更重要的是通过Ollama你可以像安装一个普通软件一样在几分钟内完成它的部署和启动。这篇文章我将带你从零开始手把手完成Granite-4.0-H-350M的Ollama部署并教你如何将其封装成标准的API服务方便集成到你的应用里。整个过程非常简单即使你之前没接触过模型部署也能轻松跟上。1. 认识Granite-4.0-H-350M轻量级的多语言助手在开始动手之前我们先花几分钟了解一下这个模型的特点知道它能做什么以及为什么选择它。1.1 模型的核心特点Granite-4.0-H-350M是IBM开发的一个轻量级指令模型。它的“轻量”体现在参数规模上——只有3.5亿个参数。这是什么概念呢相比动辄百亿、千亿参数的大模型它就像一个精巧的瑞士军刀虽然功能不是最全的但在特定任务上非常高效而且对硬件要求极低。这个模型是通过对基础模型进行有监督微调和强化学习等技术训练出来的核心能力就是准确理解和执行人类的指令。它最吸引我的几个点是多语言支持原生支持英语、中文、德语、法语、日语等12种语言。这意味着你可以直接用中文和它对话它也能用中文流畅地回答你。指令跟随能力强你让它总结、分类、回答问题它都能很好地执行。资源占用小因为模型小它在普通电脑甚至一些边缘设备上都能流畅运行推理速度也很快。适合微调如果你有特定领域的数据比如法律、医疗、客服对话可以在这个模型的基础上进行微调让它更懂你的业务。1.2 它能帮你做什么这个模型不是万能的但在很多实际场景中非常有用。根据官方介绍它擅长以下任务功能简单解释举个例子摘要把长文章压缩成简短要点帮你快速阅读长篇报告或新闻文本分类判断一段文字属于哪个类别自动给用户反馈分门别类如投诉、咨询、表扬文本提取从文档中找出关键信息从合同里提取甲方、乙方、金额、日期等信息问答根据提供的知识回答问题充当一个智能知识库助手增强检索生成结合外部资料生成更准确的回答先查资料再基于资料内容回答你的问题代码相关任务理解、解释甚至生成简单代码帮你解释一段Python代码是做什么的函数调用理解指令并决定调用哪个工具/函数你让它“查一下北京的天气”它能理解这需要调用天气API多语言对话用不同语言进行日常交流练习外语对话或者处理多语言客服咨询代码补全帮你补全正在编写的代码在写代码时给出智能提示看到这里你应该对这个模型的能力有了基本了解。接下来我们就进入正题看看怎么把它跑起来。2. 环境准备与Ollama快速部署部署Granite-4.0-H-350M我们选择Ollama这个工具。它就像是AI模型的“应用商店”让模型的下载、安装和管理变得像安装手机App一样简单。2.1 第一步安装OllamaOllama支持Windows、macOS和Linux系统。这里以最常用的Linux/macOS命令行方式为例Windows用户可以去官网下载安装包。打开你的终端命令行工具执行下面这一条命令curl -fsSL https://ollama.com/install.sh | sh这条命令会自动下载并安装Ollama。安装完成后你可以通过下面的命令检查是否安装成功ollama --version如果显示了版本号比如ollama version 0.1.xx说明安装成功。安装完成后Ollama服务会自动在后台运行。给Windows用户的小提示如果你在Windows上使用安装完成后Ollama会以系统服务的形式运行。你可以在开始菜单找到“Ollama”并打开它也能在任务栏右下角看到它的图标。2.2 第二步拉取并运行Granite模型Ollama安装好后拉取模型就是一句话的事。在终端里输入ollama run granite4:350m-h第一次运行这个命令时Ollama会自动从云端下载名为granite4:350m-h的模型文件。下载进度会在终端里显示。由于这个模型只有3.5亿参数体积很小下载通常很快取决于你的网速。下载完成后你会直接进入一个交互式对话界面就像下面这样 你好请用中文介绍一下你自己。这时你就可以开始和模型对话了试着用中文问它一个问题比如 用简单的话解释一下什么是人工智能。模型会很快生成回答。你可以继续提问进行多轮对话。要退出对话界面按CtrlD或者输入/bye。到这里核心的部署其实已经完成了是不是比想象中简单模型已经在你本地运行起来了。但如果我们想把它集成到自己的程序里或者提供一个Web界面给别人用还需要做一点额外的工作。3. 将模型封装为API服务Ollama本身提供了一个基础的API但功能比较原始。为了方便其他程序调用我们可以用Python写一个简单的Web服务把Ollama的接口包装成更友好、更标准的RESTful API。3.1 创建API服务项目首先创建一个新的文件夹来存放我们的项目文件mkdir granite-api-service cd granite-api-service然后创建一个Python虚拟环境这能避免包版本冲突并安装必要的库# 创建虚拟环境Python 3.8 python -m venv venv # 激活虚拟环境 # Linux/macOS: source venv/bin/activate # Windows: # venv\Scripts\activate # 安装依赖库 pip install fastapi uvicorn requests我们主要用到了三个库FastAPI一个现代、快速的Web框架用于构建API。Uvicorn一个轻量级的ASGI服务器用来运行我们的FastAPI应用。Requests用来向Ollama的后台接口发送请求。3.2 编写核心API代码在项目文件夹里创建一个名为main.py的文件然后把下面的代码复制进去from fastapi import FastAPI, HTTPException from pydantic import BaseModel from typing import Optional import requests import json # 初始化FastAPI应用 app FastAPI(titleGranite-4.0-H-350M API Service, description基于Ollama的轻量级多语言模型API封装) # 定义请求体的数据模型 class ChatRequest(BaseModel): 聊天请求模型 prompt: str # 用户输入的提示词 model: str granite4:350m-h # 默认使用我们的模型也可以指定其他Ollama模型 stream: bool False # 是否流式输出我们这里先做非流式更简单 system: Optional[str] None # 可选的系统指令用于设定模型角色 # 定义响应体的数据模型 class ChatResponse(BaseModel): 聊天响应模型 response: str # 模型的回复内容 model: str # 使用的模型名称 total_duration: Optional[int] None # 总耗时毫秒 # Ollama API的基础地址默认运行在本地的11434端口 OLLAMA_BASE_URL http://localhost:11434 app.get(/) async def root(): 根路径返回服务信息 return { service: Granite-4.0-H-350M API, status: running, endpoints: { chat: /api/v1/chat (POST), models: /api/v1/models (GET) } } app.get(/api/v1/models) async def list_models(): 获取本地可用的Ollama模型列表 try: response requests.get(f{OLLAMA_BASE_URL}/api/tags) response.raise_for_status() # 如果请求失败状态码不是200抛出异常 return response.json() except requests.exceptions.RequestException as e: raise HTTPException(status_code500, detailf无法连接到Ollama服务: {str(e)}) app.post(/api/v1/chat, response_modelChatResponse) async def chat(chat_request: ChatRequest): 核心聊天接口 接收用户提示调用Ollama生成回复 # 构造发送给Ollama的请求数据 payload { model: chat_request.model, prompt: chat_request.prompt, stream: chat_request.stream, } # 如果有系统指令也加上 if chat_request.system: payload[system] chat_request.system try: # 发送POST请求到Ollama的生成接口 response requests.post( f{OLLAMA_BASE_URL}/api/generate, jsonpayload, timeout60 # 设置60秒超时 ) response.raise_for_status() # 解析Ollama返回的JSON数据 result response.json() # 返回我们定义好的响应格式 return ChatResponse( responseresult.get(response, ), modelresult.get(model, chat_request.model), total_durationresult.get(total_duration) ) except requests.exceptions.Timeout: raise HTTPException(status_code504, detail模型响应超时请稍后重试或简化提示词。) except requests.exceptions.RequestException as e: raise HTTPException(status_code502, detailf调用Ollama服务失败: {str(e)}) except (KeyError, json.JSONDecodeError) as e: raise HTTPException(status_code500, detailf解析Ollama响应时出错: {str(e)}) if __name__ __main__: import uvicorn # 启动服务运行在8000端口允许外部访问host0.0.0.0 uvicorn.run(app, host0.0.0.0, port8000)这段代码做了几件事定义了两个主要的API接口一个用来列出本地模型 (/api/v1/models)一个用来聊天 (/api/v1/chat)。聊天接口接收用户的问题 (prompt)转发给本机运行的Ollama服务。将Ollama返回的结果重新整理成更规范的格式再返回给调用者。添加了错误处理比如网络超时、服务不可用等情况会返回明确的错误信息。3.3 启动API服务并测试确保Ollama服务正在后台运行安装后默认就是运行的。然后在我们项目的终端里运行python main.py你会看到类似下面的输出说明服务启动成功了INFO: Started server process [12345] INFO: Waiting for application startup. INFO: Application startup complete. INFO: Uvicorn running on http://0.0.0.0:8000 (Press CTRLC to quit)现在打开你的浏览器访问http://localhost:8000你会看到一个简单的JSON页面显示服务正在运行。更专业的测试方法是使用curl命令或者API测试工具如Postman。打开另一个终端窗口用curl测试聊天接口curl -X POST http://localhost:8000/api/v1/chat \ -H Content-Type: application/json \ -d { prompt: 请用中文写一首关于春天的五言绝句。, model: granite4:350m-h }如果一切正常你会很快收到一个JSON格式的回复里面包含了模型生成的诗歌。你也可以测试多语言能力比如用英文提问curl -X POST http://localhost:8000/api/v1/chat \ -H Content-Type: application/json \ -d { prompt: Explain the concept of machine learning in simple terms., model: granite4:350m-h }4. 进阶使用与实用技巧基本的API服务搭建好了但要让它在实际项目中更好用我们还可以做一些优化。4.1 为模型设定系统角色有时候我们希望模型以特定的身份或风格来回答问题。比如让它扮演一个专业的客服或者一个幽默的朋友。这可以通过system参数来实现。修改你的请求加入system指令curl -X POST http://localhost:8000/api/v1/chat \ -H Content-Type: application/json \ -d { prompt: 用户说产品太难用了想退款。, model: granite4:350m-h, system: 你是一个专业、耐心、以用户为中心的客服助手。你的目标是安抚用户情绪了解具体问题并提供解决方案尽量避免直接退款。请用中文回复。 }你会发现模型的回复语气和内容会变得更加“客服化”它会尝试安抚情绪并询问具体问题而不是直接同意退款。4.2 在Python项目中调用API现在我们的模型有了标准的HTTP API就可以很方便地被其他Python程序集成。下面是一个简单的调用示例import requests api_url http://localhost:8000/api/v1/chat def ask_granite(question, system_promptNone): 一个简单的函数用于向Granite模型提问 payload { prompt: question, model: granite4:350m-h, stream: False } if system_prompt: payload[system] system_prompt try: response requests.post(api_url, jsonpayload, timeout30) response.raise_for_status() data response.json() return data.get(response, 抱歉我没有得到回复。) except Exception as e: return f请求出错: {e} # 示例1普通问答 answer ask_granite(Python中的列表和元组有什么区别) print(回答, answer) # 示例2带角色设定的问答 customer_service_answer ask_granite( 我的订单已经三天了还没发货怎么回事, system_prompt你是一个电商平台的客服机器人礼貌、高效致力于解决用户问题。请先道歉然后询问订单号以便查询。 ) print(客服回答, customer_service_answer)4.3 处理常见问题在部署和使用过程中你可能会遇到一些小问题这里列出几个常见的Ollama服务没启动症状API服务返回“无法连接到Ollama服务”。解决打开终端运行ollama serve来启动Ollama后台服务。或者重启Ollama应用Windows/macOS。模型没下载症状Ollama返回错误提示找不到模型granite4:350m-h。解决确保你之前成功运行过ollama run granite4:350m-h来拉取模型。也可以运行ollama pull granite4:350m-h专门拉取。端口冲突症状启动python main.py时提示端口8000被占用。解决修改main.py文件最后一行将port8000改为其他端口比如port8080。响应速度慢症状第一次提问或长时间不提问后第一次提问响应很慢。解决这是正常的模型需要加载到内存。后续的对话会快很多。你也可以在启动Ollama时预加载模型ollama run granite4:350m-h之后先别退出让模型保持在内存中。5. 总结通过这篇指南我们完成了从零部署Granite-4.0-H-350M模型到将其封装为可用API服务的全过程。我们来简单回顾一下模型选择Granite-4.0-H-350M是一个轻量、高效、支持多语言包括中文的指令模型非常适合本地部署和轻量级应用。极简部署使用Ollama工具一行命令ollama run granite4:350m-h就完成了模型的下载和运行堪称最简单的大模型部署方式。服务封装我们编写了一个简单的FastAPI应用将Ollama的原生接口包装成了标准的RESTful API/api/v1/chat这使得任何能发送HTTP请求的程序Web前端、移动App、其他后端服务都能方便地调用这个模型。进阶使用通过system参数可以轻松设定模型的角色和行为风格极大地扩展了模型的适用场景。这个方案最大的优势就是“简单”和“轻量”。你不需要昂贵的GPU不需要复杂的深度学习环境配置在普通的开发机甚至笔记本电脑上就能跑起来一个可用的AI对话服务。无论是用于学习研究、开发原型还是集成到对响应速度要求不高但需要多语言支持的应用中都是一个非常不错的选择。下一步你可以尝试用这个API服务搭建一个简单的聊天网页。尝试用不同的system指令让模型扮演更多角色翻译官、代码审查员、创意写手等。如果你有特定领域的数据可以研究如何用Ollama提供的工具对这个模型进行微调让它更专业。希望这篇指南能帮你快速上手这个有趣的轻量级模型。动手试试吧感受一下在本地运行AI对话服务的乐趣。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
