Phi-3-Mini-128K保姆级教程：Streamlit界面二次开发与API服务暴露

Phi-3-Mini-128K保姆级教程Streamlit界面二次开发与API服务暴露1. 项目概述Phi-3-Mini-128K是基于微软Phi-3-mini-128k-instruct模型开发的轻量化对话工具专为本地部署和高效推理而设计。这个工具解决了手动处理对话格式、显存占用高以及多轮对话记忆等常见问题让开发者能够轻松体验Phi-3系列模型的强大能力。1.1 核心特性显存优化采用bfloat16半精度加载仅需7-8GB显存简化对话处理内置transformers.pipeline自动处理对话格式超长上下文原生支持128K上下文窗口多轮对话记忆基于Streamlit session_state维护完整对话历史友好界面仿ChatGPT风格的交互设计本地运行无需网络依赖普通GPU电脑即可运行2. 环境准备与安装2.1 硬件要求GPUNVIDIA显卡显存≥8GB内存建议≥16GB存储至少10GB可用空间2.2 软件依赖安装# 创建并激活虚拟环境 python -m venv phi3_env source phi3_env/bin/activate # Linux/Mac # phi3_env\Scripts\activate # Windows # 安装核心依赖 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 pip install transformers streamlit2.3 模型下载from transformers import AutoModelForCausalLM, AutoTokenizer model_name microsoft/Phi-3-mini-128k-instruct tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForCausalLM.from_pretrained( model_name, torch_dtypetorch.bfloat16, device_mapauto )3. 基础使用教程3.1 启动Streamlit界面创建一个名为app.py的文件添加以下基础代码import streamlit as st from transformers import pipeline # 初始化对话管道 st.cache_resource def load_model(): return pipeline( text-generation, modelmicrosoft/Phi-3-mini-128k-instruct, torch_dtypetorch.bfloat16, device_mapauto ) st.title(Phi-3 Mini 128K Chat)3.2 运行应用streamlit run app.py启动后终端会显示访问地址通常是http://localhost:8501在浏览器中打开即可。4. 界面二次开发指南4.1 增强聊天界面# 在app.py中添加聊天界面逻辑 if messages not in st.session_state: st.session_state.messages [] # 显示历史消息 for message in st.session_state.messages: with st.chat_message(message[role]): st.markdown(message[content]) # 处理用户输入 if prompt : st.chat_input(请输入您的问题): st.session_state.messages.append({role: user, content: prompt}) with st.chat_message(user): st.markdown(prompt) # 显示助手回复 with st.chat_message(assistant): message_placeholder st.empty() full_response # 调用模型生成回复 for response in pipe( prompt, max_length128000, do_sampleTrue, temperature0.7, top_p0.9, streamTrue ): full_response response[0][generated_text] message_placeholder.markdown(full_response ▌) message_placeholder.markdown(full_response) st.session_state.messages.append({role: assistant, content: full_response})4.2 添加实用功能组件# 侧边栏设置 with st.sidebar: st.header(参数设置) temperature st.slider(Temperature, 0.1, 1.0, 0.7) max_length st.slider(最大长度, 100, 128000, 2048) if st.button(清空对话历史): st.session_state.messages [] st.rerun()5. API服务暴露方案5.1 使用FastAPI创建API服务创建一个新的文件api.pyfrom fastapi import FastAPI from pydantic import BaseModel app FastAPI() class ChatRequest(BaseModel): prompt: str max_length: int 2048 temperature: float 0.7 app.post(/chat) async def chat_endpoint(request: ChatRequest): response pipe( request.prompt, max_lengthrequest.max_length, temperaturerequest.temperature, do_sampleTrue ) return {response: response[0][generated_text]}5.2 启动API服务uvicorn api:app --reload5.3 API调用示例import requests response requests.post( http://localhost:8000/chat, json{prompt: 解释量子计算的基本原理} ) print(response.json())6. 高级功能扩展6.1 添加文件上传功能# 在app.py中添加文件上传处理 uploaded_file st.file_uploader(上传文件, type[txt, pdf]) if uploaded_file: text uploaded_file.read().decode(utf-8) st.session_state.messages.append({role: user, content: f请分析以下文档\n{text}})6.2 实现代码执行功能# 添加代码执行能力需谨慎使用 if 帮我运行这段代码 in prompt: try: exec(prompt.split()[1]) response 代码执行成功 except Exception as e: response f执行出错{str(e)}7. 常见问题解决7.1 模型加载失败问题显存不足导致加载失败解决方案降低模型精度使用torch_dtypetorch.float16启用CPU卸载添加device_mapauto参数7.2 响应速度慢优化建议限制max_length参数使用streamFalse关闭流式输出升级硬件配置7.3 多轮对话混乱修复方法确保正确维护session_state.messages检查对话历史是否包含完整上下文8. 总结与下一步通过本教程您已经学会了如何部署Phi-3-Mini-128K模型开发Streamlit聊天界面暴露API服务扩展高级功能下一步建议尝试集成更多文件类型支持探索模型微调可能性优化界面用户体验获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。