Phi-3 Forest Lab步骤详解从HuggingFace模型加载到Streamlit封装1. 引言为什么需要这个项目如果你对AI对话模型感兴趣可能已经体验过ChatGPT、Claude或者国内的文心一言。这些在线服务很方便但有时候你会想能不能有一个完全属于我自己的对话助手它运行在我的电脑上界面好看反应迅速而且完全免费。这就是Phi-3 Forest Lab诞生的原因。它不是一个复杂的AI平台而是一个极简、优雅、可私有化部署的对话终端。核心很简单把微软强大的Phi-3 Mini模型从HuggingFace下载下来然后用Streamlit给它做一个漂亮的“外壳”让你能像聊天一样使用它。这篇文章我会带你一步步把这个项目搭建起来。从零开始从下载模型到运行界面整个过程清晰明了。即使你之前没怎么接触过AI模型部署跟着做也能成功。2. 项目核心认识Phi-3 Mini模型在动手之前我们先花几分钟了解一下项目的“大脑”——微软的Phi-3 Mini模型。知道它的厉害之处你才会明白为什么值得花时间部署它。2.1 小身材大智慧Phi-3 Mini是一个“小模型”这里的“小”指的是参数量只有38亿个。听起来很多但在动辄千亿、万亿参数的大模型世界里它确实算小巧玲珑。但别被“小”字骗了。这个小家伙在多项标准测试中比如逻辑推理、代码编写和数学解题表现可以媲美一些参数量大它十倍的模型。这就像一辆小排量的跑车通过精密的调校跑出了大排量的速度。2.2 惊人的“记忆力”模型处理文本时有一个关键指标叫“上下文长度”你可以理解为它的“短期记忆”有多长。很多模型只能记住几千个单词的对话内容。Phi-3 Mini支持128K的上下文长度。这意味着什么你可以把一整本《小王子》大约2万个单词喂给它然后和它讨论书里的细节它完全能记住。对于分析长文档、编写长代码或者进行深度连续对话这个能力非常实用。2.3 为什么选择它来本地部署硬件要求亲民因为它小所以对显卡的要求不高。一张消费级的RTX 3090或4090显卡就能让它跑得飞快甚至用CPU也能勉强运行只是慢一些。这大大降低了个人部署的门槛。响应速度快参数量小意味着计算量小生成回答几乎是“秒回”体验非常流畅。逻辑能力强它的训练数据质量很高擅长遵循指令和进行逻辑推理回答比较严谨不那么容易“胡说八道”。了解了这些我们就知道我们是在为一个既强大又高效的“大脑”制作一个好看的“交互界面”。3. 环境准备与项目初始化好了理论部分结束我们开始动手。首先确保你的电脑已经准备好了基础环境。3.1 检查Python环境这个项目基于Python所以你需要先安装Python。建议使用Python 3.8到3.10的版本稳定性最好。打开你的终端Windows上是CMD或PowerShellMac/Linux上是Terminal输入以下命令检查python --version # 或者 python3 --version如果显示了版本号比如Python 3.9.13说明已经安装。如果没有你需要去Python官网下载并安装。3.2 创建项目文件夹并安装依赖找一个你喜欢的位置创建一个新的文件夹比如叫做phi3-forest-lab。然后在这个文件夹里我们创建一个最重要的文件requirements.txt。这个文件里列出了项目运行需要的所有Python库。用记事本或任何代码编辑器创建这个文件内容如下streamlit1.28.0 transformers4.35.0 torch2.0.0 accelerate0.24.0 sentencepiece protobuf这些库都是干什么的streamlit用来制作我们那个漂亮网页界面的工具。transformersHuggingFace公司的核心库专门用来加载和运行各种AI模型我们的Phi-3就靠它。torchPyTorch一个主流的深度学习框架是模型运行的“发动机”。accelerate一个帮助优化模型加载和运行的库能让过程更顺畅。sentencepiece和protobuf是模型处理文本时需要的两个辅助工具。保存好requirements.txt后在终端里进入你的项目文件夹然后运行安装命令# 进入你的项目文件夹例如 cd /path/to/your/phi3-forest-lab # 安装所有依赖库 pip install -r requirements.txt这个过程可能会花几分钟因为它要下载不少东西。请耐心等待直到所有安装都顺利完成。4. 核心步骤一从HuggingFace加载模型环境准备好了现在进入最核心的一步把Phi-3 Mini模型“请”到我们的电脑里。4.1 编写模型加载脚本我们在项目文件夹里创建一个Python脚本文件命名为load_model.py。这个脚本的任务就是连接HuggingFace下载模型并做好运行准备。将以下代码复制进去# load_model.py from transformers import AutoModelForCausalLM, AutoTokenizer import torch def load_phi3_model(): 从HuggingFace加载Phi-3-mini-128k-instruct模型和分词器。 print( 正在连接森林深处... (正在从HuggingFace加载模型)) # 指定模型在HuggingFace上的名字 model_name microsoft/Phi-3-mini-128k-instruct try: # 加载分词器负责把文字转换成模型能懂的数字 tokenizer AutoTokenizer.from_pretrained(model_name, trust_remote_codeTrue) # 加载模型本身 # torch_dtypetorch.float16 表示用半精度加载节省显存速度也更快 # device_mapauto 让库自动决定把模型放在GPU还是CPU上 model AutoModelForCausalLM.from_pretrained( model_name, torch_dtypetorch.float16, device_mapauto, trust_remote_codeTrue ) print(✅ 模型加载成功智慧之树已扎根。) return model, tokenizer except Exception as e: print(f❌ 模型加载失败: {e}) return None, None if __name__ __main__: # 如果直接运行这个脚本就测试一下加载功能 model, tokenizer load_phi3_model() if model and tokenizer: print(模型和分词器已准备就绪。)代码解释AutoTokenizer.from_pretrained 下载并初始化模型对应的“分词器”。你可以把它理解为一个超级词典负责把你的问题“你好吗”拆分成模型认识的词汇单元[“你”, “好”, “吗”]再转换成数字[123, 456, 789]。AutoModelForCausalLM.from_pretrained 下载模型的核心文件。torch.float16是半精度格式能显著减少模型占用的内存显存让它在消费级显卡上也能跑起来。device_mapauto是个很智能的参数它会自动检测你的电脑有没有GPU显卡有就用GPU没有就用CPU。trust_remote_codeTrue 因为Phi-3模型有一些自定义的代码这个参数允许加载这些代码是必须的。4.2 运行脚本下载模型保存文件后在终端里运行它python load_model.py第一次运行会触发下载。你会看到类似这样的输出并且开始下载文件 正在连接森林深处... (正在从HuggingFace加载模型) Downloading (…) model.safetensors.index.json: 100%|████| 27.3k/27.3k [00:0000:00, 1.17MB/s] Downloading shards: 100%|████████████████████| 8/8 [01:3000:00, 11.33s/it] ... ✅ 模型加载成功智慧之树已扎根。 模型和分词器已准备就绪。重要提示模型文件大约有8GB左右下载时间取决于你的网速。请确保网络连接稳定。模型文件会默认下载到你的用户目录下的.cache/huggingface文件夹里。下载一次后下次运行就不需要再下载了。至此模型的“大脑”已经成功安装到你的本地电脑了。5. 核心步骤二用Streamlit构建治愈系界面模型准备好了但它现在还是个“哑巴”我们需要给它一个能说话、能交互的界面。这就是Streamlit的用武之地。Streamlit能让我们用简单的Python脚本快速生成一个网页应用。5.1 创建主应用文件在项目文件夹里创建另一个Python文件命名为app.py。这将是整个应用的主入口。我们先搭建一个最基础的Streamlit应用框架# app.py import streamlit as st from load_model import load_phi3_model import torch # 设置网页的标题和图标 st.set_page_config( page_titlePhi-3 Forest Lab | 森林晨曦实验室, page_icon, layoutwide ) # 应用标题和介绍 st.title( Phi-3 Forest Laboratory) st.markdown(**“在森林的深处听见智慧的呼吸。”**) st.caption(一个基于微软 Phi-3 Mini 构建的极简主义、治愈系 AI 对话终端。)5.2 设计“森林系”的界面样式Streamlit允许我们注入自定义的CSS代码来改变外观。我们在app.py文件的开头在import语句之后加上下面这段代码来创造灰绿色的渐变背景和圆角气泡效果# 注入自定义CSS打造森林系UI st.markdown( style /* 主背景 - 清晨森林薄雾渐变 */ .stApp { background: linear-gradient(135deg, #f8f9fa 0%, #e9f5db 25%, #d4e6c3 100%); } /* 对话气泡 - 超大圆角微弱阴影 */ .stChatMessage { border-radius: 24px !important; box-shadow: 0 4px 12px rgba(100, 120, 100, 0.08) !important; margin-bottom: 1.5rem; border: 1px solid rgba(180, 200, 180, 0.2); } /* 用户消息气泡样式 */ [data-testidstChatMessage]:has([data-testiduserAvatar]) { background-color: rgba(255, 255, 255, 0.85) !important; } /* AI助手消息气泡样式 */ [data-testidstChatMessage]:has([data-testidassistantAvatar]) { background-color: rgba(235, 245, 235, 0.9) !important; } /* 侧边栏样式 */ section[data-testidstSidebar] { background-color: rgba(248, 249, 250, 0.7); } section[data-testidstSidebar] div { padding-top: 2rem; } /* 输入框样式 */ .stTextInput div div input { border-radius: 20px; border: 1px solid #b8d4b8; } /style , unsafe_allow_htmlTrue)这段代码做了几件事将整个网页背景设置为从浅灰到灰绿色的渐变模拟森林晨曦的感觉。把聊天消息气泡的边角变得非常圆润并添加了淡淡的绿色阴影让它有“悬浮感”。为用户和AI的消息设置了不同的半透明背景色。美化了侧边栏和输入框。5.3 实现侧边栏和会话管理接下来我们在app.py中继续添加代码创建侧边栏用于放设置按钮和会话状态用于记录聊天历史。# 初始化聊天历史。如果还没有就创建一个空列表。 if messages not in st.session_state: st.session_state.messages [] # 在侧边栏添加标题和设置 with st.sidebar: st.header( 森林设置) # 一个滑动条用来控制模型的“创造力”。温度越高回答越随机、有创意温度越低回答越确定、严谨。 temperature st.slider( 温度 (Temperature), min_value0.1, max_value1.0, value0.7, step0.1, help控制回答的随机性。越低越严谨越高越有创意。 ) # 一个按钮点击后可以清空聊天记录 if st.button( 拂去往事, use_container_widthTrue): st.session_state.messages [] st.rerun() # 清空后刷新界面 st.divider() st.caption(模型: Microsoft Phi-3-mini-128k-instruct) st.caption(设计: Forest Mist Aesthetics)代码解释st.session_state是Streamlit提供的“记忆体”刷新页面时里面的数据不会丢失。我们用st.session_state.messages来存储所有的对话记录。st.slider创建了一个滑动条它的值temperature后面会传给模型影响生成文本的风格。st.button创建了一个按钮点击后会把聊天记录清空并刷新页面。5.4 加载模型并显示聊天历史现在我们把之前写好的模型加载函数用上并在主界面显示聊天记录。# 主界面区域 col1, col2 st.columns([3, 1]) with col1: st.subheader(与森林对话) # 加载模型使用缓存避免每次交互都重新加载 st.cache_resource def get_model(): return load_phi3_model() model, tokenizer get_model() # 如果模型加载失败显示错误信息 if model is None or tokenizer is None: st.error(未能加载模型。请检查网络连接或控制台错误信息。) st.stop() # 停止执行后续代码 # 在聊天区域显示历史消息 for message in st.session_state.messages: with st.chat_message(message[role]): st.markdown(message[content])代码解释st.cache_resource是一个“装饰器”它告诉Streamlitget_model()这个函数的结果需要被缓存起来。这样模型只在应用第一次启动时加载一次之后每次用户交互都直接使用缓存好的模型速度极快。st.chat_message是Streamlit专门为聊天应用提供的组件它能根据role是“user”用户还是“assistant”助手自动显示不同的头像和样式。5.5 处理用户输入并生成回复最后也是最关键的部分接收用户的问题传给模型再把模型的回答显示出来。# 显示一个聊天输入框等待用户输入 if prompt : st.chat_input(向森林深处发出你的讯息...): # 1. 把用户的新消息添加到聊天历史并立即显示在界面上 st.session_state.messages.append({role: user, content: prompt}) with st.chat_message(user): st.markdown(prompt) # 2. 准备生成AI的回复 with st.chat_message(assistant): # 创建一个占位符先显示一个加载中的提示 message_placeholder st.empty() message_placeholder.markdown(️ 正在聆听风的声音...) # 3. 将整个对话历史包括用户刚问的问题组合成模型需要的格式 # Phi-3 Instruct模型使用特定的对话格式 conversation [] for msg in st.session_state.messages: if msg[role] user: conversation.append({role: user, content: msg[content]}) else: conversation.append({role: assistant, content: msg[content]}) # 使用分词器将对话格式转换成模型能理解的“令牌”(Tokens) input_text tokenizer.apply_chat_template(conversation, tokenizeFalse, add_generation_promptTrue) inputs tokenizer(input_text, return_tensorspt).to(model.device) # 4. 让模型生成回答 with torch.no_grad(): # 不计算梯度节省内存和计算资源 outputs model.generate( **inputs, max_new_tokens512, # 生成回答的最大长度 temperaturetemperature, # 使用侧边栏设置的温度值 do_sampleTrue, # 启用采样这样温度参数才起作用 top_p0.9, # 核采样参数影响词汇选择范围 ) # 5. 解码模型输出的数字变回我们能读的文字 # 这里需要跳过输入部分只取新生成的部分 input_length inputs.input_ids.shape[1] response tokenizer.decode(outputs[0][input_length:], skip_special_tokensTrue) # 6. 把AI的回答显示出来并更新到聊天历史中 message_placeholder.markdown(response) st.session_state.messages.append({role: assistant, content: response})代码关键点解析st.chat_input 创建一个位于页面底部的聊天输入框。tokenizer.apply_chat_template 这是HuggingFace transformers库为对话模型提供的一个非常方便的功能。它自动将我们[用户助手用户...]格式的对话历史转换成模型训练时所使用的特定对话格式比如|user|\n问题|end|\n|assistant|\n。这确保了模型能最好地理解上下文。model.generate 这是启动模型生成文本的核心函数。我们通过参数控制生成过程max_new_tokens 限制生成回答的长度。temperature 从侧边栏获取控制创造性。do_sampleTrue和top_p0.9 这两个参数一起工作让生成过程不是简单地选概率最高的词而是有一定的随机性使回答更自然。torch.no_grad() 这是一个性能优化。在模型推理生成时我们不需要计算梯度加上这个上下文管理器可以节省大量内存。6. 运行你的Forest Lab所有代码都准备好了现在让我们启动这个属于你自己的AI森林实验室。在终端中确保位于项目目录下然后运行streamlit run app.py几秒钟后你的默认浏览器会自动打开一个新标签页地址是http://localhost:8501也可能是7860或其他端口终端会显示具体地址。你会看到一个充满森林气息的界面左侧是侧边栏可以调节“温度”还有“拂去往事”的按钮。中间是宽阔的聊天区域历史消息会以漂亮的圆角气泡呈现。底部是一个输入框提示你“向森林深处发出你的讯息...”。试着问它一些问题吧比如“用Python写一个快速排序函数。”“给我讲一个关于森林的短故事。”“解释一下量子计算的基本原理。”你会看到它思考时的提示是“️ 正在聆听风的声音...”然后迅速给出一个逻辑清晰、格式工整的回答。7. 总结与扩展思路恭喜你你已经成功地从HuggingFace加载了顶尖的轻量级模型Phi-3 Mini并用Streamlit为它打造了一个极具美感的交互界面。这个过程涵盖了现代AI应用本地化部署的核心流程环境准备 → 模型加载 → 交互封装。7.1 回顾核心步骤环境搭建用requirements.txt一键安装所有依赖这是保证项目可复现的关键。模型加载利用HuggingFacetransformers库几行代码就能下载和初始化庞大的AI模型这是开源生态的力量。界面构建Streamlit让我们能像写脚本一样快速构建交互式Web应用并通过CSS轻松定制视觉风格。对话逻辑理解并实现了与指令微调模型对话的正确格式apply_chat_template以及文本生成的关键参数控制。7.2 你可以尝试的扩展这个基础项目已经可用但还有很大的玩法和改进空间功能增强在侧边栏增加max_new_tokens生成长度、top_p等更多参数的控制滑块让你能更精细地调整模型行为。对话持久化将st.session_state.messages聊天记录保存到本地文件或数据库下次打开应用历史对话还在。模型切换在侧边栏做一个下拉菜单让你可以轻松切换成其他HuggingFace上的轻量模型比如Qwen1.5、Gemma等。部署分享将项目部署到Streamlit Cloud、HuggingFace Spaces或你自己的服务器上生成一个公开链接分享给朋友使用。领域微调如果你有某个垂直领域如法律、医疗、编程的对话数据可以对Phi-3模型进行进一步的微调让它成为你的专业助手。这个“森林实验室”是一个起点。它向你展示了将最前沿的AI能力封装成个人可用的、美观的工具并没有想象中那么复杂。希望你能在此基础上继续探索构建出更多有趣、有用的AI应用。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
Phi-3 Forest Lab步骤详解：从HuggingFace模型加载到Streamlit封装
发布时间：2026/7/29 8:19:28
Phi-3 Forest Lab步骤详解从HuggingFace模型加载到Streamlit封装1. 引言为什么需要这个项目如果你对AI对话模型感兴趣可能已经体验过ChatGPT、Claude或者国内的文心一言。这些在线服务很方便但有时候你会想能不能有一个完全属于我自己的对话助手它运行在我的电脑上界面好看反应迅速而且完全免费。这就是Phi-3 Forest Lab诞生的原因。它不是一个复杂的AI平台而是一个极简、优雅、可私有化部署的对话终端。核心很简单把微软强大的Phi-3 Mini模型从HuggingFace下载下来然后用Streamlit给它做一个漂亮的“外壳”让你能像聊天一样使用它。这篇文章我会带你一步步把这个项目搭建起来。从零开始从下载模型到运行界面整个过程清晰明了。即使你之前没怎么接触过AI模型部署跟着做也能成功。2. 项目核心认识Phi-3 Mini模型在动手之前我们先花几分钟了解一下项目的“大脑”——微软的Phi-3 Mini模型。知道它的厉害之处你才会明白为什么值得花时间部署它。2.1 小身材大智慧Phi-3 Mini是一个“小模型”这里的“小”指的是参数量只有38亿个。听起来很多但在动辄千亿、万亿参数的大模型世界里它确实算小巧玲珑。但别被“小”字骗了。这个小家伙在多项标准测试中比如逻辑推理、代码编写和数学解题表现可以媲美一些参数量大它十倍的模型。这就像一辆小排量的跑车通过精密的调校跑出了大排量的速度。2.2 惊人的“记忆力”模型处理文本时有一个关键指标叫“上下文长度”你可以理解为它的“短期记忆”有多长。很多模型只能记住几千个单词的对话内容。Phi-3 Mini支持128K的上下文长度。这意味着什么你可以把一整本《小王子》大约2万个单词喂给它然后和它讨论书里的细节它完全能记住。对于分析长文档、编写长代码或者进行深度连续对话这个能力非常实用。2.3 为什么选择它来本地部署硬件要求亲民因为它小所以对显卡的要求不高。一张消费级的RTX 3090或4090显卡就能让它跑得飞快甚至用CPU也能勉强运行只是慢一些。这大大降低了个人部署的门槛。响应速度快参数量小意味着计算量小生成回答几乎是“秒回”体验非常流畅。逻辑能力强它的训练数据质量很高擅长遵循指令和进行逻辑推理回答比较严谨不那么容易“胡说八道”。了解了这些我们就知道我们是在为一个既强大又高效的“大脑”制作一个好看的“交互界面”。3. 环境准备与项目初始化好了理论部分结束我们开始动手。首先确保你的电脑已经准备好了基础环境。3.1 检查Python环境这个项目基于Python所以你需要先安装Python。建议使用Python 3.8到3.10的版本稳定性最好。打开你的终端Windows上是CMD或PowerShellMac/Linux上是Terminal输入以下命令检查python --version # 或者 python3 --version如果显示了版本号比如Python 3.9.13说明已经安装。如果没有你需要去Python官网下载并安装。3.2 创建项目文件夹并安装依赖找一个你喜欢的位置创建一个新的文件夹比如叫做phi3-forest-lab。然后在这个文件夹里我们创建一个最重要的文件requirements.txt。这个文件里列出了项目运行需要的所有Python库。用记事本或任何代码编辑器创建这个文件内容如下streamlit1.28.0 transformers4.35.0 torch2.0.0 accelerate0.24.0 sentencepiece protobuf这些库都是干什么的streamlit用来制作我们那个漂亮网页界面的工具。transformersHuggingFace公司的核心库专门用来加载和运行各种AI模型我们的Phi-3就靠它。torchPyTorch一个主流的深度学习框架是模型运行的“发动机”。accelerate一个帮助优化模型加载和运行的库能让过程更顺畅。sentencepiece和protobuf是模型处理文本时需要的两个辅助工具。保存好requirements.txt后在终端里进入你的项目文件夹然后运行安装命令# 进入你的项目文件夹例如 cd /path/to/your/phi3-forest-lab # 安装所有依赖库 pip install -r requirements.txt这个过程可能会花几分钟因为它要下载不少东西。请耐心等待直到所有安装都顺利完成。4. 核心步骤一从HuggingFace加载模型环境准备好了现在进入最核心的一步把Phi-3 Mini模型“请”到我们的电脑里。4.1 编写模型加载脚本我们在项目文件夹里创建一个Python脚本文件命名为load_model.py。这个脚本的任务就是连接HuggingFace下载模型并做好运行准备。将以下代码复制进去# load_model.py from transformers import AutoModelForCausalLM, AutoTokenizer import torch def load_phi3_model(): 从HuggingFace加载Phi-3-mini-128k-instruct模型和分词器。 print( 正在连接森林深处... (正在从HuggingFace加载模型)) # 指定模型在HuggingFace上的名字 model_name microsoft/Phi-3-mini-128k-instruct try: # 加载分词器负责把文字转换成模型能懂的数字 tokenizer AutoTokenizer.from_pretrained(model_name, trust_remote_codeTrue) # 加载模型本身 # torch_dtypetorch.float16 表示用半精度加载节省显存速度也更快 # device_mapauto 让库自动决定把模型放在GPU还是CPU上 model AutoModelForCausalLM.from_pretrained( model_name, torch_dtypetorch.float16, device_mapauto, trust_remote_codeTrue ) print(✅ 模型加载成功智慧之树已扎根。) return model, tokenizer except Exception as e: print(f❌ 模型加载失败: {e}) return None, None if __name__ __main__: # 如果直接运行这个脚本就测试一下加载功能 model, tokenizer load_phi3_model() if model and tokenizer: print(模型和分词器已准备就绪。)代码解释AutoTokenizer.from_pretrained 下载并初始化模型对应的“分词器”。你可以把它理解为一个超级词典负责把你的问题“你好吗”拆分成模型认识的词汇单元[“你”, “好”, “吗”]再转换成数字[123, 456, 789]。AutoModelForCausalLM.from_pretrained 下载模型的核心文件。torch.float16是半精度格式能显著减少模型占用的内存显存让它在消费级显卡上也能跑起来。device_mapauto是个很智能的参数它会自动检测你的电脑有没有GPU显卡有就用GPU没有就用CPU。trust_remote_codeTrue 因为Phi-3模型有一些自定义的代码这个参数允许加载这些代码是必须的。4.2 运行脚本下载模型保存文件后在终端里运行它python load_model.py第一次运行会触发下载。你会看到类似这样的输出并且开始下载文件 正在连接森林深处... (正在从HuggingFace加载模型) Downloading (…) model.safetensors.index.json: 100%|████| 27.3k/27.3k [00:0000:00, 1.17MB/s] Downloading shards: 100%|████████████████████| 8/8 [01:3000:00, 11.33s/it] ... ✅ 模型加载成功智慧之树已扎根。 模型和分词器已准备就绪。重要提示模型文件大约有8GB左右下载时间取决于你的网速。请确保网络连接稳定。模型文件会默认下载到你的用户目录下的.cache/huggingface文件夹里。下载一次后下次运行就不需要再下载了。至此模型的“大脑”已经成功安装到你的本地电脑了。5. 核心步骤二用Streamlit构建治愈系界面模型准备好了但它现在还是个“哑巴”我们需要给它一个能说话、能交互的界面。这就是Streamlit的用武之地。Streamlit能让我们用简单的Python脚本快速生成一个网页应用。5.1 创建主应用文件在项目文件夹里创建另一个Python文件命名为app.py。这将是整个应用的主入口。我们先搭建一个最基础的Streamlit应用框架# app.py import streamlit as st from load_model import load_phi3_model import torch # 设置网页的标题和图标 st.set_page_config( page_titlePhi-3 Forest Lab | 森林晨曦实验室, page_icon, layoutwide ) # 应用标题和介绍 st.title( Phi-3 Forest Laboratory) st.markdown(**“在森林的深处听见智慧的呼吸。”**) st.caption(一个基于微软 Phi-3 Mini 构建的极简主义、治愈系 AI 对话终端。)5.2 设计“森林系”的界面样式Streamlit允许我们注入自定义的CSS代码来改变外观。我们在app.py文件的开头在import语句之后加上下面这段代码来创造灰绿色的渐变背景和圆角气泡效果# 注入自定义CSS打造森林系UI st.markdown( style /* 主背景 - 清晨森林薄雾渐变 */ .stApp { background: linear-gradient(135deg, #f8f9fa 0%, #e9f5db 25%, #d4e6c3 100%); } /* 对话气泡 - 超大圆角微弱阴影 */ .stChatMessage { border-radius: 24px !important; box-shadow: 0 4px 12px rgba(100, 120, 100, 0.08) !important; margin-bottom: 1.5rem; border: 1px solid rgba(180, 200, 180, 0.2); } /* 用户消息气泡样式 */ [data-testidstChatMessage]:has([data-testiduserAvatar]) { background-color: rgba(255, 255, 255, 0.85) !important; } /* AI助手消息气泡样式 */ [data-testidstChatMessage]:has([data-testidassistantAvatar]) { background-color: rgba(235, 245, 235, 0.9) !important; } /* 侧边栏样式 */ section[data-testidstSidebar] { background-color: rgba(248, 249, 250, 0.7); } section[data-testidstSidebar] div { padding-top: 2rem; } /* 输入框样式 */ .stTextInput div div input { border-radius: 20px; border: 1px solid #b8d4b8; } /style , unsafe_allow_htmlTrue)这段代码做了几件事将整个网页背景设置为从浅灰到灰绿色的渐变模拟森林晨曦的感觉。把聊天消息气泡的边角变得非常圆润并添加了淡淡的绿色阴影让它有“悬浮感”。为用户和AI的消息设置了不同的半透明背景色。美化了侧边栏和输入框。5.3 实现侧边栏和会话管理接下来我们在app.py中继续添加代码创建侧边栏用于放设置按钮和会话状态用于记录聊天历史。# 初始化聊天历史。如果还没有就创建一个空列表。 if messages not in st.session_state: st.session_state.messages [] # 在侧边栏添加标题和设置 with st.sidebar: st.header( 森林设置) # 一个滑动条用来控制模型的“创造力”。温度越高回答越随机、有创意温度越低回答越确定、严谨。 temperature st.slider( 温度 (Temperature), min_value0.1, max_value1.0, value0.7, step0.1, help控制回答的随机性。越低越严谨越高越有创意。 ) # 一个按钮点击后可以清空聊天记录 if st.button( 拂去往事, use_container_widthTrue): st.session_state.messages [] st.rerun() # 清空后刷新界面 st.divider() st.caption(模型: Microsoft Phi-3-mini-128k-instruct) st.caption(设计: Forest Mist Aesthetics)代码解释st.session_state是Streamlit提供的“记忆体”刷新页面时里面的数据不会丢失。我们用st.session_state.messages来存储所有的对话记录。st.slider创建了一个滑动条它的值temperature后面会传给模型影响生成文本的风格。st.button创建了一个按钮点击后会把聊天记录清空并刷新页面。5.4 加载模型并显示聊天历史现在我们把之前写好的模型加载函数用上并在主界面显示聊天记录。# 主界面区域 col1, col2 st.columns([3, 1]) with col1: st.subheader(与森林对话) # 加载模型使用缓存避免每次交互都重新加载 st.cache_resource def get_model(): return load_phi3_model() model, tokenizer get_model() # 如果模型加载失败显示错误信息 if model is None or tokenizer is None: st.error(未能加载模型。请检查网络连接或控制台错误信息。) st.stop() # 停止执行后续代码 # 在聊天区域显示历史消息 for message in st.session_state.messages: with st.chat_message(message[role]): st.markdown(message[content])代码解释st.cache_resource是一个“装饰器”它告诉Streamlitget_model()这个函数的结果需要被缓存起来。这样模型只在应用第一次启动时加载一次之后每次用户交互都直接使用缓存好的模型速度极快。st.chat_message是Streamlit专门为聊天应用提供的组件它能根据role是“user”用户还是“assistant”助手自动显示不同的头像和样式。5.5 处理用户输入并生成回复最后也是最关键的部分接收用户的问题传给模型再把模型的回答显示出来。# 显示一个聊天输入框等待用户输入 if prompt : st.chat_input(向森林深处发出你的讯息...): # 1. 把用户的新消息添加到聊天历史并立即显示在界面上 st.session_state.messages.append({role: user, content: prompt}) with st.chat_message(user): st.markdown(prompt) # 2. 准备生成AI的回复 with st.chat_message(assistant): # 创建一个占位符先显示一个加载中的提示 message_placeholder st.empty() message_placeholder.markdown(️ 正在聆听风的声音...) # 3. 将整个对话历史包括用户刚问的问题组合成模型需要的格式 # Phi-3 Instruct模型使用特定的对话格式 conversation [] for msg in st.session_state.messages: if msg[role] user: conversation.append({role: user, content: msg[content]}) else: conversation.append({role: assistant, content: msg[content]}) # 使用分词器将对话格式转换成模型能理解的“令牌”(Tokens) input_text tokenizer.apply_chat_template(conversation, tokenizeFalse, add_generation_promptTrue) inputs tokenizer(input_text, return_tensorspt).to(model.device) # 4. 让模型生成回答 with torch.no_grad(): # 不计算梯度节省内存和计算资源 outputs model.generate( **inputs, max_new_tokens512, # 生成回答的最大长度 temperaturetemperature, # 使用侧边栏设置的温度值 do_sampleTrue, # 启用采样这样温度参数才起作用 top_p0.9, # 核采样参数影响词汇选择范围 ) # 5. 解码模型输出的数字变回我们能读的文字 # 这里需要跳过输入部分只取新生成的部分 input_length inputs.input_ids.shape[1] response tokenizer.decode(outputs[0][input_length:], skip_special_tokensTrue) # 6. 把AI的回答显示出来并更新到聊天历史中 message_placeholder.markdown(response) st.session_state.messages.append({role: assistant, content: response})代码关键点解析st.chat_input 创建一个位于页面底部的聊天输入框。tokenizer.apply_chat_template 这是HuggingFace transformers库为对话模型提供的一个非常方便的功能。它自动将我们[用户助手用户...]格式的对话历史转换成模型训练时所使用的特定对话格式比如|user|\n问题|end|\n|assistant|\n。这确保了模型能最好地理解上下文。model.generate 这是启动模型生成文本的核心函数。我们通过参数控制生成过程max_new_tokens 限制生成回答的长度。temperature 从侧边栏获取控制创造性。do_sampleTrue和top_p0.9 这两个参数一起工作让生成过程不是简单地选概率最高的词而是有一定的随机性使回答更自然。torch.no_grad() 这是一个性能优化。在模型推理生成时我们不需要计算梯度加上这个上下文管理器可以节省大量内存。6. 运行你的Forest Lab所有代码都准备好了现在让我们启动这个属于你自己的AI森林实验室。在终端中确保位于项目目录下然后运行streamlit run app.py几秒钟后你的默认浏览器会自动打开一个新标签页地址是http://localhost:8501也可能是7860或其他端口终端会显示具体地址。你会看到一个充满森林气息的界面左侧是侧边栏可以调节“温度”还有“拂去往事”的按钮。中间是宽阔的聊天区域历史消息会以漂亮的圆角气泡呈现。底部是一个输入框提示你“向森林深处发出你的讯息...”。试着问它一些问题吧比如“用Python写一个快速排序函数。”“给我讲一个关于森林的短故事。”“解释一下量子计算的基本原理。”你会看到它思考时的提示是“️ 正在聆听风的声音...”然后迅速给出一个逻辑清晰、格式工整的回答。7. 总结与扩展思路恭喜你你已经成功地从HuggingFace加载了顶尖的轻量级模型Phi-3 Mini并用Streamlit为它打造了一个极具美感的交互界面。这个过程涵盖了现代AI应用本地化部署的核心流程环境准备 → 模型加载 → 交互封装。7.1 回顾核心步骤环境搭建用requirements.txt一键安装所有依赖这是保证项目可复现的关键。模型加载利用HuggingFacetransformers库几行代码就能下载和初始化庞大的AI模型这是开源生态的力量。界面构建Streamlit让我们能像写脚本一样快速构建交互式Web应用并通过CSS轻松定制视觉风格。对话逻辑理解并实现了与指令微调模型对话的正确格式apply_chat_template以及文本生成的关键参数控制。7.2 你可以尝试的扩展这个基础项目已经可用但还有很大的玩法和改进空间功能增强在侧边栏增加max_new_tokens生成长度、top_p等更多参数的控制滑块让你能更精细地调整模型行为。对话持久化将st.session_state.messages聊天记录保存到本地文件或数据库下次打开应用历史对话还在。模型切换在侧边栏做一个下拉菜单让你可以轻松切换成其他HuggingFace上的轻量模型比如Qwen1.5、Gemma等。部署分享将项目部署到Streamlit Cloud、HuggingFace Spaces或你自己的服务器上生成一个公开链接分享给朋友使用。领域微调如果你有某个垂直领域如法律、医疗、编程的对话数据可以对Phi-3模型进行进一步的微调让它成为你的专业助手。这个“森林实验室”是一个起点。它向你展示了将最前沿的AI能力封装成个人可用的、美观的工具并没有想象中那么复杂。希望你能在此基础上继续探索构建出更多有趣、有用的AI应用。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
