【书生·浦语】internlm2-chat-1.8b部署教程阿里云ECS GPU实例一键部署脚本1. 模型简介与价值InternLM2-Chat-1.8B是上海人工智能实验室推出的第二代书生·浦语系列的18亿参数对话模型。这个模型虽然参数规模不大但在实际使用中表现出色特别适合个人开发者和小型团队快速搭建AI对话应用。这个模型有三个版本可供选择基础版适合需要从头开始训练特定任务的用户SFT版经过监督微调对话能力已经不错完整版经过强化学习优化在指令遵循和聊天体验方面表现最佳推荐大多数用户使用最让人印象深刻的是这个模型支持长达20万字符的上下文意味着它可以处理很长的文档内容在长文本理解和分析任务上表现优异。相比第一代模型它在推理、数学和编程能力上都有显著提升。2. 环境准备与阿里云ECS选择2.1 硬件要求在阿里云ECS上部署InternLM2-Chat-1.8B推荐选择GPU实例最低配置4核CPU16GB内存配备NVIDIA T4显卡16GB显存推荐配置8核CPU32GB内存配备NVIDIA V100或A10显卡32GB显存系统要求Ubuntu 20.04或22.04 LTS版本2.2 阿里云ECS实例选择登录阿里云控制台在ECS实例创建页面选择GPU计算型实例规格族推荐选择ecs.gn7i-c8g1.2xlarge或更高配置系统盘选择100GB以上的高效云盘确保开启自动续费避免服务中断2.3 安全组配置在安全组设置中需要开放以下端口22端口SSH远程连接7860端口Web访问端口如果使用Web界面11434端口Ollama默认服务端口3. 一键部署脚本详解3.1 部署脚本内容以下是完整的部署脚本保存为deploy_internlm2.sh#!/bin/bash # 设置环境变量 export MODEL_NAMEinternlm2:1.8b export OLLAMA_HOST0.0.0.0:11434 echo 开始部署InternLM2-Chat-1.8B模型... # 更新系统包 sudo apt-get update sudo apt-get upgrade -y # 安装基础依赖 sudo apt-get install -y curl wget git build-essential # 安装NVIDIA驱动和CUDA如果尚未安装 if ! command -v nvidia-smi /dev/null; then echo 安装NVIDIA驱动... sudo apt-get install -y nvidia-driver-535 fi # 安装Docker if ! command -v docker /dev/null; then echo 安装Docker... curl -fsSL https://get.docker.com -o get-docker.sh sudo sh get-docker.sh sudo usermod -aG docker $USER fi # 安装Ollama echo 安装Ollama... curl -fsSL https://ollama.ai/install.sh | sh # 启动Ollama服务 sudo systemctl enable ollama sudo systemctl start ollama # 下载InternLM2模型 echo 下载InternLM2-Chat-1.8B模型... ollama pull $MODEL_NAME # 创建启动脚本 cat start_internlm2.sh EOF #!/bin/bash # 启动Ollama服务并加载模型 sudo systemctl start ollama sleep 5 ollama run internlm2:1.8b EOF chmod x start_internlm2.sh echo 部署完成 echo 运行 ./start_internlm2.sh 启动模型服务3.2 脚本执行步骤在阿里云ECS实例上执行以下命令# 上传脚本到服务器 scp deploy_internlm2.sh root你的服务器IP:~ # 登录服务器 ssh root你的服务器IP # 给脚本执行权限 chmod x deploy_internlm2.sh # 运行部署脚本 ./deploy_internlm2.sh整个部署过程大约需要30-60分钟主要时间花费在模型下载上。脚本会自动完成所有依赖安装和环境配置。4. 模型使用与测试4.1 启动模型服务部署完成后使用以下命令启动模型# 直接运行启动脚本 ./start_internlm2.sh # 或者手动启动 ollama run internlm2:1.8b4.2 基本对话测试启动后你可以直接与模型进行对话 你好请介绍一下你自己 我是InternLM2-Chat一个由上海人工智能实验室开发的大语言模型。我基于18亿参数的Transformer架构能够进行自然语言对话、回答问题、提供建议等。我的训练数据涵盖了多个领域的知识但需要注意的是我的知识截止于2024年7月可能无法提供最新的信息。 你能帮我写一段Python代码吗 当然可以请告诉我你需要实现什么功能我会尽力为你编写合适的Python代码。4.3 API接口调用Ollama提供了REST API接口可以通过HTTP请求调用模型import requests import json def ask_internlm2(question): url http://localhost:11434/api/generate payload { model: internlm2:1.8b, prompt: question, stream: False } response requests.post(url, jsonpayload) return response.json()[response] # 示例调用 answer ask_internlm2(如何学习深度学习) print(answer)5. 高级配置与优化5.1 性能优化设置为了获得更好的性能可以创建自定义模型配置# 创建自定义模型文件 cat Modelfile EOF FROM internlm2:1.8b # 设置参数 PARAMETER num_ctx 4096 PARAMETER num_gpu 1 PARAMETER temperature 0.7 PARAMETER top_p 0.9 EOF # 创建自定义模型 ollama create internlm2-custom -f Modelfile5.2 内存优化如果显存有限可以使用CPU卸载# 启动时限制GPU使用 ollama run internlm2:1.8b --num_gpu 0 # 或者混合使用CPU和GPU ollama run internlm2:1.8b --num_gpu 15.3 后台服务运行为了让模型在后台持续运行可以创建systemd服务# 创建服务文件 sudo cat /etc/systemd/system/ollama-internlm2.service EOF [Unit] DescriptionOllama InternLM2 Service Afternetwork.target [Service] Userroot ExecStart/usr/local/bin/ollama serve EnvironmentOLLAMA_HOST0.0.0.0:11434 Restartalways [Install] WantedBymulti-user.target EOF # 启用并启动服务 sudo systemctl daemon-reload sudo systemctl enable ollama-internlm2 sudo systemctl start ollama-internlm26. 常见问题解决6.1 模型下载失败如果模型下载中断可以手动继续下载# 查看下载进度 ollama list # 继续下载 ollama pull internlm2:1.8b6.2 显存不足问题如果遇到显存不足错误尝试以下解决方案# 使用更小的批次大小 ollama run internlm2:1.8b --num_ctx 2048 # 或者使用CPU模式 ollama run internlm2:1.8b --num_gpu 06.3 端口冲突解决如果11434端口被占用可以修改服务端口# 修改Ollama配置 sudo systemctl stop ollama export OLLAMA_HOST0.0.0.0:11435 sudo systemctl start ollama7. 总结通过本教程你已经成功在阿里云ECS GPU实例上部署了InternLM2-Chat-1.8B模型。这个部署方案具有以下优势部署简单一键脚本自动化所有安装配置步骤无需手动操作资源友好18亿参数的模型在消费级GPU上也能流畅运行功能完整支持长上下文、多轮对话、代码生成等实用功能易于集成提供REST API接口方便与其他应用集成实际测试中这个模型在对话流畅性、知识准确性和响应速度方面都表现不错特别适合作为个人AI助手或者集成到现有应用中。对于想要进一步优化的用户建议根据实际使用场景调整温度参数获得更确定性或更创造性的输出如果主要处理中文内容可以尝试专门的中文优化版本定期检查模型更新获取性能改进和新功能获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
【书生·浦语】internlm2-chat-1.8b部署教程：阿里云ECS GPU实例一键部署脚本
发布时间：2026/5/19 13:48:49
【书生·浦语】internlm2-chat-1.8b部署教程阿里云ECS GPU实例一键部署脚本1. 模型简介与价值InternLM2-Chat-1.8B是上海人工智能实验室推出的第二代书生·浦语系列的18亿参数对话模型。这个模型虽然参数规模不大但在实际使用中表现出色特别适合个人开发者和小型团队快速搭建AI对话应用。这个模型有三个版本可供选择基础版适合需要从头开始训练特定任务的用户SFT版经过监督微调对话能力已经不错完整版经过强化学习优化在指令遵循和聊天体验方面表现最佳推荐大多数用户使用最让人印象深刻的是这个模型支持长达20万字符的上下文意味着它可以处理很长的文档内容在长文本理解和分析任务上表现优异。相比第一代模型它在推理、数学和编程能力上都有显著提升。2. 环境准备与阿里云ECS选择2.1 硬件要求在阿里云ECS上部署InternLM2-Chat-1.8B推荐选择GPU实例最低配置4核CPU16GB内存配备NVIDIA T4显卡16GB显存推荐配置8核CPU32GB内存配备NVIDIA V100或A10显卡32GB显存系统要求Ubuntu 20.04或22.04 LTS版本2.2 阿里云ECS实例选择登录阿里云控制台在ECS实例创建页面选择GPU计算型实例规格族推荐选择ecs.gn7i-c8g1.2xlarge或更高配置系统盘选择100GB以上的高效云盘确保开启自动续费避免服务中断2.3 安全组配置在安全组设置中需要开放以下端口22端口SSH远程连接7860端口Web访问端口如果使用Web界面11434端口Ollama默认服务端口3. 一键部署脚本详解3.1 部署脚本内容以下是完整的部署脚本保存为deploy_internlm2.sh#!/bin/bash # 设置环境变量 export MODEL_NAMEinternlm2:1.8b export OLLAMA_HOST0.0.0.0:11434 echo 开始部署InternLM2-Chat-1.8B模型... # 更新系统包 sudo apt-get update sudo apt-get upgrade -y # 安装基础依赖 sudo apt-get install -y curl wget git build-essential # 安装NVIDIA驱动和CUDA如果尚未安装 if ! command -v nvidia-smi /dev/null; then echo 安装NVIDIA驱动... sudo apt-get install -y nvidia-driver-535 fi # 安装Docker if ! command -v docker /dev/null; then echo 安装Docker... curl -fsSL https://get.docker.com -o get-docker.sh sudo sh get-docker.sh sudo usermod -aG docker $USER fi # 安装Ollama echo 安装Ollama... curl -fsSL https://ollama.ai/install.sh | sh # 启动Ollama服务 sudo systemctl enable ollama sudo systemctl start ollama # 下载InternLM2模型 echo 下载InternLM2-Chat-1.8B模型... ollama pull $MODEL_NAME # 创建启动脚本 cat start_internlm2.sh EOF #!/bin/bash # 启动Ollama服务并加载模型 sudo systemctl start ollama sleep 5 ollama run internlm2:1.8b EOF chmod x start_internlm2.sh echo 部署完成 echo 运行 ./start_internlm2.sh 启动模型服务3.2 脚本执行步骤在阿里云ECS实例上执行以下命令# 上传脚本到服务器 scp deploy_internlm2.sh root你的服务器IP:~ # 登录服务器 ssh root你的服务器IP # 给脚本执行权限 chmod x deploy_internlm2.sh # 运行部署脚本 ./deploy_internlm2.sh整个部署过程大约需要30-60分钟主要时间花费在模型下载上。脚本会自动完成所有依赖安装和环境配置。4. 模型使用与测试4.1 启动模型服务部署完成后使用以下命令启动模型# 直接运行启动脚本 ./start_internlm2.sh # 或者手动启动 ollama run internlm2:1.8b4.2 基本对话测试启动后你可以直接与模型进行对话 你好请介绍一下你自己 我是InternLM2-Chat一个由上海人工智能实验室开发的大语言模型。我基于18亿参数的Transformer架构能够进行自然语言对话、回答问题、提供建议等。我的训练数据涵盖了多个领域的知识但需要注意的是我的知识截止于2024年7月可能无法提供最新的信息。 你能帮我写一段Python代码吗 当然可以请告诉我你需要实现什么功能我会尽力为你编写合适的Python代码。4.3 API接口调用Ollama提供了REST API接口可以通过HTTP请求调用模型import requests import json def ask_internlm2(question): url http://localhost:11434/api/generate payload { model: internlm2:1.8b, prompt: question, stream: False } response requests.post(url, jsonpayload) return response.json()[response] # 示例调用 answer ask_internlm2(如何学习深度学习) print(answer)5. 高级配置与优化5.1 性能优化设置为了获得更好的性能可以创建自定义模型配置# 创建自定义模型文件 cat Modelfile EOF FROM internlm2:1.8b # 设置参数 PARAMETER num_ctx 4096 PARAMETER num_gpu 1 PARAMETER temperature 0.7 PARAMETER top_p 0.9 EOF # 创建自定义模型 ollama create internlm2-custom -f Modelfile5.2 内存优化如果显存有限可以使用CPU卸载# 启动时限制GPU使用 ollama run internlm2:1.8b --num_gpu 0 # 或者混合使用CPU和GPU ollama run internlm2:1.8b --num_gpu 15.3 后台服务运行为了让模型在后台持续运行可以创建systemd服务# 创建服务文件 sudo cat /etc/systemd/system/ollama-internlm2.service EOF [Unit] DescriptionOllama InternLM2 Service Afternetwork.target [Service] Userroot ExecStart/usr/local/bin/ollama serve EnvironmentOLLAMA_HOST0.0.0.0:11434 Restartalways [Install] WantedBymulti-user.target EOF # 启用并启动服务 sudo systemctl daemon-reload sudo systemctl enable ollama-internlm2 sudo systemctl start ollama-internlm26. 常见问题解决6.1 模型下载失败如果模型下载中断可以手动继续下载# 查看下载进度 ollama list # 继续下载 ollama pull internlm2:1.8b6.2 显存不足问题如果遇到显存不足错误尝试以下解决方案# 使用更小的批次大小 ollama run internlm2:1.8b --num_ctx 2048 # 或者使用CPU模式 ollama run internlm2:1.8b --num_gpu 06.3 端口冲突解决如果11434端口被占用可以修改服务端口# 修改Ollama配置 sudo systemctl stop ollama export OLLAMA_HOST0.0.0.0:11435 sudo systemctl start ollama7. 总结通过本教程你已经成功在阿里云ECS GPU实例上部署了InternLM2-Chat-1.8B模型。这个部署方案具有以下优势部署简单一键脚本自动化所有安装配置步骤无需手动操作资源友好18亿参数的模型在消费级GPU上也能流畅运行功能完整支持长上下文、多轮对话、代码生成等实用功能易于集成提供REST API接口方便与其他应用集成实际测试中这个模型在对话流畅性、知识准确性和响应速度方面都表现不错特别适合作为个人AI助手或者集成到现有应用中。对于想要进一步优化的用户建议根据实际使用场景调整温度参数获得更确定性或更创造性的输出如果主要处理中文内容可以尝试专门的中文优化版本定期检查模型更新获取性能改进和新功能获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
