为什么选 fnOS 系统fnOS 是基于 Debian 的 Linux 系统内存资源占用比 Win11 系统好对AI 工具性能发挥更好。CUDA 和 ROCm 环境安装可以在软件中心点击安装不用复杂的命令行安装。Web 控制台界面方便远程调试模型文件管理更方便。为什么选 LocalAI安装方便支持 llama.cpp、sglang、vllm 等多种后端。支持 CPU、N 卡、A 卡、甚至国产 910B 等。支持文本生成、文生图、图生图、视频生成、语音生成等多种功能。部署效果v100 16g显卡 部署Qwen3.8-27B-GSQ-RCO-IQ2_XS-mtp 设置mtp 3 kv压缩turbo4 上下文可以拉到176k文本生成速度40t/s左右 代码生成最高可以到50t/s显存占用93%。个人日常使用还是比较实用的。qwen3.8-27b写个坦克大战小程序生图通过Ventoy安装 fnOS解压下载的 Ventoy下载地址https://www.ventoy.net/cn/download.html压缩包以管理员身份运行里面的 Ventoy2Disk.exe 程序。在软件界面的“设备”下拉框里务必确认选中的是你的 U 盘千万别选错了硬盘。会格式化对应 U 盘所以选用空白硬盘点击“安装”按钮根据弹窗提示确认操作。安装完成后你的 U 盘会变成一个普通的存储盘。这时只要把之前下载好的 fnOS ISO 镜像文件直接复制到 U 盘的根目录就可以了。从 U 盘启动并安装 fnOS将制作好的 Ventoy U 盘插到你的主机上开机后连续按 Del不同主机也可能是 F2 或 F11等按键进入 BIOS。在 BIOS 的“Boot”菜单里将你的 U 盘通常显示为 USB 设备设置为第一启动项保存并退出。重启后你会看到 Ventoy 的引导菜单会列出 U 盘里所有的 ISO 文件。选择 fnOS 的镜像按回车键确认。之后就会进入 fnOS 的安装程序推荐选择“Graphical Install”图形化安装然后根据向导提示一步步操作即可。(安装会格式化硬盘确认硬盘里没有资料)安装成功后记住分配的ip地址安装显卡驱动环境浏览器登录IP 地址:5666fnOS Web 界面进应用中心安装驱动N 卡选红框的 2 个驱动安装 CUDA 版本 13A 卡选绿框 2 个文件安装 ROCm 版本 7.2。安装 LocalAI 工具下载 LocalAI 文件下载地址 Releases · mudler/LocalAI · GitHub把文件拖动到fnos 文件管理齐的文件夹打开fnos ssh功能使用 登录fnos sshSudo -i输入管理密码roothz8845:~# cd /vol1/1000/localai3roothz8845:/vol1/1000/localai3# chmod x local-ai-* # 对文件授权roothz8845:/vol1/1000/localai3# ./local-ai-* # 运行文件已经部署成功安装localai模型后端设置模型配置打开http://192.168.6.165:8080/ 进web端安装后端下载模型通过fnos自带离线下载器下载魔塔社区的模型文件到models下导入模型自定义配置模型设置导入自动导入设置模型配置也可以这里贴nas里的文件地址导入会自动基础设置选模型开始对话也可用api地址在其他工具调用运行模型