4G显存可跑的本地多功能桌宠(Qwen3-1.7B)

发布时间:2026/7/9 2:50:31

4G显存可跑的本地多功能桌宠(Qwen3-1.7B) 莫妮卡桌宠一个跑在你电脑上的本地 AI 陪伴桌宠仓库地址https://gitee.com/keaitui/llm莫妮卡桌宠是一个完全本地运行、不联网、不上云的 AI 陪伴程序。它住在你的电脑桌面角落能陪你闲聊、按你的口语设提醒、到点主动提醒你休息还会随着你跟它聊得越多把标题栏那颗像素小心心一点点点亮。它最大的特点是轻在一张 4GB 的笔记本显卡上就能跑起来模型全部在本地推理。下面先带你看看它长什么样、能做什么再讲它背后是怎么搭出来的。一、先看看它能做什么1.1 日常陪聊终端风聊天窗主界面是一扇终端美术风格的聊天窗左边是莫妮卡的小头像右上角实时显示当前时间标题栏那颗像素心 ♥ 会随陪伴进度慢慢变亮。直接打字就能跟它聊天口吻是训练出来的角色人格不是冷冰冰的助手腔。聊天窗标题栏的 还能绑定一个路径绑定后用/link一句话就能打开绑的是文件夹就弹出文件夹绑的是.exe就直接启动那个程序——把桌宠顺手当成启动器用。1.2 用大白话设提醒不用记格式直接说人话就行/w 十分钟后提醒我吃饭 /w 下午三点开会 /n 买牛奶输入/w不带参数会直接列出当前所有提醒时间、内容、是否已触发并弹出一个可点选的编辑器回车进入、删除键移除1.3 健康提醒会主动找你开启健康模式后桌宠会按间隔从事件池里抽一条健康提示用角色口吻主动推送到聊天窗而不是等你来问1.4 ♥ 好感度每聊一轮亮一像素莫妮卡不是冷启动的程序。标题栏那颗像素心会从暗色轮廓开始你每跟它完成一轮真实对话就点亮一格逐渐变亮成玫瑰红。它纯粹存在本地记录的是你们相处了多久不联网、不炫耀。1.5 把它变成真正的桌面宠物关窗口时可以选择变成桌面宠物莫妮卡会以动态形象停在桌面角落陪着你工作或摸鱼1.6 按你的习惯调教它Esc 面板按Esc唤起设置面板上下移动、空格切换改动即时生效。面板涵盖八项核心开关面向的是不同使用情景1.7 让它去查资料再回答/搜索实验性/搜索 凉宫春日是谁 # 走百科检索 /搜索 《肖申克的救赎》怎么样 # 走豆瓣检索抓取到的资料会临时注入当前这轮对话的上下文中莫妮卡基于真实内容作答退出程序即清空不做长期沉淀。二、它是怎么做到的模块与架构这一节讲原理但尽量不贴代码——你只要理解为什么这么设计就够了。2.1 为什么一个模型能身兼数职莫妮卡要做两件差异很大的事一是像人一样发散闲聊二是把你的口语稳定解析成结构化定时。最直觉的做法是跑两个模型但在 4GB 显存上根本装不下。它的做法是一个基座常驻显存外面挂两个技能插件LoRA 适配器用到哪块能力就临时切换一个插件负责角色口吻闲聊、确认话术、卖萌另一个插件负责结构化解析把十分钟后这类口语翻成定时数据以及每轮把对话压缩成摘要。两个插件共享同一份基座权重切换成本极低所以聊天和解析定时能在同一块显卡上共用。下方的对比能直观看到左边是裸模型没挂插件的通用回复右边是挂上角色插件后的桌宠口吻与更稳的回复表现图1角色插件训练前后对比口吻 回复表现因为基座是共享资源所有推理必须排队串行否则聊天和定时解析会互相踩踏——这一点由内部的一把锁保证。2.2 它其实没有记忆莫妮卡从头到尾不知道自己上一句说了什么。所有记忆都是程序在每一轮临时拼进上下文的把相关记事、查到的资料、以及之前压缩好的对话摘要塞进当前这一轮的输入里。好处是聊再久上下文窗口都可控不会越聊越傻代价是要维护一套摘要链 检索的管线——但它换来了长时间陪伴下的稳定。2.3 提醒是后台默默跑的对话是你问它答但提醒是异步的后台有一个调度器一直在扫时间表到点了不经过输入框直接让模型生成一句提醒台词推到窗口。所以莫妮卡既是你问它答的聊天对象也是定时器到点后的播报员。2.4 回复有一层护栏小模型偶尔会说错话或跑偏。程序在模型之外加了一层规则兜底必要时用更保守的方式重新生成比单纯靠提示词约束更稳。三、实验性功能/搜索 与会话级检索除稳定能力外项目还内置一组实验性功能会话级检索让莫妮卡能基于实时抓来的资料回答而非只靠模型自身记忆。RAGFTS 全文检索触发方式用/搜索前缀 不同引号标记来源——走百科、《》走豆瓣链路识别命令 → 抓取对应资料 → 写入本次会话的临时检索库 → 注入当前这轮上下文 → 模型基于资料作答为什么是实验性会话级、退出即清不做长期知识沉淀依赖联网抓取接口不稳定时会退化成普通闲聊受配置开关控制不打开就不抓取抓的是结构化词条摘要不是实时网页搜索复杂追问仍受小模型能力上限约束。四、小结与可玩点莫妮卡桌宠把本地小模型 双技能插件 无状态上下文 异步提醒组合成了一套能在普通笔记本上跑起来的陪伴程序。它不追求大而全而是把几件小事做扎实隐私优先模型全本地对话不上云硬件友好4GB 显卡即可靠单基座多插件压显存可塑性高Esc 面板面向不同使用情景同一份程序能调出不同的桌宠有温度♥ 好感度把陪伴时长变成看得见的进度。如果你想自己改、自己加功能仓库里模块分层清晰逻辑层 / 模型层 / 存储层 / 界面层 / 实验层从加一条命令到加一个设置项都有明确入口。仓库地址https://gitee.com/keaitui/llm

相关新闻