DAMOYOLO-S与ChatGPT联动构建能“看懂”并“描述”图像的智能体你有没有想过让AI不仅能“看见”图片里的东西还能像人一样把看到的内容“说”出来甚至编个故事比如你拍了一张公园的照片AI不仅能认出里面有树、有长椅、有人还能告诉你“一个阳光明媚的下午一位老人正坐在公园的长椅上安静地看书远处有孩子在玩耍。”这听起来像是科幻电影里的场景但现在通过将两种不同的AI模型“组合”起来我们就能轻松实现。今天要聊的就是把一个专门“看”的模型——DAMOYOLO-S和一个专门“说”的模型——ChatGPT联动在一起打造一个既能“看懂”图像又能“描述”图像的智能体。简单来说DAMOYOLO-S负责当“眼睛”快速准确地识别图片里的各种物体和它们的位置ChatGPT则充当“大脑”和“嘴巴”根据“眼睛”看到的信息组织成通顺、生动甚至富有创意的文字。这种“视觉语言”的组合能打开很多有趣的应用大门。1. 为什么需要“视觉语言”的联动单独一个模型的能力往往是有限的。一个优秀的视觉模型可能识别率高达95%但它输出的结果通常是一堆冷冰冰的标签和坐标比如[‘person’: 0.98, x1, y1, x2, y2], [‘bench’: 0.95, x3, y3, x4, y4]。这对机器来说很清晰但对人来说并不友好缺乏上下文和故事性。反过来像ChatGPT这样的大语言模型在理解和生成自然语言方面非常强大能写出流畅的文章、诗歌甚至代码但它本身是“盲”的无法直接理解图像内容。它需要文本形式的输入。所以一个很自然的想法就是让专业的模型做专业的事然后把它们的结果串联起来。用DAMOYOLO-S把图像“翻译”成机器可读的结构化文本描述再把这个描述交给ChatGPT让它“润色”成人类喜欢的语言。这就好比一个观察员用专业术语记录现场然后由一位作家把记录改编成一篇生动的报道。在实际业务里这种联动能解决不少具体问题自动生成图片说明Alt-Text为电商平台的海量商品图、内容社区的UGC图片自动生成描述提升无障碍访问体验和SEO。智能内容创作为摄影师、设计师的作品集自动配文将监控画面或仪表盘截图转化为事件报告。交互式图像问答用户上传一张图可以连续追问关于图片内容的问题比如“图里左边那个人拿着什么”、“这顿饭大概有多少卡路里”。故事化营销为一张新产品海报自动生成一段吸引人的产品故事或社交媒体文案。接下来我们就看看怎么把这两个模型“搭”起来让它真正跑起来。2. 核心组件认识DAMOYOLO-S与ChatGPT在开始动手之前我们先快速了解一下这两位“主角”的特长。2.1 DAMOYOLO-S高效的“视觉侦察兵”DAMOYOLO-S是一个目标检测模型。你可以把它想象成一个反应迅速、眼神犀利的侦察兵。它的核心任务是在一张图片里找出都有哪些物体并且用框标出它们的具体位置。它的特点很突出速度快精度不错相比一些庞大的检测模型它在速度和精度之间取得了很好的平衡适合需要快速响应的应用场景。轻量级模型文件相对较小对计算资源的要求更友好部署起来更灵活。即拿即用通常预训练了常见物体如人、车、动物、家具等的识别能力对于一般场景图片不需要额外训练就能直接使用。它的输出是我们整个流程的“原材料”一份包含物体类别、置信度和位置坐标的清单。2.2 ChatGPT强大的“语言艺术家”ChatGPT大家可能更熟悉一些。它是一个大语言模型本质上是基于海量文本训练出来的“语言大师”。它最擅长的就是理解输入的文本并生成符合语境、连贯、多样的新文本。在这个联动方案里ChatGPT扮演的是“信息加工者”和“内容创作者”的角色。它接收DAMOYOLO-S生成的、略显枯燥的结构化信息然后运用它的语言能力将其转化为一句简洁的图片摘要。一段详细的场景描述。一个围绕图片内容的小故事。对图片内容的问答。关键在于我们需要设计好给ChatGPT的“指令”Prompt引导它按照我们希望的方式去使用那些视觉信息。3. 动手搭建从图像到描述的完整流程理论说完了我们来看看具体怎么做。整个流程可以清晰地分为三步视觉识别、信息整理和语言生成。3.1 第一步用DAMOYOLO-S“看懂”图像首先我们需要让DAMOYOLO-S处理我们的图片。这里假设你已经有一个可以运行DAMOYOLO-S的环境。我们通过一段示例代码来看看核心过程。import cv2 from damoyolo import DAMOYOLO, RTDETR # 1. 加载模型这里以RTDETR为例DAMOYOLO-S类似 model RTDETR.from_pretrained(rtdetr_r18vd_coco_o365) # 2. 读取图片 image_path “park_scene.jpg” image cv2.imread(image_path) # 3. 进行目标检测 results model.predict(image_path) # 4. 查看原始检测结果 print(“原始检测结果:”) for det in results[0].boxes: # 假设results[0]是第一个图片的结果 class_id int(det.cls) class_name model.names[class_id] # 获取类别名称 confidence float(det.conf) bbox det.xyxy[0].tolist() # 获取边界框坐标 [x1, y1, x2, y2] print(f” 物体: {class_name}, 置信度: {confidence:.2f}, 位置: {bbox}”)运行这段代码你可能会得到类似下面的输出原始检测结果: 物体: person, 置信度: 0.98, 位置: [120, 80, 180, 220] 物体: bench, 置信度: 0.95, 位置: [100, 200, 300, 250] 物体: tree, 置信度: 0.90, 位置: [50, 50, 150, 150] 物体: dog, 置信度: 0.87, 位置: [200, 180, 250, 230]好了“侦察兵”已经完成了它的工作提供了一份详细的“侦察报告”。3.2 第二步将检测结果结构化直接把这些坐标和数字扔给ChatGPT它可能无法很好地理解。我们需要把这些信息整理成一段更结构化、更语义化的文本描述。这一步是承上启下的关键。我们可以写一个简单的函数来处理def format_detections_to_text(detections, model_names): “”” 将检测结果格式化为一段描述性文本。 “”” description_parts [] for det in detections: class_id int(det.cls) class_name model_names[class_id] confidence det.conf # 可以根据置信度过滤一些低质量检测 if confidence 0.5: continue # 简单处理将物体和其置信度加入描述 description_parts.append(f”{class_name} (置信度: {confidence:.1%})”) # 组合成一句初步描述 if description_parts: formatted_text “图像中检测到以下物体: ” “, “.join(description_parts) “。” else: formatted_text “未检测到显著物体。” return formatted_text # 使用上面的函数 detections results[0].boxes formatted_description format_detections_to_text(detections, model.names) print(“结构化描述:”) print(formatted_description)输出会变成结构化描述: 图像中检测到以下物体: person (置信度: 98.0%), bench (置信度: 95.0%), tree (置信度: 90.0%), dog (置信度: 87.0%)。现在信息变得更容易被语言模型理解了。你还可以在这个函数里加入更复杂的逻辑比如根据位置关系推断“人坐在长椅上”、“狗在人的旁边”等让描述更丰富。3.3 第三步请ChatGPT生成最终描述现在我们把这份结构化描述连同我们的具体指令一起发送给ChatGPT。这里我们使用OpenAI的API进行演示。import openai # 设置你的OpenAI API密钥 openai.api_key “your-api-key-here” def generate_image_caption_with_chatgpt(visual_description, prompt_instruction): “”” 使用ChatGPT根据视觉描述生成最终文本。 “”” # 构建给ChatGPT的完整消息 messages [ {“role”: “system”, “content”: “你是一个有帮助的助手擅长根据物体列表生成生动、自然的图像描述。”}, {“role”: “user”, “content”: f”{prompt_instruction}\n\n物体列表{visual_description}”} ] try: response openai.ChatCompletion.create( model“gpt-3.5-turbo”, # 或 “gpt-4” messagesmessages, max_tokens150, # 控制生成文本的长度 temperature0.7, # 控制创造性越高越随机 ) return response.choices[0].message.content.strip() except Exception as e: return f”生成描述时出错: {e}” # 定义不同的指令让ChatGPT完成不同任务 instruction_1 “请根据提供的物体列表生成一句简洁的图片说明。” instruction_2 “请根据提供的物体列表展开想象编写一个关于此场景的简短小故事50字以内。“ instruction_3 “基于这些物体以第一人称视角描述这个场景。” # 生成不同风格的描述 caption generate_image_caption_with_chatgpt(formatted_description, instruction_1) story generate_image_caption_with_chatgpt(formatted_description, instruction_2) first_person generate_image_caption_with_chatgpt(formatted_description, instruction_3) print(“【简洁说明】”) print(caption) print(“\n【小故事】”) print(story) print(“\n【第一人称描述】”) print(first_person)运行后你可能会得到这样的结果【简洁说明】 图片中显示一个人正坐在公园的长椅上旁边有一棵树还有一只狗。 【小故事】 午后老人带着爱犬来到常去的公园。他坐在熟悉的长椅上读书狗狗安静地趴在脚边。微风拂过树梢时光仿佛都慢了下来。 【第一人称描述】 我看到自己正坐在一张舒适的公园长椅上手里可能拿着一本书。身旁是一棵绿意盎然的大树投下清凉的树荫。我的小狗乖乖地待在我脚边一切都显得那么宁静美好。看同样的视觉信息通过给ChatGPT不同的指令我们得到了完全不同风格和用途的文本输出。这就是联动的魅力所在。4. 效果展示与实际应用想象通过上面的流程我们已经看到了基本的联动效果。但它的潜力远不止生成一句描述。我们可以通过设计更精巧的Prompt来实现更复杂的应用。应用一交互式图像问答我们可以把流程扩展成多轮对话。用户在看到初始描述后可以继续提问。用户提问“那个人是面向哪边的”系统处理这个问题需要更细致的视觉分析。我们可能需要用DAMOYOLO-S或其他模型如姿态估计来获取人的朝向信息或者从原图中裁剪出人的区域再进行分析然后将新信息如“面朝东方”补充进上下文再让ChatGPT组织回答。ChatGPT回答“根据分析图中的人物是面朝东方的。”应用二为电商产品图生成营销文案上传一张产品图如一款新耳机。DAMOYOLO-S识别出person, earphone, desk, laptop。我们构造Prompt“这是一张产品图。检测到的物体有{物体列表}。请为这款耳机撰写一段吸引人的电商产品描述突出其使用场景和时尚感。”ChatGPT可能生成“沉浸式体验随时随地。这款时尚耳机专为都市精英设计无论是在办公室连接笔记本高效工作还是在通勤路上享受私人音乐时光它都是你不可或缺的潮流伴侣。轻巧设计佩戴舒适让你全天候保持最佳状态。”应用三辅助视觉内容审核对于社区上传的图片可以用此流程快速生成描述然后让ChatGPT判断描述中是否包含违规内容关键词或场景作为人工审核的辅助和初筛。5. 实践中的一些思考与建议把两个模型连起来跑通demo只是第一步。如果想在实际项目中用好有几个地方值得多想想信息损失的挑战DAMOYOLO-S只提供了物体和位置丢失了颜色、纹理、光线、物体间复杂关系如“正在喂食”等大量信息。最终的描述质量受限于此。可以考虑融入图像描述Captioning模型或场景图生成Scene Graph Generation模型来提供更丰富的语义信息。Prompt工程是关键ChatGPT的输出质量极大程度上依赖于你给它的指令。指令越清晰、越具体得到的结果就越符合预期。多花时间调试和优化你的Prompt模板。处理复杂场景当图片中物体非常多时简单的列表式描述会显得混乱。可以在信息整理阶段加入一些简单的规则比如按位置分区描述“图片左侧有...中央是...背景是...”或者按物体类别聚合。成本与延迟这是一个串联流程总耗时是两个模型推理时间加上网络通信时间之和。对于实时性要求高的场景如直播内容解读需要优化模型速度或考虑异步处理。错误传播如果DAMOYOLO-S识别错了比如把猫认成了狗那么ChatGPT生成的描述也会基于这个错误的前提。因此视觉模型的准确性是基础。总的来说DAMOYOLO-S与ChatGPT的联动为我们提供了一种快速构建多模态应用的原型方法。它技术门槛相对较低但展现出的可能性非常丰富。你可以把它看作一个“乐高积木”式的起点在此基础上根据具体需求替换更专业的视觉模型如用于识别人脸表情的、识别特定商品的或者结合更垂直的大语言模型来搭建真正解决业务痛点的智能应用。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
DAMOYOLO-S与ChatGPT联动：构建能“看懂”并“描述”图像的智能体
发布时间：2026/7/11 13:11:57
DAMOYOLO-S与ChatGPT联动构建能“看懂”并“描述”图像的智能体你有没有想过让AI不仅能“看见”图片里的东西还能像人一样把看到的内容“说”出来甚至编个故事比如你拍了一张公园的照片AI不仅能认出里面有树、有长椅、有人还能告诉你“一个阳光明媚的下午一位老人正坐在公园的长椅上安静地看书远处有孩子在玩耍。”这听起来像是科幻电影里的场景但现在通过将两种不同的AI模型“组合”起来我们就能轻松实现。今天要聊的就是把一个专门“看”的模型——DAMOYOLO-S和一个专门“说”的模型——ChatGPT联动在一起打造一个既能“看懂”图像又能“描述”图像的智能体。简单来说DAMOYOLO-S负责当“眼睛”快速准确地识别图片里的各种物体和它们的位置ChatGPT则充当“大脑”和“嘴巴”根据“眼睛”看到的信息组织成通顺、生动甚至富有创意的文字。这种“视觉语言”的组合能打开很多有趣的应用大门。1. 为什么需要“视觉语言”的联动单独一个模型的能力往往是有限的。一个优秀的视觉模型可能识别率高达95%但它输出的结果通常是一堆冷冰冰的标签和坐标比如[‘person’: 0.98, x1, y1, x2, y2], [‘bench’: 0.95, x3, y3, x4, y4]。这对机器来说很清晰但对人来说并不友好缺乏上下文和故事性。反过来像ChatGPT这样的大语言模型在理解和生成自然语言方面非常强大能写出流畅的文章、诗歌甚至代码但它本身是“盲”的无法直接理解图像内容。它需要文本形式的输入。所以一个很自然的想法就是让专业的模型做专业的事然后把它们的结果串联起来。用DAMOYOLO-S把图像“翻译”成机器可读的结构化文本描述再把这个描述交给ChatGPT让它“润色”成人类喜欢的语言。这就好比一个观察员用专业术语记录现场然后由一位作家把记录改编成一篇生动的报道。在实际业务里这种联动能解决不少具体问题自动生成图片说明Alt-Text为电商平台的海量商品图、内容社区的UGC图片自动生成描述提升无障碍访问体验和SEO。智能内容创作为摄影师、设计师的作品集自动配文将监控画面或仪表盘截图转化为事件报告。交互式图像问答用户上传一张图可以连续追问关于图片内容的问题比如“图里左边那个人拿着什么”、“这顿饭大概有多少卡路里”。故事化营销为一张新产品海报自动生成一段吸引人的产品故事或社交媒体文案。接下来我们就看看怎么把这两个模型“搭”起来让它真正跑起来。2. 核心组件认识DAMOYOLO-S与ChatGPT在开始动手之前我们先快速了解一下这两位“主角”的特长。2.1 DAMOYOLO-S高效的“视觉侦察兵”DAMOYOLO-S是一个目标检测模型。你可以把它想象成一个反应迅速、眼神犀利的侦察兵。它的核心任务是在一张图片里找出都有哪些物体并且用框标出它们的具体位置。它的特点很突出速度快精度不错相比一些庞大的检测模型它在速度和精度之间取得了很好的平衡适合需要快速响应的应用场景。轻量级模型文件相对较小对计算资源的要求更友好部署起来更灵活。即拿即用通常预训练了常见物体如人、车、动物、家具等的识别能力对于一般场景图片不需要额外训练就能直接使用。它的输出是我们整个流程的“原材料”一份包含物体类别、置信度和位置坐标的清单。2.2 ChatGPT强大的“语言艺术家”ChatGPT大家可能更熟悉一些。它是一个大语言模型本质上是基于海量文本训练出来的“语言大师”。它最擅长的就是理解输入的文本并生成符合语境、连贯、多样的新文本。在这个联动方案里ChatGPT扮演的是“信息加工者”和“内容创作者”的角色。它接收DAMOYOLO-S生成的、略显枯燥的结构化信息然后运用它的语言能力将其转化为一句简洁的图片摘要。一段详细的场景描述。一个围绕图片内容的小故事。对图片内容的问答。关键在于我们需要设计好给ChatGPT的“指令”Prompt引导它按照我们希望的方式去使用那些视觉信息。3. 动手搭建从图像到描述的完整流程理论说完了我们来看看具体怎么做。整个流程可以清晰地分为三步视觉识别、信息整理和语言生成。3.1 第一步用DAMOYOLO-S“看懂”图像首先我们需要让DAMOYOLO-S处理我们的图片。这里假设你已经有一个可以运行DAMOYOLO-S的环境。我们通过一段示例代码来看看核心过程。import cv2 from damoyolo import DAMOYOLO, RTDETR # 1. 加载模型这里以RTDETR为例DAMOYOLO-S类似 model RTDETR.from_pretrained(rtdetr_r18vd_coco_o365) # 2. 读取图片 image_path “park_scene.jpg” image cv2.imread(image_path) # 3. 进行目标检测 results model.predict(image_path) # 4. 查看原始检测结果 print(“原始检测结果:”) for det in results[0].boxes: # 假设results[0]是第一个图片的结果 class_id int(det.cls) class_name model.names[class_id] # 获取类别名称 confidence float(det.conf) bbox det.xyxy[0].tolist() # 获取边界框坐标 [x1, y1, x2, y2] print(f” 物体: {class_name}, 置信度: {confidence:.2f}, 位置: {bbox}”)运行这段代码你可能会得到类似下面的输出原始检测结果: 物体: person, 置信度: 0.98, 位置: [120, 80, 180, 220] 物体: bench, 置信度: 0.95, 位置: [100, 200, 300, 250] 物体: tree, 置信度: 0.90, 位置: [50, 50, 150, 150] 物体: dog, 置信度: 0.87, 位置: [200, 180, 250, 230]好了“侦察兵”已经完成了它的工作提供了一份详细的“侦察报告”。3.2 第二步将检测结果结构化直接把这些坐标和数字扔给ChatGPT它可能无法很好地理解。我们需要把这些信息整理成一段更结构化、更语义化的文本描述。这一步是承上启下的关键。我们可以写一个简单的函数来处理def format_detections_to_text(detections, model_names): “”” 将检测结果格式化为一段描述性文本。 “”” description_parts [] for det in detections: class_id int(det.cls) class_name model_names[class_id] confidence det.conf # 可以根据置信度过滤一些低质量检测 if confidence 0.5: continue # 简单处理将物体和其置信度加入描述 description_parts.append(f”{class_name} (置信度: {confidence:.1%})”) # 组合成一句初步描述 if description_parts: formatted_text “图像中检测到以下物体: ” “, “.join(description_parts) “。” else: formatted_text “未检测到显著物体。” return formatted_text # 使用上面的函数 detections results[0].boxes formatted_description format_detections_to_text(detections, model.names) print(“结构化描述:”) print(formatted_description)输出会变成结构化描述: 图像中检测到以下物体: person (置信度: 98.0%), bench (置信度: 95.0%), tree (置信度: 90.0%), dog (置信度: 87.0%)。现在信息变得更容易被语言模型理解了。你还可以在这个函数里加入更复杂的逻辑比如根据位置关系推断“人坐在长椅上”、“狗在人的旁边”等让描述更丰富。3.3 第三步请ChatGPT生成最终描述现在我们把这份结构化描述连同我们的具体指令一起发送给ChatGPT。这里我们使用OpenAI的API进行演示。import openai # 设置你的OpenAI API密钥 openai.api_key “your-api-key-here” def generate_image_caption_with_chatgpt(visual_description, prompt_instruction): “”” 使用ChatGPT根据视觉描述生成最终文本。 “”” # 构建给ChatGPT的完整消息 messages [ {“role”: “system”, “content”: “你是一个有帮助的助手擅长根据物体列表生成生动、自然的图像描述。”}, {“role”: “user”, “content”: f”{prompt_instruction}\n\n物体列表{visual_description}”} ] try: response openai.ChatCompletion.create( model“gpt-3.5-turbo”, # 或 “gpt-4” messagesmessages, max_tokens150, # 控制生成文本的长度 temperature0.7, # 控制创造性越高越随机 ) return response.choices[0].message.content.strip() except Exception as e: return f”生成描述时出错: {e}” # 定义不同的指令让ChatGPT完成不同任务 instruction_1 “请根据提供的物体列表生成一句简洁的图片说明。” instruction_2 “请根据提供的物体列表展开想象编写一个关于此场景的简短小故事50字以内。“ instruction_3 “基于这些物体以第一人称视角描述这个场景。” # 生成不同风格的描述 caption generate_image_caption_with_chatgpt(formatted_description, instruction_1) story generate_image_caption_with_chatgpt(formatted_description, instruction_2) first_person generate_image_caption_with_chatgpt(formatted_description, instruction_3) print(“【简洁说明】”) print(caption) print(“\n【小故事】”) print(story) print(“\n【第一人称描述】”) print(first_person)运行后你可能会得到这样的结果【简洁说明】 图片中显示一个人正坐在公园的长椅上旁边有一棵树还有一只狗。 【小故事】 午后老人带着爱犬来到常去的公园。他坐在熟悉的长椅上读书狗狗安静地趴在脚边。微风拂过树梢时光仿佛都慢了下来。 【第一人称描述】 我看到自己正坐在一张舒适的公园长椅上手里可能拿着一本书。身旁是一棵绿意盎然的大树投下清凉的树荫。我的小狗乖乖地待在我脚边一切都显得那么宁静美好。看同样的视觉信息通过给ChatGPT不同的指令我们得到了完全不同风格和用途的文本输出。这就是联动的魅力所在。4. 效果展示与实际应用想象通过上面的流程我们已经看到了基本的联动效果。但它的潜力远不止生成一句描述。我们可以通过设计更精巧的Prompt来实现更复杂的应用。应用一交互式图像问答我们可以把流程扩展成多轮对话。用户在看到初始描述后可以继续提问。用户提问“那个人是面向哪边的”系统处理这个问题需要更细致的视觉分析。我们可能需要用DAMOYOLO-S或其他模型如姿态估计来获取人的朝向信息或者从原图中裁剪出人的区域再进行分析然后将新信息如“面朝东方”补充进上下文再让ChatGPT组织回答。ChatGPT回答“根据分析图中的人物是面朝东方的。”应用二为电商产品图生成营销文案上传一张产品图如一款新耳机。DAMOYOLO-S识别出person, earphone, desk, laptop。我们构造Prompt“这是一张产品图。检测到的物体有{物体列表}。请为这款耳机撰写一段吸引人的电商产品描述突出其使用场景和时尚感。”ChatGPT可能生成“沉浸式体验随时随地。这款时尚耳机专为都市精英设计无论是在办公室连接笔记本高效工作还是在通勤路上享受私人音乐时光它都是你不可或缺的潮流伴侣。轻巧设计佩戴舒适让你全天候保持最佳状态。”应用三辅助视觉内容审核对于社区上传的图片可以用此流程快速生成描述然后让ChatGPT判断描述中是否包含违规内容关键词或场景作为人工审核的辅助和初筛。5. 实践中的一些思考与建议把两个模型连起来跑通demo只是第一步。如果想在实际项目中用好有几个地方值得多想想信息损失的挑战DAMOYOLO-S只提供了物体和位置丢失了颜色、纹理、光线、物体间复杂关系如“正在喂食”等大量信息。最终的描述质量受限于此。可以考虑融入图像描述Captioning模型或场景图生成Scene Graph Generation模型来提供更丰富的语义信息。Prompt工程是关键ChatGPT的输出质量极大程度上依赖于你给它的指令。指令越清晰、越具体得到的结果就越符合预期。多花时间调试和优化你的Prompt模板。处理复杂场景当图片中物体非常多时简单的列表式描述会显得混乱。可以在信息整理阶段加入一些简单的规则比如按位置分区描述“图片左侧有...中央是...背景是...”或者按物体类别聚合。成本与延迟这是一个串联流程总耗时是两个模型推理时间加上网络通信时间之和。对于实时性要求高的场景如直播内容解读需要优化模型速度或考虑异步处理。错误传播如果DAMOYOLO-S识别错了比如把猫认成了狗那么ChatGPT生成的描述也会基于这个错误的前提。因此视觉模型的准确性是基础。总的来说DAMOYOLO-S与ChatGPT的联动为我们提供了一种快速构建多模态应用的原型方法。它技术门槛相对较低但展现出的可能性非常丰富。你可以把它看作一个“乐高积木”式的起点在此基础上根据具体需求替换更专业的视觉模型如用于识别人脸表情的、识别特定商品的或者结合更垂直的大语言模型来搭建真正解决业务痛点的智能应用。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
 赋能 HarmonyOS 应用开发实践与深度解析)
