从文本到图像Ornith-1.0-35B-OptiQ-6bit多模态能力实战教程附Python代码示例【免费下载链接】Ornith-1.0-35B-OptiQ-6bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Ornith-1.0-35B-OptiQ-6bitOrnith-1.0-35B-OptiQ-6bit是一款基于Qwen3.5-35B-A3B架构构建的35B稀疏混合专家模型MoE通过6位混合精度MLX量化技术将原本70.2 GB的bf16权重压缩至仅27 GB同时保留了图像输入能力是在Apple Silicon设备上本地运行多模态大模型的理想选择。 模型核心特性解析突破性的量化技术Ornith-1.0-35B-OptiQ-6bit采用了创新的混合精度量化方案敏感层保持8位精度而稳健层则使用4位精度在性能与效率间取得完美平衡特性数值主要精度6-bit8位敏感层数量4484位稳健层数量63总量化层数511分组大小64专家数量256个路由40层视觉塔bf16精度333个张量存储于optiq/optiq_vision.safetensors磁盘大小27 GB原始bf16模型为70.2 GB强大的多模态能力模型保留了完整的视觉理解能力视觉塔以bf16精度单独存储能够同时处理文本和图像输入实现跨模态理解与生成。这使得Ornith不仅能进行文本对话还能分析图片内容、生成图像描述等复杂任务。 快速开始环境准备硬件要求推荐配置36 GB内存的Mac设备可舒适运行最低配置支持SSD专家流的设备通过将部分专家从磁盘动态加载实现运行安装必要工具根据使用场景选择以下安装命令基础文本生成pip install mlx-lm多模态支持含图像输入pip install mlx-optiq 文本生成实战简单文本对话使用mlx-lm库加载模型并进行文本生成from mlx_lm import load, generate # 加载模型和分词器 model, tokenizer load(mlx-community/Ornith-1.0-35B-OptiQ-6bit) # 准备对话提示 prompt tokenizer.apply_chat_template( [{role: user, content: 解释TCP和UDP的区别。}], add_generation_promptTrue, tokenizeFalse ) # 生成响应注意这是推理模型建议设置足够的max_tokens response generate(model, tokenizer, promptprompt, max_tokens512) print(response)对话模板说明模型使用的对话模板定义在chat_template.jinja文件中确保按照模板格式构造对话历史以获得最佳交互效果。️ 图像理解实战要使用Ornith的图像理解能力需要通过mlx-optiq启动服务端点然后发送包含图像的请求启动服务optiq serve --model mlx-community/Ornith-1.0-35B-OptiQ-6bit --stream-experts发送图像请求import base64 import json import urllib.request # 读取并编码图像文件 with open(photo.jpg, rb) as image_file: b64_image base64.b64encode(image_file.read()).decode() # 构造请求体 request_body { model: x, max_tokens: 512, messages: [ { role: user, content: [ {type: image_url, image_url: {url: fdata:image/jpeg;base64,{b64_image}}}, {type: text, text: 这张图片里有什么} ] } ] } # 发送请求到本地服务 req urllib.request.Request( http://127.0.0.1:8080/v1/chat/completions, datajson.dumps(request_body).encode(), headers{Content-Type: application/json} ) # 获取并打印响应 response json.load(urllib.request.urlopen(req)) print(response[choices][0][message][content])⚙️ 高级配置选项生成参数调整模型的默认生成配置存储在generation_config.json中主要参数包括temperature: 控制输出随机性默认1.0top_k: 采样候选词数量默认20top_p: 核采样概率阈值默认0.95在代码中可以通过generate函数的参数覆盖这些配置generate( model, tokenizer, promptprompt, max_tokens512, temperature0.7, # 降低随机性使输出更确定 top_p0.9 # 调整核采样阈值 )专家流模式对于内存有限的设备可以强制启用专家流模式仅将注意力机制、路由和嵌入层保留在内存中根据路由动态从磁盘加载专家optiq serve --model mlx-community/Ornith-1.0-35B-OptiQ-6bit --stream-experts 模型结构与文件说明Ornith-1.0-35B-OptiQ-6bit的文件结构设计清晰所有OptiQ特定文件都存放在optiq/子文件夹中模型权重以分片形式存储model-00001-of-00006.safetensors至model-00006-of-00006.safetensors量化配置config.json包含详细的量化参数和模型架构信息视觉塔权重optiq/optiq_vision.safetensors存储图像理解相关参数分词器文件tokenizer.json和tokenizer_config.json用于文本处理 模型验证与质量保障发布前已对文本推理、算术推理和图像理解能力进行了全面测试。量化过程不会改变基础模型的行为或对齐特性使用时请遵守与原始模型deepreinforce-ai/Ornith-1.0-35B相同的使用条款。如需了解基础架构的性能指标可参考Qwen3.5-35B-A3B OptiQ卡片。 获取模型通过以下命令克隆完整仓库git clone https://gitcode.com/hf_mirrors/mlx-community/Ornith-1.0-35B-OptiQ-6bitOrnith-1.0-35B-OptiQ-6bit凭借其高效的量化技术和强大的多模态能力为Apple Silicon用户提供了在本地运行大型语言模型的绝佳选择。无论是文本生成、图像理解还是复杂推理任务都能以高效的方式完成无需依赖云服务。祝您好运探索AI的无限可能✨【免费下载链接】Ornith-1.0-35B-OptiQ-6bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Ornith-1.0-35B-OptiQ-6bit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考