tao-8k Embedding模型入门实战从Hugging Face下载到本地路径部署想找一个能处理超长文本的Embedding模型试试tao-8k吧。这是一个专门为长文档设计的文本向量化工具能把几千字的文章变成计算机能理解的数字向量而且支持长达8192个字符的上下文。今天我就带你从零开始把这个模型从Hugging Face下载下来然后部署到本地路径最后用Xinference跑起来看看效果。整个过程其实挺简单的就算你之前没怎么接触过AI模型部署跟着步骤走也能搞定。我会把每个环节都讲清楚包括可能会遇到的坑和解决办法。1. 认识tao-8k一个专为长文本设计的Embedding模型1.1 模型是什么能做什么tao-8k是一个开源的文本嵌入模型由Hugging Face上的开发者amu创建并维护。它的核心任务是把一段文字比如一篇文章、一个段落甚至一句话转换成一串数字这串数字就是“向量”。你可以把这串数字想象成这段文字的“指纹”——每段文字都有自己独特的指纹相似的文字指纹也相似。有了这个指纹计算机就能做很多事情搜索和匹配你输入一个问题系统能找到最相关的文档文本分类自动判断一篇文章属于哪个类别聚类分析把相似的文章自动归到一起推荐系统根据你读过的内容推荐相似的文章1.2 为什么选择tao-8k市面上有很多Embedding模型tao-8k有几个明显的优势支持超长文本这是它最大的亮点。很多模型只能处理几百个字符但tao-8k能处理8192个字符相当于好几页纸的内容。这意味着你可以直接把整篇报告、长文章扔给它不用切分成小块。开源免费模型完全开源你可以自由使用、修改不用担心授权问题。中文友好虽然模型支持多种语言但在中文文本上的表现很不错这对中文用户来说是个好消息。轻量高效模型大小适中在普通服务器上就能跑起来不需要特别昂贵的硬件。2. 环境准备安装必要的工具在开始下载和部署之前我们需要准备好运行环境。这里我假设你用的是Linux系统Ubuntu或CentOS都可以如果是Windows建议使用WSL2。2.1 安装Python和pip首先确保你的系统有Python 3.8或更高版本python3 --version如果没安装Python用下面的命令安装# Ubuntu/Debian系统 sudo apt update sudo apt install python3 python3-pip # CentOS/RHEL系统 sudo yum install python3 python3-pip2.2 安装虚拟环境工具可选但推荐为了避免不同项目的依赖冲突建议使用虚拟环境pip3 install virtualenv创建并激活虚拟环境# 创建虚拟环境 python3 -m virtualenv tao8k_env # 激活虚拟环境 source tao8k_env/bin/activate激活后你的命令行前面会出现(tao8k_env)的提示表示已经在虚拟环境中了。2.3 安装XinferenceXinference是一个模型服务框架能帮我们轻松地部署和运行AI模型。用pip安装pip install xinference安装完成后检查是否安装成功xinference --version3. 下载tao-8k模型到本地3.1 从Hugging Face获取模型tao-8k模型托管在Hugging Face上我们可以用几种方式下载。这里我推荐用git lfs因为它能更好地处理大文件。首先安装git和git-lfs# Ubuntu/Debian sudo apt install git git-lfs # CentOS/RHEL sudo yum install git git-lfs初始化git-lfsgit lfs install3.2 克隆模型仓库现在来下载模型。我们把它下载到/usr/local/bin/AI-ModelScope/tao-8k这个路径这是tao-8k模型的默认本地地址。# 创建目录 sudo mkdir -p /usr/local/bin/AI-ModelScope sudo chown $USER:$USER /usr/local/bin/AI-ModelScope # 进入目录 cd /usr/local/bin/AI-ModelScope # 克隆模型仓库 git clone https://huggingface.co/amu/tao-8k tao-8k这个过程可能会有点慢因为模型文件比较大。耐心等待直到看到克隆完成的提示。3.3 验证下载结果下载完成后检查一下模型文件ls -lh tao-8k/你应该能看到类似这样的文件结构config.json- 模型配置文件pytorch_model.bin- 主要的模型权重文件tokenizer.json- 分词器文件special_tokens_map.json- 特殊标记映射文件如果这些文件都在说明下载成功了。4. 使用Xinference部署tao-8k模型4.1 启动Xinference服务现在模型已经下载到本地了接下来用Xinference把它跑起来。首先我们需要告诉Xinference模型在哪里。启动服务时指定模型路径xinference-local --model-dir /usr/local/bin/AI-ModelScope/tao-8k --host 0.0.0.0 --port 9997参数说明--model-dir指定模型所在的目录--host 0.0.0.0允许所有IP访问--port 9997指定服务端口你可以改成其他端口4.2 检查服务是否启动成功服务启动后我们需要确认它真的跑起来了。Xinference会把日志输出到/root/workspace/xinference.log如果你用root用户运行或者当前用户的家目录下。查看日志cat /root/workspace/xinference.log或者如果日志在其他位置# 查找日志文件 find / -name xinference.log 2/dev/null在日志里你应该能看到类似这样的信息INFO: Started server process [12345] INFO: Waiting for application startup. INFO: Application startup complete. INFO: Uvicorn running on http://0.0.0.0:9997重要提示第一次加载模型可能需要一些时间特别是如果你的服务器配置不高。在加载过程中可能会看到“模型已注册”之类的信息这是正常的不影响最终部署结果。只要最后看到“Application startup complete”就说明成功了。4.3 通过Web界面访问Xinference提供了一个Web界面让我们能直观地使用模型。打开浏览器输入http://你的服务器IP:9997如果你在本地运行可以直接访问http://localhost:99975. 实际使用让tao-8k为你工作5.1 Web界面基本操作进入Web界面后你会看到一个简洁的操作面板。找到tao-8k模型点击进入它的详情页面。这里通常有几个主要功能区域模型信息显示模型的基本参数比如支持的上下文长度、向量维度等文本输入框在这里输入你想要转换的文本示例按钮点击可以快速加载预设的示例文本相似度比对按钮计算不同文本之间的相似度5.2 第一次尝试使用示例文本如果你是第一次用建议先点击“示例”按钮。系统会自动填充一些示例文本比如示例1人工智能是计算机科学的一个分支 示例2机器学习是人工智能的一种实现方式 示例3今天天气真好适合出去散步点击“相似度比对”按钮系统会计算这些文本之间的相似度并以百分比的形式显示出来。你应该能看到类似这样的结果示例1和示例2的相似度较高比如85%因为它们都关于AI示例1和示例3的相似度较低比如15%因为内容完全不相关5.3 输入自己的文本理解了基本操作后试试用自己的文本。在输入框里写上你想分析的内容比如输入1深度学习需要大量的数据和计算资源 输入2神经网络通过多层处理提取特征 输入3我中午吃了面条味道不错再次点击“相似度比对”看看结果是否符合你的预期。前两句都是关于深度学习的相似度应该较高第三句是生活内容和前两句的相似度应该很低。5.4 通过API调用模型除了Web界面你还可以通过API直接调用模型这在开发应用时特别有用。首先获取模型的endpoint地址。在Xinference的Web界面找到tao-8k模型通常会显示一个API地址类似http://localhost:9997/v1/embeddings然后用Python代码调用import requests import json # API地址 url http://localhost:9997/v1/embeddings # 请求头 headers { Content-Type: application/json } # 请求数据 data { model: tao-8k, input: 这里是你要转换的文本内容 } # 发送请求 response requests.post(url, headersheaders, datajson.dumps(data)) # 处理响应 if response.status_code 200: result response.json() # 提取向量 embedding_vector result[data][0][embedding] print(f向量维度{len(embedding_vector)}) print(f前10个值{embedding_vector[:10]}) else: print(f请求失败{response.status_code}) print(response.text)这段代码会把你的文本发送给tao-8k模型模型返回一个向量一串数字。这个向量就是文本的数学表示你可以用它做各种分析。6. 常见问题与解决方案6.1 模型加载慢怎么办第一次加载tao-8k可能会比较慢特别是内存较小的服务器。有几个优化建议增加服务器内存如果可能给服务器加内存。tao-8k运行大概需要2-4GB内存。使用SSD硬盘机械硬盘的读取速度会影响模型加载SSD会快很多。耐心等待第一次加载后模型会缓存在内存中后续调用就很快了。6.2 遇到“模型已注册”的提示在加载过程中你可能会在日志里看到“模型已注册”之类的信息。这通常不是错误只是系统在记录模型加载的各个阶段。只要最终看到启动成功的提示就不用担心。6.3 Web界面打不开如果无法访问Web界面检查这几个地方防火墙设置确保服务器的防火墙允许9997端口或你指定的端口的访问# 查看防火墙状态 sudo ufw status # 开放端口Ubuntu sudo ufw allow 9997服务是否真的在运行# 查看进程 ps aux | grep xinference # 查看端口占用 netstat -tlnp | grep 9997绑定地址问题如果你在服务器上运行想从本地电脑访问确保启动命令中用了--host 0.0.0.0而不是127.0.0.16.4 内存不足错误如果看到内存不足的错误可以尝试减少并发请求一次只处理一个请求不要同时发太多缩短文本长度虽然tao-8k支持长文本但特别长的文本还是会消耗更多内存。如果内存紧张可以适当缩短输入文本增加交换空间临时增加一些交换空间应急# 创建交换文件 sudo fallocate -l 2G /swapfile sudo chmod 600 /swapfile sudo mkswap /swapfile sudo swapon /swapfile # 永久生效添加到/etc/fstab echo /swapfile none swap sw 0 0 | sudo tee -a /etc/fstab7. 进阶使用把tao-8k集成到你的项目中7.1 构建简单的文本搜索系统有了tao-8k你可以轻松构建一个文本搜索系统。基本思路是把所有文档用tao-8k转换成向量存储这些向量可以用数据库也可以直接存文件当用户搜索时把搜索词也转换成向量计算搜索词向量和所有文档向量的相似度返回相似度最高的文档这里有个简单的示例代码import numpy as np from sklearn.metrics.pairwise import cosine_similarity import requests import json class TextSearchSystem: def __init__(self, api_urlhttp://localhost:9997/v1/embeddings): self.api_url api_url self.documents [] # 存储原始文档 self.embeddings [] # 存储文档向量 def add_document(self, text): 添加文档到系统 # 获取文档向量 vector self.get_embedding(text) # 存储 self.documents.append(text) self.embeddings.append(vector) return len(self.documents) - 1 # 返回文档ID def get_embedding(self, text): 调用tao-8k获取文本向量 data { model: tao-8k, input: text } response requests.post(self.api_url, headers{Content-Type: application/json}, datajson.dumps(data)) if response.status_code 200: result response.json() return result[data][0][embedding] else: raise Exception(f获取向量失败{response.text}) def search(self, query, top_k5): 搜索相关文档 # 获取查询词的向量 query_vector self.get_embedding(query) # 计算相似度 similarities [] for doc_vector in self.embeddings: # 使用余弦相似度 sim cosine_similarity([query_vector], [doc_vector])[0][0] similarities.append(sim) # 获取最相似的文档 sorted_indices np.argsort(similarities)[::-1] # 降序排列 results [] for i in range(min(top_k, len(sorted_indices))): idx sorted_indices[i] results.append({ document: self.documents[idx], similarity: similarities[idx], rank: i 1 }) return results # 使用示例 if __name__ __main__: # 创建搜索系统 search_system TextSearchSystem() # 添加一些文档 search_system.add_document(人工智能是计算机科学的一个分支) search_system.add_document(机器学习是人工智能的一种实现方式) search_system.add_document(深度学习需要大量的训练数据) search_system.add_document(今天天气很好适合户外运动) # 搜索 results search_system.search(计算机科学和人工智能, top_k3) # 显示结果 for result in results: print(f排名{result[rank]}相似度{result[similarity]:.2%}) print(f文档{result[document][:50]}...) print(- * 50)7.2 文档聚类分析另一个有用的应用是文档聚类——自动把相似的文档分组。这在处理大量文档时特别有用比如新闻分类、客户反馈分析等。from sklearn.cluster import KMeans import numpy as np class DocumentCluster: def __init__(self, search_system): self.search_system search_system self.cluster_labels None def cluster_documents(self, n_clusters3): 对文档进行聚类 # 获取所有文档向量 embeddings np.array(self.search_system.embeddings) # 使用K-Means聚类 kmeans KMeans(n_clustersn_clusters, random_state42) self.cluster_labels kmeans.fit_predict(embeddings) return self.cluster_labels def get_cluster_documents(self, cluster_id): 获取指定聚类的文档 if self.cluster_labels is None: raise Exception(请先运行聚类分析) cluster_docs [] for i, label in enumerate(self.cluster_labels): if label cluster_id: cluster_docs.append({ document: self.search_system.documents[i], index: i }) return cluster_docs # 使用示例 if __name__ __main__: # 假设已经有了一个包含很多文档的search_system # 创建聚类分析器 cluster_analyzer DocumentCluster(search_system) # 进行聚类假设我们想要分成3类 labels cluster_analyzer.cluster_documents(n_clusters3) # 查看每个聚类的内容 for cluster_id in range(3): print(f\n 聚类 {cluster_id} ) docs cluster_analyzer.get_cluster_documents(cluster_id) for doc in docs[:3]: # 只显示前3个文档 print(f- {doc[document][:60]}...)8. 总结通过今天的实战我们完成了tao-8k Embedding模型从下载到部署的完整流程。让我们回顾一下关键步骤第一步是下载模型我们从Hugging Face克隆了tao-8k的仓库把它保存到本地路径。记住模型的默认位置是/usr/local/bin/AI-ModelScope/tao-8k。第二步是部署服务我们用Xinference框架启动了模型服务。这个过程可能会遇到模型加载慢的问题特别是第一次运行耐心等待就好。记得查看日志确认服务是否启动成功。第三步是实际使用我们通过Web界面和API两种方式调用了模型。Web界面适合快速测试和演示API接口则方便集成到自己的应用中。tao-8k最大的优势是支持长文本这在处理文档、报告等场景下特别有用。你可以用它构建智能搜索系统、文档分类工具或者任何需要理解文本语义的应用。如果你在部署或使用过程中遇到问题可以参考常见问题部分或者查看官方文档。这个模型是完全开源的你也可以根据自己的需求进行调整和优化。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
tao-8k Embedding模型入门实战：从Hugging Face下载到本地路径部署
发布时间：2026/7/15 22:47:42
tao-8k Embedding模型入门实战从Hugging Face下载到本地路径部署想找一个能处理超长文本的Embedding模型试试tao-8k吧。这是一个专门为长文档设计的文本向量化工具能把几千字的文章变成计算机能理解的数字向量而且支持长达8192个字符的上下文。今天我就带你从零开始把这个模型从Hugging Face下载下来然后部署到本地路径最后用Xinference跑起来看看效果。整个过程其实挺简单的就算你之前没怎么接触过AI模型部署跟着步骤走也能搞定。我会把每个环节都讲清楚包括可能会遇到的坑和解决办法。1. 认识tao-8k一个专为长文本设计的Embedding模型1.1 模型是什么能做什么tao-8k是一个开源的文本嵌入模型由Hugging Face上的开发者amu创建并维护。它的核心任务是把一段文字比如一篇文章、一个段落甚至一句话转换成一串数字这串数字就是“向量”。你可以把这串数字想象成这段文字的“指纹”——每段文字都有自己独特的指纹相似的文字指纹也相似。有了这个指纹计算机就能做很多事情搜索和匹配你输入一个问题系统能找到最相关的文档文本分类自动判断一篇文章属于哪个类别聚类分析把相似的文章自动归到一起推荐系统根据你读过的内容推荐相似的文章1.2 为什么选择tao-8k市面上有很多Embedding模型tao-8k有几个明显的优势支持超长文本这是它最大的亮点。很多模型只能处理几百个字符但tao-8k能处理8192个字符相当于好几页纸的内容。这意味着你可以直接把整篇报告、长文章扔给它不用切分成小块。开源免费模型完全开源你可以自由使用、修改不用担心授权问题。中文友好虽然模型支持多种语言但在中文文本上的表现很不错这对中文用户来说是个好消息。轻量高效模型大小适中在普通服务器上就能跑起来不需要特别昂贵的硬件。2. 环境准备安装必要的工具在开始下载和部署之前我们需要准备好运行环境。这里我假设你用的是Linux系统Ubuntu或CentOS都可以如果是Windows建议使用WSL2。2.1 安装Python和pip首先确保你的系统有Python 3.8或更高版本python3 --version如果没安装Python用下面的命令安装# Ubuntu/Debian系统 sudo apt update sudo apt install python3 python3-pip # CentOS/RHEL系统 sudo yum install python3 python3-pip2.2 安装虚拟环境工具可选但推荐为了避免不同项目的依赖冲突建议使用虚拟环境pip3 install virtualenv创建并激活虚拟环境# 创建虚拟环境 python3 -m virtualenv tao8k_env # 激活虚拟环境 source tao8k_env/bin/activate激活后你的命令行前面会出现(tao8k_env)的提示表示已经在虚拟环境中了。2.3 安装XinferenceXinference是一个模型服务框架能帮我们轻松地部署和运行AI模型。用pip安装pip install xinference安装完成后检查是否安装成功xinference --version3. 下载tao-8k模型到本地3.1 从Hugging Face获取模型tao-8k模型托管在Hugging Face上我们可以用几种方式下载。这里我推荐用git lfs因为它能更好地处理大文件。首先安装git和git-lfs# Ubuntu/Debian sudo apt install git git-lfs # CentOS/RHEL sudo yum install git git-lfs初始化git-lfsgit lfs install3.2 克隆模型仓库现在来下载模型。我们把它下载到/usr/local/bin/AI-ModelScope/tao-8k这个路径这是tao-8k模型的默认本地地址。# 创建目录 sudo mkdir -p /usr/local/bin/AI-ModelScope sudo chown $USER:$USER /usr/local/bin/AI-ModelScope # 进入目录 cd /usr/local/bin/AI-ModelScope # 克隆模型仓库 git clone https://huggingface.co/amu/tao-8k tao-8k这个过程可能会有点慢因为模型文件比较大。耐心等待直到看到克隆完成的提示。3.3 验证下载结果下载完成后检查一下模型文件ls -lh tao-8k/你应该能看到类似这样的文件结构config.json- 模型配置文件pytorch_model.bin- 主要的模型权重文件tokenizer.json- 分词器文件special_tokens_map.json- 特殊标记映射文件如果这些文件都在说明下载成功了。4. 使用Xinference部署tao-8k模型4.1 启动Xinference服务现在模型已经下载到本地了接下来用Xinference把它跑起来。首先我们需要告诉Xinference模型在哪里。启动服务时指定模型路径xinference-local --model-dir /usr/local/bin/AI-ModelScope/tao-8k --host 0.0.0.0 --port 9997参数说明--model-dir指定模型所在的目录--host 0.0.0.0允许所有IP访问--port 9997指定服务端口你可以改成其他端口4.2 检查服务是否启动成功服务启动后我们需要确认它真的跑起来了。Xinference会把日志输出到/root/workspace/xinference.log如果你用root用户运行或者当前用户的家目录下。查看日志cat /root/workspace/xinference.log或者如果日志在其他位置# 查找日志文件 find / -name xinference.log 2/dev/null在日志里你应该能看到类似这样的信息INFO: Started server process [12345] INFO: Waiting for application startup. INFO: Application startup complete. INFO: Uvicorn running on http://0.0.0.0:9997重要提示第一次加载模型可能需要一些时间特别是如果你的服务器配置不高。在加载过程中可能会看到“模型已注册”之类的信息这是正常的不影响最终部署结果。只要最后看到“Application startup complete”就说明成功了。4.3 通过Web界面访问Xinference提供了一个Web界面让我们能直观地使用模型。打开浏览器输入http://你的服务器IP:9997如果你在本地运行可以直接访问http://localhost:99975. 实际使用让tao-8k为你工作5.1 Web界面基本操作进入Web界面后你会看到一个简洁的操作面板。找到tao-8k模型点击进入它的详情页面。这里通常有几个主要功能区域模型信息显示模型的基本参数比如支持的上下文长度、向量维度等文本输入框在这里输入你想要转换的文本示例按钮点击可以快速加载预设的示例文本相似度比对按钮计算不同文本之间的相似度5.2 第一次尝试使用示例文本如果你是第一次用建议先点击“示例”按钮。系统会自动填充一些示例文本比如示例1人工智能是计算机科学的一个分支 示例2机器学习是人工智能的一种实现方式 示例3今天天气真好适合出去散步点击“相似度比对”按钮系统会计算这些文本之间的相似度并以百分比的形式显示出来。你应该能看到类似这样的结果示例1和示例2的相似度较高比如85%因为它们都关于AI示例1和示例3的相似度较低比如15%因为内容完全不相关5.3 输入自己的文本理解了基本操作后试试用自己的文本。在输入框里写上你想分析的内容比如输入1深度学习需要大量的数据和计算资源 输入2神经网络通过多层处理提取特征 输入3我中午吃了面条味道不错再次点击“相似度比对”看看结果是否符合你的预期。前两句都是关于深度学习的相似度应该较高第三句是生活内容和前两句的相似度应该很低。5.4 通过API调用模型除了Web界面你还可以通过API直接调用模型这在开发应用时特别有用。首先获取模型的endpoint地址。在Xinference的Web界面找到tao-8k模型通常会显示一个API地址类似http://localhost:9997/v1/embeddings然后用Python代码调用import requests import json # API地址 url http://localhost:9997/v1/embeddings # 请求头 headers { Content-Type: application/json } # 请求数据 data { model: tao-8k, input: 这里是你要转换的文本内容 } # 发送请求 response requests.post(url, headersheaders, datajson.dumps(data)) # 处理响应 if response.status_code 200: result response.json() # 提取向量 embedding_vector result[data][0][embedding] print(f向量维度{len(embedding_vector)}) print(f前10个值{embedding_vector[:10]}) else: print(f请求失败{response.status_code}) print(response.text)这段代码会把你的文本发送给tao-8k模型模型返回一个向量一串数字。这个向量就是文本的数学表示你可以用它做各种分析。6. 常见问题与解决方案6.1 模型加载慢怎么办第一次加载tao-8k可能会比较慢特别是内存较小的服务器。有几个优化建议增加服务器内存如果可能给服务器加内存。tao-8k运行大概需要2-4GB内存。使用SSD硬盘机械硬盘的读取速度会影响模型加载SSD会快很多。耐心等待第一次加载后模型会缓存在内存中后续调用就很快了。6.2 遇到“模型已注册”的提示在加载过程中你可能会在日志里看到“模型已注册”之类的信息。这通常不是错误只是系统在记录模型加载的各个阶段。只要最终看到启动成功的提示就不用担心。6.3 Web界面打不开如果无法访问Web界面检查这几个地方防火墙设置确保服务器的防火墙允许9997端口或你指定的端口的访问# 查看防火墙状态 sudo ufw status # 开放端口Ubuntu sudo ufw allow 9997服务是否真的在运行# 查看进程 ps aux | grep xinference # 查看端口占用 netstat -tlnp | grep 9997绑定地址问题如果你在服务器上运行想从本地电脑访问确保启动命令中用了--host 0.0.0.0而不是127.0.0.16.4 内存不足错误如果看到内存不足的错误可以尝试减少并发请求一次只处理一个请求不要同时发太多缩短文本长度虽然tao-8k支持长文本但特别长的文本还是会消耗更多内存。如果内存紧张可以适当缩短输入文本增加交换空间临时增加一些交换空间应急# 创建交换文件 sudo fallocate -l 2G /swapfile sudo chmod 600 /swapfile sudo mkswap /swapfile sudo swapon /swapfile # 永久生效添加到/etc/fstab echo /swapfile none swap sw 0 0 | sudo tee -a /etc/fstab7. 进阶使用把tao-8k集成到你的项目中7.1 构建简单的文本搜索系统有了tao-8k你可以轻松构建一个文本搜索系统。基本思路是把所有文档用tao-8k转换成向量存储这些向量可以用数据库也可以直接存文件当用户搜索时把搜索词也转换成向量计算搜索词向量和所有文档向量的相似度返回相似度最高的文档这里有个简单的示例代码import numpy as np from sklearn.metrics.pairwise import cosine_similarity import requests import json class TextSearchSystem: def __init__(self, api_urlhttp://localhost:9997/v1/embeddings): self.api_url api_url self.documents [] # 存储原始文档 self.embeddings [] # 存储文档向量 def add_document(self, text): 添加文档到系统 # 获取文档向量 vector self.get_embedding(text) # 存储 self.documents.append(text) self.embeddings.append(vector) return len(self.documents) - 1 # 返回文档ID def get_embedding(self, text): 调用tao-8k获取文本向量 data { model: tao-8k, input: text } response requests.post(self.api_url, headers{Content-Type: application/json}, datajson.dumps(data)) if response.status_code 200: result response.json() return result[data][0][embedding] else: raise Exception(f获取向量失败{response.text}) def search(self, query, top_k5): 搜索相关文档 # 获取查询词的向量 query_vector self.get_embedding(query) # 计算相似度 similarities [] for doc_vector in self.embeddings: # 使用余弦相似度 sim cosine_similarity([query_vector], [doc_vector])[0][0] similarities.append(sim) # 获取最相似的文档 sorted_indices np.argsort(similarities)[::-1] # 降序排列 results [] for i in range(min(top_k, len(sorted_indices))): idx sorted_indices[i] results.append({ document: self.documents[idx], similarity: similarities[idx], rank: i 1 }) return results # 使用示例 if __name__ __main__: # 创建搜索系统 search_system TextSearchSystem() # 添加一些文档 search_system.add_document(人工智能是计算机科学的一个分支) search_system.add_document(机器学习是人工智能的一种实现方式) search_system.add_document(深度学习需要大量的训练数据) search_system.add_document(今天天气很好适合户外运动) # 搜索 results search_system.search(计算机科学和人工智能, top_k3) # 显示结果 for result in results: print(f排名{result[rank]}相似度{result[similarity]:.2%}) print(f文档{result[document][:50]}...) print(- * 50)7.2 文档聚类分析另一个有用的应用是文档聚类——自动把相似的文档分组。这在处理大量文档时特别有用比如新闻分类、客户反馈分析等。from sklearn.cluster import KMeans import numpy as np class DocumentCluster: def __init__(self, search_system): self.search_system search_system self.cluster_labels None def cluster_documents(self, n_clusters3): 对文档进行聚类 # 获取所有文档向量 embeddings np.array(self.search_system.embeddings) # 使用K-Means聚类 kmeans KMeans(n_clustersn_clusters, random_state42) self.cluster_labels kmeans.fit_predict(embeddings) return self.cluster_labels def get_cluster_documents(self, cluster_id): 获取指定聚类的文档 if self.cluster_labels is None: raise Exception(请先运行聚类分析) cluster_docs [] for i, label in enumerate(self.cluster_labels): if label cluster_id: cluster_docs.append({ document: self.search_system.documents[i], index: i }) return cluster_docs # 使用示例 if __name__ __main__: # 假设已经有了一个包含很多文档的search_system # 创建聚类分析器 cluster_analyzer DocumentCluster(search_system) # 进行聚类假设我们想要分成3类 labels cluster_analyzer.cluster_documents(n_clusters3) # 查看每个聚类的内容 for cluster_id in range(3): print(f\n 聚类 {cluster_id} ) docs cluster_analyzer.get_cluster_documents(cluster_id) for doc in docs[:3]: # 只显示前3个文档 print(f- {doc[document][:60]}...)8. 总结通过今天的实战我们完成了tao-8k Embedding模型从下载到部署的完整流程。让我们回顾一下关键步骤第一步是下载模型我们从Hugging Face克隆了tao-8k的仓库把它保存到本地路径。记住模型的默认位置是/usr/local/bin/AI-ModelScope/tao-8k。第二步是部署服务我们用Xinference框架启动了模型服务。这个过程可能会遇到模型加载慢的问题特别是第一次运行耐心等待就好。记得查看日志确认服务是否启动成功。第三步是实际使用我们通过Web界面和API两种方式调用了模型。Web界面适合快速测试和演示API接口则方便集成到自己的应用中。tao-8k最大的优势是支持长文本这在处理文档、报告等场景下特别有用。你可以用它构建智能搜索系统、文档分类工具或者任何需要理解文本语义的应用。如果你在部署或使用过程中遇到问题可以参考常见问题部分或者查看官方文档。这个模型是完全开源的你也可以根据自己的需求进行调整和优化。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
