nlp_structbert_sentence-similarity_chinese-large 模型微调实战适配垂直领域术语想让一个通用的中文句子相似度模型在你的专业领域里也能“听懂行话”吗比如在医疗场景下它要能明白“心梗”和“心肌梗死”说的是同一回事在金融领域它得清楚“降准”和“下调存款准备金率”其实是一个意思。通用模型往往在这些专业术语面前表现不佳。今天我们就来手把手教你如何对nlp_structbert_sentence-similarity_chinese-large这个强大的中文句子相似度模型进行微调让它成为你垂直领域的“专家”。整个过程从准备数据、编写训练代码到调整参数、最后重新部署我都会用最直白的话讲清楚哪怕你之前没怎么接触过模型微调也能跟着做下来。1. 微调准备理解我们要做什么在开始敲代码之前我们先花几分钟搞清楚微调到底是怎么一回事。你可以把它想象成让一个已经学识渊博的“通才”去进修一门“专业课”。nlp_structbert_sentence-similarity_chinese-large本身是一个在大量通用中文文本上训练好的模型它理解日常语言的相似性已经很强了。但它的知识库里可能缺少某个特定领域的“黑话”和“术语体系”。微调的过程就是用你这个领域特有的数据句子对和它们的相似度分数去稍微调整一下模型内部的“知识权重”让它更适应你这个领域的表达习惯。这次实战的目标很明确教会模型理解垂直领域内句子的相似性。完成后当你输入两个专业句子模型给出的相似度分数会更准确、更符合领域专家的判断。1.1 环境与工具准备工欲善其事必先利其器。我们需要准备好运行环境。基础环境推荐使用 Linux 系统如 Ubuntu 20.04或 macOS当然 Windows 配合 WSL 也可以。确保你的 Python 版本在 3.7 到 3.9 之间太新的版本可能遇到依赖包兼容性问题。关键工具包我们将主要依赖 PyTorch 和 Hugging Face 的 Transformers 库。你可以通过以下命令一次性安装好pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 # 根据你的CUDA版本选择 pip install transformers datasets scikit-learn pandas tqdm解释一下第一行是安装 PyTorch 深度学习框架第二行安装了我们需要的核心工具包其中transformers提供了模型和训练工具datasets方便我们处理数据scikit-learn用来评估效果pandas和tqdm则是数据处理和进度显示的好帮手。模型起点我们将从 Hugging Face Model Hub 加载nlp_structbert_sentence-similarity_chinese-large作为微调的起点。无需手动下载代码中指定名称即可。2. 领域数据准备给模型准备“专业教材”数据是微调的“粮食”质量直接决定模型“学”得好不好。我们需要准备一个由(句子A, 句子B, 相似度标签)组成的数据集。2.1 数据格式与构建标签通常是一个介于 0 到 1 之间的浮点数或者 0/1 的二分类标签0代表不相似1代表相似。对于相似度任务使用连续分数如0.2, 0.8, 1.0通常比二分类能提供更细腻的监督信号。你的数据可能来自业务日志用户搜索查询和点击标题的对齐信息。人工标注请领域专家对一批句子对进行相似度打分。公开数据集寻找与你领域相关的公开语义匹配数据集。数据增强通过同义词替换、句式变换等方式从已有的高质量句子对中生成新的训练样本。假设我们处理的是“医疗健康”领域数据可以保存为medical_sentence_pairs.csv内容类似这样sentence1sentence2score如何预防高血压高血压的预防措施有哪些1.0心梗发作时有什么症状急性心肌梗死的前兆是什么0.9糖尿病患者可以吃水果吗感冒了需要多喝水。0.1阿司匹林用于抗凝血。拜阿司匹林能防止血栓形成。0.952.2 数据加载与预处理接下来我们写一段 Python 代码来加载和准备这些数据。我们使用datasets库它能很好地与transformers训练器集成。import pandas as pd from datasets import Dataset, DatasetDict from sklearn.model_selection import train_test_split # 1. 加载CSV数据 df pd.read_csv(‘medical_sentence_pairs.csv’) # 2. 划分训练集、验证集和测试集例如 80%/10%/10% train_df, temp_df train_test_split(df, test_size0.2, random_state42) eval_df, test_df train_test_split(temp_df, test_size0.5, random_state42) # 3. 转换为 Hugging Face Dataset 格式 train_dataset Dataset.from_pandas(train_df) eval_dataset Dataset.from_pandas(eval_df) test_dataset Dataset.from_pandas(test_df) # 组合成 DatasetDict raw_datasets DatasetDict({ “train”: train_dataset, “validation”: eval_dataset, “test”: test_dataset }) print(f”训练集大小{len(raw_datasets[‘train’])}”) print(f”验证集大小{len(raw_datasets[‘validation’])}”) print(f”测试集大小{len(raw_datasets[‘test’])}”)3. 模型加载与训练脚本编写数据准备好了现在我们来搭建训练的核心部分。3.1 加载模型与分词器nlp_structbert_sentence-similarity_chinese-large是一个基于 BERT 架构的模型专门用于计算句子相似度。我们加载它自带的分词器Tokenizer和模型本体。from transformers import AutoTokenizer, AutoModelForSequenceClassification, TrainingArguments, Trainer # 模型名称 model_name “IDEA-CCNL/Erlangshen-StructBERT-large-Chinese-sentence-similarity” # 加载分词器 tokenizer AutoTokenizer.from_pretrained(model_name) # 加载模型 # num_labels1 表示回归任务输出一个连续的相似度分数 model AutoModelForSequenceClassification.from_pretrained(model_name, num_labels1) print(“模型和分词器加载完毕”)3.2 数据预处理函数我们需要一个函数将文本句子对转换成模型可以理解的数字 IDinput_ids、注意力掩码attention_mask等。def preprocess_function(examples): # 对每一对句子进行编码 # truncationTrue 和 padding‘max_length’ 确保所有输入长度一致 # max_length 根据你的数据情况设置一般不超过模型最大限制如512 encoded tokenizer( examples[‘sentence1’], examples[‘sentence2’], truncationTrue, padding‘max_length’, max_length128 ) # 将标签分数转换为浮点型张量 encoded[‘labels’] [float(score) for score in examples[‘score’]] return encoded # 应用预处理函数到所有数据集 tokenized_datasets raw_datasets.map(preprocess_function, batchedTrue)3.3 定义训练参数与训练器这是微调的核心控制台。TrainingArguments决定了模型如何学习。from transformers import TrainingArguments, Trainer # 定义训练参数 training_args TrainingArguments( output_dir“./structbert_medical_finetuned”, # 输出目录 evaluation_strategy“epoch”, # 每个epoch后在验证集上评估 save_strategy“epoch”, # 每个epoch保存一次模型 learning_rate2e-5, # 学习率微调通常设置较小 per_device_train_batch_size16, # 每个GPU/CPU的训练批次大小 per_device_eval_batch_size16, # 评估批次大小 num_train_epochs3, # 训练轮数 weight_decay0.01, # 权重衰减防止过拟合 load_best_model_at_endTrue, # 训练结束后加载验证集上最好的模型 metric_for_best_model“eval_loss”, # 根据什么指标选择最佳模型loss越小越好 logging_dir‘./logs’, # 日志目录 logging_steps50, # 每50步记录一次日志 save_total_limit2, # 只保留最近2个模型检查点 ) # 为了在训练时看到评估指标如皮尔逊相关系数我们需要定义一个计算指标的函数 from sklearn.metrics import mean_squared_error, mean_absolute_error import numpy as np def compute_metrics(eval_pred): predictions, labels eval_pred # predictions 是模型输出可能是一个元组我们取第一个元素 if isinstance(predictions, tuple): predictions predictions[0] predictions predictions.squeeze() # 从 [batch, 1] 变为 [batch,] # 计算均方误差和平均绝对误差 mse mean_squared_error(labels, predictions) mae mean_absolute_error(labels, predictions) # 计算皮尔逊相关系数这是相似度任务常用的指标 pearson_corr np.corrcoef(labels, predictions)[0, 1] return {“eval_mse”: mse, “eval_mae”: mae, “eval_pearson”: pearson_corr} # 初始化训练器 trainer Trainer( modelmodel, argstraining_args, train_datasettokenized_datasets[“train”], eval_datasettokenized_datasets[“validation”], tokenizertokenizer, compute_metricscompute_metrics, # 传入我们定义的指标计算函数 )3.4 开始训练与评估一切就绪启动训练# 开始训练 trainer.train() # 训练完成后在测试集上评估最终模型性能 test_results trainer.evaluate(tokenized_datasets[“test”]) print(f”测试集结果{test_results}”) # 保存最终模型和分词器 trainer.save_model(‘./final_medical_structbert’) tokenizer.save_pretrained(‘./final_medical_structbert’) print(“模型已保存至 ‘./final_medical_structbert’ 目录”)运行这段代码你会看到训练日志输出包括每一步的损失loss和每个epoch结束后的评估指标。eval_pearson皮尔逊相关系数越接近1说明模型预测的相似度分数与真实标签越一致效果越好。4. 超参数调整与效果提升第一次训练的结果可能不是最好的我们可以通过调整一些“旋钮”来优化。学习率learning_rate这是最重要的参数之一。2e-5是BERT类模型微调的常用起点。如果训练损失下降很慢可以尝试稍微调大如3e-5,5e-5如果损失震荡或不下降则调小如1e-5。训练轮数num_train_epochs通常3到5轮就够了。观察验证集损失如果连续几轮不再下降甚至上升可能就过拟合了需要提前停止。批次大小batch_size在GPU内存允许的情况下较大的批次如32可能训练更稳定。如果出现内存不足OOM错误就调小这个值。最大序列长度max_length在预处理函数中设置。如果你的领域句子普遍很长可以增加到256或512但不要超过模型限制且会更慢。如果句子短设为64或128可以加快训练。权重衰减weight_decay一种正则化手段防止模型过拟合。默认值0.01通常效果不错如果想加强正则化可以调大。一个实用的调参流程先用默认参数跑一轮作为基线。如果效果不佳首先调整学习率这是影响最大的。然后可以尝试调整训练轮数避免欠拟合或过拟合。最后再考虑调整批次大小和权重衰减。调整后重新运行第3部分的训练脚本即可。记得每次换参数时修改output_dir或清空旧目录以免混淆。5. 在星图GPU平台重新部署微调后模型模型微调好了最终我们要把它用起来。在星图这样的GPU云平台上部署能让你获得强大的推理算力。5.1 准备部署文件首先将我们保存的模型final_medical_structbert目录打包。这个目录里应该包含pytorch_model.bin模型权重、config.json模型配置和分词器相关文件。然后你需要编写一个简单的推理服务脚本例如app.py使用 Flask 或 FastAPI 框架。这里以 Flask 为例# app.py from flask import Flask, request, jsonify from transformers import AutoTokenizer, AutoModelForSequenceClassification import torch import numpy as np app Flask(__name__) # 加载我们微调好的模型和分词器 model_path “./final_medical_structbert” tokenizer AutoTokenizer.from_pretrained(model_path) model AutoModelForSequenceClassification.from_pretrained(model_path) model.eval() # 设置为评估模式 app.route(‘/predict’, methods[‘POST’]) def predict(): data request.get_json() sentence1 data.get(‘sentence1’, ‘’) sentence2 data.get(‘sentence2’, ‘’) if not sentence1 or not sentence2: return jsonify({‘error’: ‘请提供 sentence1 和 sentence2 参数’}), 400 # 预处理输入 inputs tokenizer(sentence1, sentence2, return_tensors“pt”, truncationTrue, paddingTrue, max_length128) # 推理 with torch.no_grad(): outputs model(**inputs) # 获取相似度分数sigmoid将输出映射到0-1之间假设你的标签也在0-1 similarity_score torch.sigmoid(outputs.logits).item() return jsonify({ ‘sentence1’: sentence1, ‘sentence2’: sentence2, ‘similarity_score’: similarity_score }) if __name__ ‘__main__’: app.run(host‘0.0.0.0’, port5000)5.2 创建Docker镜像为了让部署更简单我们创建一个Dockerfile# Dockerfile FROM python:3.8-slim WORKDIR /app COPY requirements.txt . RUN pip install --no-cache-dir -r requirements.txt COPY final_medical_structbert ./final_medical_structbert COPY app.py . EXPOSE 5000 CMD [“python”, “app.py”]requirements.txt文件内容flask2.0.0 torch transformers scikit-learn5.3 在星图平台部署上传文件将你的模型文件夹、app.py、Dockerfile、requirements.txt打包上传到星图平台提供的代码仓库或文件存储中。构建镜像在星图平台的服务中选择基于你的Dockerfile构建一个新的容器镜像。部署服务使用构建好的镜像创建一个在线服务。配置好资源选择带GPU的实例类型会极大加速推理、暴露端口如5000。测试接口服务启动后你会获得一个访问地址。使用curl或 Postman 等工具发送 POST 请求进行测试。curl -X POST https://你的服务地址/predict \ -H “Content-Type: application/json” \ -d ‘{“sentence1”: “心梗急救方法” “sentence2”: “心肌梗死如何现场抢救”}’如果一切顺利你会收到一个包含similarity_score的 JSON 响应这个分数就是你的领域专家模型计算出的句子相似度。6. 总结与后续建议走完这一整套流程你应该已经成功拥有了一个能理解你所在领域术语的句子相似度模型了。从准备数据、训练调参到部署上线每一步都是机器学习项目落地的典型环节。微调后的模型在处理领域内文本时其准确性和可靠性相比通用模型会有显著提升。不过模型的效果天花板很大程度上取决于你提供的“教材”——训练数据的质量和数量。如果后续有更多、更高质量的标注数据可以继续用同样的流程进行增量训练让模型持续进化。在实际业务中集成这个模型时别忘了做好监控比如记录一下它的预测分数分布、响应时间偶尔抽样进行人工校验确保它一直在线且表现稳定。模型部署上线不是终点而是它在实际业务中创造价值的起点。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
nlp_structbert_sentence-similarity_chinese-large 模型微调实战：适配垂直领域术语
发布时间：2026/8/1 7:52:37
nlp_structbert_sentence-similarity_chinese-large 模型微调实战适配垂直领域术语想让一个通用的中文句子相似度模型在你的专业领域里也能“听懂行话”吗比如在医疗场景下它要能明白“心梗”和“心肌梗死”说的是同一回事在金融领域它得清楚“降准”和“下调存款准备金率”其实是一个意思。通用模型往往在这些专业术语面前表现不佳。今天我们就来手把手教你如何对nlp_structbert_sentence-similarity_chinese-large这个强大的中文句子相似度模型进行微调让它成为你垂直领域的“专家”。整个过程从准备数据、编写训练代码到调整参数、最后重新部署我都会用最直白的话讲清楚哪怕你之前没怎么接触过模型微调也能跟着做下来。1. 微调准备理解我们要做什么在开始敲代码之前我们先花几分钟搞清楚微调到底是怎么一回事。你可以把它想象成让一个已经学识渊博的“通才”去进修一门“专业课”。nlp_structbert_sentence-similarity_chinese-large本身是一个在大量通用中文文本上训练好的模型它理解日常语言的相似性已经很强了。但它的知识库里可能缺少某个特定领域的“黑话”和“术语体系”。微调的过程就是用你这个领域特有的数据句子对和它们的相似度分数去稍微调整一下模型内部的“知识权重”让它更适应你这个领域的表达习惯。这次实战的目标很明确教会模型理解垂直领域内句子的相似性。完成后当你输入两个专业句子模型给出的相似度分数会更准确、更符合领域专家的判断。1.1 环境与工具准备工欲善其事必先利其器。我们需要准备好运行环境。基础环境推荐使用 Linux 系统如 Ubuntu 20.04或 macOS当然 Windows 配合 WSL 也可以。确保你的 Python 版本在 3.7 到 3.9 之间太新的版本可能遇到依赖包兼容性问题。关键工具包我们将主要依赖 PyTorch 和 Hugging Face 的 Transformers 库。你可以通过以下命令一次性安装好pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 # 根据你的CUDA版本选择 pip install transformers datasets scikit-learn pandas tqdm解释一下第一行是安装 PyTorch 深度学习框架第二行安装了我们需要的核心工具包其中transformers提供了模型和训练工具datasets方便我们处理数据scikit-learn用来评估效果pandas和tqdm则是数据处理和进度显示的好帮手。模型起点我们将从 Hugging Face Model Hub 加载nlp_structbert_sentence-similarity_chinese-large作为微调的起点。无需手动下载代码中指定名称即可。2. 领域数据准备给模型准备“专业教材”数据是微调的“粮食”质量直接决定模型“学”得好不好。我们需要准备一个由(句子A, 句子B, 相似度标签)组成的数据集。2.1 数据格式与构建标签通常是一个介于 0 到 1 之间的浮点数或者 0/1 的二分类标签0代表不相似1代表相似。对于相似度任务使用连续分数如0.2, 0.8, 1.0通常比二分类能提供更细腻的监督信号。你的数据可能来自业务日志用户搜索查询和点击标题的对齐信息。人工标注请领域专家对一批句子对进行相似度打分。公开数据集寻找与你领域相关的公开语义匹配数据集。数据增强通过同义词替换、句式变换等方式从已有的高质量句子对中生成新的训练样本。假设我们处理的是“医疗健康”领域数据可以保存为medical_sentence_pairs.csv内容类似这样sentence1sentence2score如何预防高血压高血压的预防措施有哪些1.0心梗发作时有什么症状急性心肌梗死的前兆是什么0.9糖尿病患者可以吃水果吗感冒了需要多喝水。0.1阿司匹林用于抗凝血。拜阿司匹林能防止血栓形成。0.952.2 数据加载与预处理接下来我们写一段 Python 代码来加载和准备这些数据。我们使用datasets库它能很好地与transformers训练器集成。import pandas as pd from datasets import Dataset, DatasetDict from sklearn.model_selection import train_test_split # 1. 加载CSV数据 df pd.read_csv(‘medical_sentence_pairs.csv’) # 2. 划分训练集、验证集和测试集例如 80%/10%/10% train_df, temp_df train_test_split(df, test_size0.2, random_state42) eval_df, test_df train_test_split(temp_df, test_size0.5, random_state42) # 3. 转换为 Hugging Face Dataset 格式 train_dataset Dataset.from_pandas(train_df) eval_dataset Dataset.from_pandas(eval_df) test_dataset Dataset.from_pandas(test_df) # 组合成 DatasetDict raw_datasets DatasetDict({ “train”: train_dataset, “validation”: eval_dataset, “test”: test_dataset }) print(f”训练集大小{len(raw_datasets[‘train’])}”) print(f”验证集大小{len(raw_datasets[‘validation’])}”) print(f”测试集大小{len(raw_datasets[‘test’])}”)3. 模型加载与训练脚本编写数据准备好了现在我们来搭建训练的核心部分。3.1 加载模型与分词器nlp_structbert_sentence-similarity_chinese-large是一个基于 BERT 架构的模型专门用于计算句子相似度。我们加载它自带的分词器Tokenizer和模型本体。from transformers import AutoTokenizer, AutoModelForSequenceClassification, TrainingArguments, Trainer # 模型名称 model_name “IDEA-CCNL/Erlangshen-StructBERT-large-Chinese-sentence-similarity” # 加载分词器 tokenizer AutoTokenizer.from_pretrained(model_name) # 加载模型 # num_labels1 表示回归任务输出一个连续的相似度分数 model AutoModelForSequenceClassification.from_pretrained(model_name, num_labels1) print(“模型和分词器加载完毕”)3.2 数据预处理函数我们需要一个函数将文本句子对转换成模型可以理解的数字 IDinput_ids、注意力掩码attention_mask等。def preprocess_function(examples): # 对每一对句子进行编码 # truncationTrue 和 padding‘max_length’ 确保所有输入长度一致 # max_length 根据你的数据情况设置一般不超过模型最大限制如512 encoded tokenizer( examples[‘sentence1’], examples[‘sentence2’], truncationTrue, padding‘max_length’, max_length128 ) # 将标签分数转换为浮点型张量 encoded[‘labels’] [float(score) for score in examples[‘score’]] return encoded # 应用预处理函数到所有数据集 tokenized_datasets raw_datasets.map(preprocess_function, batchedTrue)3.3 定义训练参数与训练器这是微调的核心控制台。TrainingArguments决定了模型如何学习。from transformers import TrainingArguments, Trainer # 定义训练参数 training_args TrainingArguments( output_dir“./structbert_medical_finetuned”, # 输出目录 evaluation_strategy“epoch”, # 每个epoch后在验证集上评估 save_strategy“epoch”, # 每个epoch保存一次模型 learning_rate2e-5, # 学习率微调通常设置较小 per_device_train_batch_size16, # 每个GPU/CPU的训练批次大小 per_device_eval_batch_size16, # 评估批次大小 num_train_epochs3, # 训练轮数 weight_decay0.01, # 权重衰减防止过拟合 load_best_model_at_endTrue, # 训练结束后加载验证集上最好的模型 metric_for_best_model“eval_loss”, # 根据什么指标选择最佳模型loss越小越好 logging_dir‘./logs’, # 日志目录 logging_steps50, # 每50步记录一次日志 save_total_limit2, # 只保留最近2个模型检查点 ) # 为了在训练时看到评估指标如皮尔逊相关系数我们需要定义一个计算指标的函数 from sklearn.metrics import mean_squared_error, mean_absolute_error import numpy as np def compute_metrics(eval_pred): predictions, labels eval_pred # predictions 是模型输出可能是一个元组我们取第一个元素 if isinstance(predictions, tuple): predictions predictions[0] predictions predictions.squeeze() # 从 [batch, 1] 变为 [batch,] # 计算均方误差和平均绝对误差 mse mean_squared_error(labels, predictions) mae mean_absolute_error(labels, predictions) # 计算皮尔逊相关系数这是相似度任务常用的指标 pearson_corr np.corrcoef(labels, predictions)[0, 1] return {“eval_mse”: mse, “eval_mae”: mae, “eval_pearson”: pearson_corr} # 初始化训练器 trainer Trainer( modelmodel, argstraining_args, train_datasettokenized_datasets[“train”], eval_datasettokenized_datasets[“validation”], tokenizertokenizer, compute_metricscompute_metrics, # 传入我们定义的指标计算函数 )3.4 开始训练与评估一切就绪启动训练# 开始训练 trainer.train() # 训练完成后在测试集上评估最终模型性能 test_results trainer.evaluate(tokenized_datasets[“test”]) print(f”测试集结果{test_results}”) # 保存最终模型和分词器 trainer.save_model(‘./final_medical_structbert’) tokenizer.save_pretrained(‘./final_medical_structbert’) print(“模型已保存至 ‘./final_medical_structbert’ 目录”)运行这段代码你会看到训练日志输出包括每一步的损失loss和每个epoch结束后的评估指标。eval_pearson皮尔逊相关系数越接近1说明模型预测的相似度分数与真实标签越一致效果越好。4. 超参数调整与效果提升第一次训练的结果可能不是最好的我们可以通过调整一些“旋钮”来优化。学习率learning_rate这是最重要的参数之一。2e-5是BERT类模型微调的常用起点。如果训练损失下降很慢可以尝试稍微调大如3e-5,5e-5如果损失震荡或不下降则调小如1e-5。训练轮数num_train_epochs通常3到5轮就够了。观察验证集损失如果连续几轮不再下降甚至上升可能就过拟合了需要提前停止。批次大小batch_size在GPU内存允许的情况下较大的批次如32可能训练更稳定。如果出现内存不足OOM错误就调小这个值。最大序列长度max_length在预处理函数中设置。如果你的领域句子普遍很长可以增加到256或512但不要超过模型限制且会更慢。如果句子短设为64或128可以加快训练。权重衰减weight_decay一种正则化手段防止模型过拟合。默认值0.01通常效果不错如果想加强正则化可以调大。一个实用的调参流程先用默认参数跑一轮作为基线。如果效果不佳首先调整学习率这是影响最大的。然后可以尝试调整训练轮数避免欠拟合或过拟合。最后再考虑调整批次大小和权重衰减。调整后重新运行第3部分的训练脚本即可。记得每次换参数时修改output_dir或清空旧目录以免混淆。5. 在星图GPU平台重新部署微调后模型模型微调好了最终我们要把它用起来。在星图这样的GPU云平台上部署能让你获得强大的推理算力。5.1 准备部署文件首先将我们保存的模型final_medical_structbert目录打包。这个目录里应该包含pytorch_model.bin模型权重、config.json模型配置和分词器相关文件。然后你需要编写一个简单的推理服务脚本例如app.py使用 Flask 或 FastAPI 框架。这里以 Flask 为例# app.py from flask import Flask, request, jsonify from transformers import AutoTokenizer, AutoModelForSequenceClassification import torch import numpy as np app Flask(__name__) # 加载我们微调好的模型和分词器 model_path “./final_medical_structbert” tokenizer AutoTokenizer.from_pretrained(model_path) model AutoModelForSequenceClassification.from_pretrained(model_path) model.eval() # 设置为评估模式 app.route(‘/predict’, methods[‘POST’]) def predict(): data request.get_json() sentence1 data.get(‘sentence1’, ‘’) sentence2 data.get(‘sentence2’, ‘’) if not sentence1 or not sentence2: return jsonify({‘error’: ‘请提供 sentence1 和 sentence2 参数’}), 400 # 预处理输入 inputs tokenizer(sentence1, sentence2, return_tensors“pt”, truncationTrue, paddingTrue, max_length128) # 推理 with torch.no_grad(): outputs model(**inputs) # 获取相似度分数sigmoid将输出映射到0-1之间假设你的标签也在0-1 similarity_score torch.sigmoid(outputs.logits).item() return jsonify({ ‘sentence1’: sentence1, ‘sentence2’: sentence2, ‘similarity_score’: similarity_score }) if __name__ ‘__main__’: app.run(host‘0.0.0.0’, port5000)5.2 创建Docker镜像为了让部署更简单我们创建一个Dockerfile# Dockerfile FROM python:3.8-slim WORKDIR /app COPY requirements.txt . RUN pip install --no-cache-dir -r requirements.txt COPY final_medical_structbert ./final_medical_structbert COPY app.py . EXPOSE 5000 CMD [“python”, “app.py”]requirements.txt文件内容flask2.0.0 torch transformers scikit-learn5.3 在星图平台部署上传文件将你的模型文件夹、app.py、Dockerfile、requirements.txt打包上传到星图平台提供的代码仓库或文件存储中。构建镜像在星图平台的服务中选择基于你的Dockerfile构建一个新的容器镜像。部署服务使用构建好的镜像创建一个在线服务。配置好资源选择带GPU的实例类型会极大加速推理、暴露端口如5000。测试接口服务启动后你会获得一个访问地址。使用curl或 Postman 等工具发送 POST 请求进行测试。curl -X POST https://你的服务地址/predict \ -H “Content-Type: application/json” \ -d ‘{“sentence1”: “心梗急救方法” “sentence2”: “心肌梗死如何现场抢救”}’如果一切顺利你会收到一个包含similarity_score的 JSON 响应这个分数就是你的领域专家模型计算出的句子相似度。6. 总结与后续建议走完这一整套流程你应该已经成功拥有了一个能理解你所在领域术语的句子相似度模型了。从准备数据、训练调参到部署上线每一步都是机器学习项目落地的典型环节。微调后的模型在处理领域内文本时其准确性和可靠性相比通用模型会有显著提升。不过模型的效果天花板很大程度上取决于你提供的“教材”——训练数据的质量和数量。如果后续有更多、更高质量的标注数据可以继续用同样的流程进行增量训练让模型持续进化。在实际业务中集成这个模型时别忘了做好监控比如记录一下它的预测分数分布、响应时间偶尔抽样进行人工校验确保它一直在线且表现稳定。模型部署上线不是终点而是它在实际业务中创造价值的起点。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
