EVA-02模型.NET平台调用实战C#集成开源大模型文本服务如果你是一名.NET开发者最近想在自己的C#项目里接入一个强大的文本生成模型比如EVA-02可能会有点无从下手。网上的教程大多围绕Python生态关于怎么在.NET里优雅、稳定地调用这类服务的资料确实不多。别担心这篇文章就是为你准备的。我会带你一步步走完整个流程从最基础的HTTP请求开始到最终封装成一个健壮、可复用的类库。整个过程不涉及复杂的模型部署我们假设你已经有一个可以访问的EVA-02模型API服务地址。我们的目标很明确用C#写代码让这个模型为我们工作。1. 准备工作理清思路与搭建环境在开始敲代码之前我们先花几分钟把要做的事情和需要的东西理清楚。这能帮你避免后面踩坑。1.1 你需要什么首先确保你手头有这几样东西一个可用的EVA-02 API服务这是核心。你需要知道它的访问地址比如http://your-server:port/v1/chat/completions以及必要的认证信息比如API Key。如果还没有你需要先按照模型提供方的文档将其部署好。.NET开发环境我使用的是.NET 8但.NET 6或7也同样适用。确保你的Visual Studio、VS Code或者Rider已经就绪。基础的C#和异步编程知识我们会大量使用async/await和HttpClient。1.2 项目初始化打开你的IDE创建一个新的控制台应用项目。这足够我们演示核心逻辑后续你可以轻松地将代码迁移到ASP.NET Core Web API或任何其他类型的项目中。dotnet new console -n Eva02ClientDemo cd Eva02ClientDemo然后我们需要添加一个关键的NuGet包Newtonsoft.Json。虽然.NET Core自带System.Text.Json但Newtonsoft.Json在处理复杂JSON和动态对象时依然非常顺手和强大。dotnet add package Newtonsoft.Json好了环境准备完毕。接下来我们进入最核心的部分——如何与API对话。2. 核心交互理解请求与响应调用大模型API本质上就是按照约定好的格式发送一个HTTP POST请求然后解析它返回的JSON数据。EVA-02这类兼容OpenAI API格式的模型其请求和响应结构通常很固定。2.1 设计数据模型我们先定义C#类来描述要发送的数据和期望接收的数据。这能让我们的代码更清晰、更安全。在项目中创建一个名为Models的文件夹然后添加两个类。第一个是请求模型ChatCompletionRequest// Models/ChatCompletionRequest.cs using System.Collections.Generic; using Newtonsoft.Json; namespace Eva02ClientDemo.Models { public class ChatCompletionRequest { [JsonProperty(model)] public string Model { get; set; } eva-02; // 根据你的模型名称调整 [JsonProperty(messages)] public ListChatMessage Messages { get; set; } new ListChatMessage(); [JsonProperty(max_tokens)] public int? MaxTokens { get; set; } 2048; [JsonProperty(temperature)] public double? Temperature { get; set; } 0.7; [JsonProperty(stream)] public bool Stream { get; set; } false; // 我们先处理非流式响应 } public class ChatMessage { [JsonProperty(role)] public string Role { get; set; } // system, user, assistant [JsonProperty(content)] public string Content { get; set; } } }第二个是响应模型ChatCompletionResponse// Models/ChatCompletionResponse.cs using System.Collections.Generic; using Newtonsoft.Json; namespace Eva02ClientDemo.Models { public class ChatCompletionResponse { [JsonProperty(id)] public string Id { get; set; } [JsonProperty(choices)] public ListChatChoice Choices { get; set; } [JsonProperty(usage)] public TokenUsage Usage { get; set; } } public class ChatChoice { [JsonProperty(index)] public int Index { get; set; } [JsonProperty(message)] public ChatMessage Message { get; set; } [JsonProperty(finish_reason)] public string FinishReason { get; set; } } public class TokenUsage { [JsonProperty(prompt_tokens)] public int PromptTokens { get; set; } [JsonProperty(completion_tokens)] public int CompletionTokens { get; set; } [JsonProperty(total_tokens)] public int TotalTokens { get; set; } } }定义好这些类后面序列化和反序列化JSON就非常方便了。2.2 发起第一次调用现在让我们在Program.cs里写一个最简单直接的调用方法。我们会把API地址、密钥等配置先硬编码后面再来优化。// Program.cs using System; using System.Net.Http; using System.Text; using System.Threading.Tasks; using Eva02ClientDemo.Models; using Newtonsoft.Json; namespace Eva02ClientDemo { class Program { // 替换成你的实际API地址和密钥 private static readonly string ApiBaseUrl http://your-server:port/v1; private static readonly string ApiKey your-api-key-here; // 如果需要的话 static async Task Main(string[] args) { await MakeSimpleRequestAsync(); } static async Task MakeSimpleRequestAsync() { // 1. 创建HttpClient实例注意实际项目中应使用IHttpClientFactory using var httpClient new HttpClient(); httpClient.BaseAddress new Uri(ApiBaseUrl); // 添加认证头如果需要 if (!string.IsNullOrEmpty(ApiKey)) { httpClient.DefaultRequestHeaders.Add(Authorization, $Bearer {ApiKey}); } // 2. 构建请求数据 var request new ChatCompletionRequest { Model eva-02, Messages new ListChatMessage { new ChatMessage { Role user, Content 用C#写一个Hello World程序。 } }, MaxTokens 500, Temperature 0.8 }; var jsonContent JsonConvert.SerializeObject(request); var httpContent new StringContent(jsonContent, Encoding.UTF8, application/json); Console.WriteLine(正在发送请求...); try { // 3. 发送POST请求 var response await httpClient.PostAsync(chat/completions, httpContent); response.EnsureSuccessStatusCode(); // 确保HTTP状态码为2xx // 4. 读取并解析响应 var responseBody await response.Content.ReadAsStringAsync(); var completionResponse JsonConvert.DeserializeObjectChatCompletionResponse(responseBody); // 5. 输出结果 if (completionResponse?.Choices?.Count 0) { var reply completionResponse.Choices[0].Message.Content; Console.WriteLine($模型回复\n{reply}); Console.WriteLine($\n令牌使用情况提示词 {completionResponse.Usage.PromptTokens} 生成 {completionResponse.Usage.CompletionTokens} 总计 {completionResponse.Usage.TotalTokens}); } else { Console.WriteLine(未收到有效回复。); } } catch (HttpRequestException ex) { Console.WriteLine($HTTP请求失败{ex.Message}); } catch (Exception ex) { Console.WriteLine($发生错误{ex.Message}); } } } }运行这段代码如果一切配置正确你应该能看到模型返回的C#代码和令牌使用情况。恭喜你你已经成功在.NET中调用了大模型API但这只是个开始现在的代码还很脆弱不适合用在生产环境。3. 构建健壮的服务客户端直接使用HttpClient并到处写请求逻辑会导致代码难以维护和测试。我们需要把它封装起来加入重试、超时、日志等生产级功能。3.1 创建可配置的客户端类我们来创建一个Eva02Client类它负责所有与API交互的细节。// Services/Eva02Client.cs using System; using System.Net.Http; using System.Text; using System.Threading; using System.Threading.Tasks; using Eva02ClientDemo.Models; using Microsoft.Extensions.Logging; using Microsoft.Extensions.Options; using Newtonsoft.Json; namespace Eva02ClientDemo.Services { public class Eva02ClientOptions { public string BaseUrl { get; set; } public string ApiKey { get; set; } public TimeSpan Timeout { get; set; } TimeSpan.FromSeconds(60); public int MaxRetryAttempts { get; set; } 3; } public interface IEva02Client { TaskChatCompletionResponse GetChatCompletionAsync(ChatCompletionRequest request, CancellationToken cancellationToken default); } public class Eva02Client : IEva02Client { private readonly HttpClient _httpClient; private readonly Eva02ClientOptions _options; private readonly ILoggerEva02Client _logger; private readonly JsonSerializerSettings _jsonSettings; public Eva02Client(HttpClient httpClient, IOptionsEva02ClientOptions options, ILoggerEva02Client logger) { _httpClient httpClient; _options options.Value; _logger logger; // 配置HttpClient _httpClient.BaseAddress new Uri(_options.BaseUrl); _httpClient.Timeout _options.Timeout; if (!string.IsNullOrEmpty(_options.ApiKey)) { _httpClient.DefaultRequestHeaders.Add(Authorization, $Bearer {_options.ApiKey}); } _jsonSettings new JsonSerializerSettings { NullValueHandling NullValueHandling.Ignore }; } public async TaskChatCompletionResponse GetChatCompletionAsync(ChatCompletionRequest request, CancellationToken cancellationToken default) { var retryAttempt 0; var maxAttempts _options.MaxRetryAttempts; while (true) { try { var jsonContent JsonConvert.SerializeObject(request, _jsonSettings); var httpContent new StringContent(jsonContent, Encoding.UTF8, application/json); _logger.LogDebug(发送请求到EVA-02 API模型{Model}消息数{MessageCount}, request.Model, request.Messages.Count); var response await _httpClient.PostAsync(chat/completions, httpContent, cancellationToken); if (response.IsSuccessStatusCode) { var responseBody await response.Content.ReadAsStringAsync(cancellationToken); var result JsonConvert.DeserializeObjectChatCompletionResponse(responseBody); _logger.LogDebug(请求成功使用令牌{TotalTokens}, result?.Usage?.TotalTokens); return result; } else { // 处理HTTP错误非2xx状态码 var errorBody await response.Content.ReadAsStringAsync(cancellationToken); _logger.LogError(API返回错误。状态码{StatusCode} 响应{ErrorBody}, response.StatusCode, errorBody); // 如果是客户端错误4xx通常重试无意义 if ((int)response.StatusCode 400 (int)response.StatusCode 500) { throw new HttpRequestException($客户端错误{response.StatusCode} - {errorBody}); } // 如果是服务器错误5xx可以重试 throw new HttpRequestException($服务器错误{response.StatusCode}); } } catch (TaskCanceledException) when (cancellationToken.IsCancellationRequested) { _logger.LogInformation(请求被用户取消。); throw; } catch (TaskCanceledException ex) { // 通常是超时 _logger.LogWarning(ex, 请求超时。); if (retryAttempt maxAttempts) throw new TimeoutException(请求超时且重试次数已用尽。, ex); } catch (HttpRequestException ex) { _logger.LogWarning(ex, HTTP请求失败。); if (retryAttempt maxAttempts) throw; } catch (Exception ex) { _logger.LogError(ex, 发生意外错误。); throw; // 非网络/超时错误直接抛出 } // 重试逻辑 retryAttempt; if (retryAttempt maxAttempts) { throw new Exception($请求失败已达到最大重试次数{maxAttempts}。); } var delay TimeSpan.FromSeconds(Math.Pow(2, retryAttempt)); // 指数退避 _logger.LogInformation(等待 {DelaySeconds} 秒后重试尝试 {RetryAttempt}/{MaxAttempts}..., delay.TotalSeconds, retryAttempt, maxAttempts); await Task.Delay(delay, cancellationToken); } } } }这个类做了很多事依赖注入、配置化管理、指数退避重试、详细的日志记录以及更完善的错误处理。这才是能在实际项目中使用的代码。3.2 在ASP.NET Core中集成在Web项目中使用这个客户端会更加方便。我们需要在Program.cs或Startup.cs中配置服务和选项。首先安装必要的NuGet包如果创建的是Web项目dotnet add package Microsoft.Extensions.Http dotnet add package Microsoft.Extensions.Logging.Console然后进行服务注册// 在 Program.cs 的 builder.Build() 之前添加 builder.Services.ConfigureEva02ClientOptions(builder.Configuration.GetSection(Eva02)); builder.Services.AddHttpClientIEva02Client, Eva02Client(); builder.Services.AddLogging(configure configure.AddConsole());在appsettings.json中添加配置{ Eva02: { BaseUrl: http://your-server:port/v1, ApiKey: your-api-key-here, TimeoutSeconds: 60, MaxRetryAttempts: 3 } }现在你可以在任何控制器或服务中通过构造函数注入IEva02Client来使用了。4. 进阶技巧与最佳实践基础调用和封装完成后我们来看看如何让这个集成更强大、更好用。4.1 处理流式响应前面的例子是等待完整响应返回。对于生成长文本流式响应能显著提升用户体验。EVA-02 API通常也支持这个功能。处理流式响应稍微复杂一些需要读取分块的服务器发送事件Server-Sent Events。下面是一个简化的示例public async IAsyncEnumerablestring StreamChatCompletionAsync(ChatCompletionRequest request, CancellationToken cancellationToken default) { request.Stream true; // 启用流式 var jsonContent JsonConvert.SerializeObject(request, _jsonSettings); var httpContent new StringContent(jsonContent, Encoding.UTF8, application/json); using var response await _httpClient.PostAsync(chat/completions, httpContent, HttpCompletionOption.ResponseHeadersRead, cancellationToken); response.EnsureSuccessStatusCode(); using var stream await response.Content.ReadAsStreamAsync(cancellationToken); using var reader new StreamReader(stream); while (!reader.EndOfStream !cancellationToken.IsCancellationRequested) { var line await reader.ReadLineAsync(cancellationToken); if (string.IsNullOrEmpty(line) || !line.StartsWith(data: )) continue; var data line[data: .Length..]; if (data [DONE]) yield break; try { var streamEvent JsonConvert.DeserializeObjectStreamChatResponse(data); var content streamEvent?.Choices?.FirstOrDefault()?.Delta?.Content; if (!string.IsNullOrEmpty(content)) { yield return content; } } catch (JsonException) { // 忽略解析错误继续读取下一行 } } } // 需要定义流式响应的数据模型 public class StreamChatResponse { public ListStreamChatChoice Choices { get; set; } } public class StreamChatChoice { public StreamChatDelta Delta { get; set; } } public class StreamChatDelta { public string Content { get; set; } }在ASP.NET Core Controller中你可以返回IAsyncEnumerablestring来实现实时推送。4.2 实现简单的对话上下文管理单次问答很简单但多轮对话需要维护历史消息。我们可以创建一个简单的服务来管理会话状态。public class ChatSessionService { private readonly IEva02Client _client; private readonly ListChatMessage _messageHistory new(); public ChatSessionService(IEva02Client client) { _client client; } public void AddSystemMessage(string content) { _messageHistory.Add(new ChatMessage { Role system, Content content }); } public async Taskstring SendMessageAsync(string userMessage, CancellationToken ct default) { // 添加用户消息到历史 _messageHistory.Add(new ChatMessage { Role user, Content userMessage }); var request new ChatCompletionRequest { Model eva-02, Messages new ListChatMessage(_messageHistory), // 发送整个历史 MaxTokens 1024 }; var response await _client.GetChatCompletionAsync(request, ct); if (response?.Choices?.Count 0) { var assistantReply response.Choices[0].Message.Content; // 添加助手回复到历史 _messageHistory.Add(new ChatMessage { Role assistant, Content assistantReply }); return assistantReply; } return 抱歉未能获取回复。; } public void ClearHistory() { _messageHistory.Clear(); } }4.3 性能与可靠性考量在实际项目中你还需要考虑以下几点使用IHttpClientFactory上面的示例在构造函数中直接使用了注入的HttpClient在生产中应确保通过IHttpClientFactory创建以管理连接生命周期和避免DNS问题。配置Polly策略对于重试、熔断、超时等弹性策略可以考虑集成Polly库它比手写重试逻辑更强大、更灵活。监控与指标记录每次调用的延迟、令牌使用量、成功率这对于容量规划和问题排查至关重要。速率限制了解API的速率限制并在客户端实现相应的限流或队列机制避免请求被拒绝。5. 总结走完这一趟你应该对如何在.NET平台集成像EVA-02这样的开源大模型文本服务有了清晰的路径。我们从最简单的HTTP请求开始逐步构建了一个具备重试、日志、配置化等生产级特性的客户端类库并探讨了流式响应、会话管理等进阶话题。关键点在于将API调用封装成定义良好的服务接口并通过依赖注入来管理其生命周期和配置。这样无论是在控制台程序、后台服务还是ASP.NET Core Web API中你都能轻松地复用这套逻辑。实际集成时肯定会遇到一些具体问题比如网络波动、API格式的细微差异、或者需要处理更复杂的上下文。但有了今天打下的这个基础框架解决这些问题就变成了在这个框架上添砖加瓦而不是从头开始。希望这篇文章能帮你顺利地把大模型的能力引入到你的下一个.NET项目中。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
EVA-02模型.NET平台调用实战：C#集成开源大模型文本服务
发布时间：2026/6/17 11:44:07
EVA-02模型.NET平台调用实战C#集成开源大模型文本服务如果你是一名.NET开发者最近想在自己的C#项目里接入一个强大的文本生成模型比如EVA-02可能会有点无从下手。网上的教程大多围绕Python生态关于怎么在.NET里优雅、稳定地调用这类服务的资料确实不多。别担心这篇文章就是为你准备的。我会带你一步步走完整个流程从最基础的HTTP请求开始到最终封装成一个健壮、可复用的类库。整个过程不涉及复杂的模型部署我们假设你已经有一个可以访问的EVA-02模型API服务地址。我们的目标很明确用C#写代码让这个模型为我们工作。1. 准备工作理清思路与搭建环境在开始敲代码之前我们先花几分钟把要做的事情和需要的东西理清楚。这能帮你避免后面踩坑。1.1 你需要什么首先确保你手头有这几样东西一个可用的EVA-02 API服务这是核心。你需要知道它的访问地址比如http://your-server:port/v1/chat/completions以及必要的认证信息比如API Key。如果还没有你需要先按照模型提供方的文档将其部署好。.NET开发环境我使用的是.NET 8但.NET 6或7也同样适用。确保你的Visual Studio、VS Code或者Rider已经就绪。基础的C#和异步编程知识我们会大量使用async/await和HttpClient。1.2 项目初始化打开你的IDE创建一个新的控制台应用项目。这足够我们演示核心逻辑后续你可以轻松地将代码迁移到ASP.NET Core Web API或任何其他类型的项目中。dotnet new console -n Eva02ClientDemo cd Eva02ClientDemo然后我们需要添加一个关键的NuGet包Newtonsoft.Json。虽然.NET Core自带System.Text.Json但Newtonsoft.Json在处理复杂JSON和动态对象时依然非常顺手和强大。dotnet add package Newtonsoft.Json好了环境准备完毕。接下来我们进入最核心的部分——如何与API对话。2. 核心交互理解请求与响应调用大模型API本质上就是按照约定好的格式发送一个HTTP POST请求然后解析它返回的JSON数据。EVA-02这类兼容OpenAI API格式的模型其请求和响应结构通常很固定。2.1 设计数据模型我们先定义C#类来描述要发送的数据和期望接收的数据。这能让我们的代码更清晰、更安全。在项目中创建一个名为Models的文件夹然后添加两个类。第一个是请求模型ChatCompletionRequest// Models/ChatCompletionRequest.cs using System.Collections.Generic; using Newtonsoft.Json; namespace Eva02ClientDemo.Models { public class ChatCompletionRequest { [JsonProperty(model)] public string Model { get; set; } eva-02; // 根据你的模型名称调整 [JsonProperty(messages)] public ListChatMessage Messages { get; set; } new ListChatMessage(); [JsonProperty(max_tokens)] public int? MaxTokens { get; set; } 2048; [JsonProperty(temperature)] public double? Temperature { get; set; } 0.7; [JsonProperty(stream)] public bool Stream { get; set; } false; // 我们先处理非流式响应 } public class ChatMessage { [JsonProperty(role)] public string Role { get; set; } // system, user, assistant [JsonProperty(content)] public string Content { get; set; } } }第二个是响应模型ChatCompletionResponse// Models/ChatCompletionResponse.cs using System.Collections.Generic; using Newtonsoft.Json; namespace Eva02ClientDemo.Models { public class ChatCompletionResponse { [JsonProperty(id)] public string Id { get; set; } [JsonProperty(choices)] public ListChatChoice Choices { get; set; } [JsonProperty(usage)] public TokenUsage Usage { get; set; } } public class ChatChoice { [JsonProperty(index)] public int Index { get; set; } [JsonProperty(message)] public ChatMessage Message { get; set; } [JsonProperty(finish_reason)] public string FinishReason { get; set; } } public class TokenUsage { [JsonProperty(prompt_tokens)] public int PromptTokens { get; set; } [JsonProperty(completion_tokens)] public int CompletionTokens { get; set; } [JsonProperty(total_tokens)] public int TotalTokens { get; set; } } }定义好这些类后面序列化和反序列化JSON就非常方便了。2.2 发起第一次调用现在让我们在Program.cs里写一个最简单直接的调用方法。我们会把API地址、密钥等配置先硬编码后面再来优化。// Program.cs using System; using System.Net.Http; using System.Text; using System.Threading.Tasks; using Eva02ClientDemo.Models; using Newtonsoft.Json; namespace Eva02ClientDemo { class Program { // 替换成你的实际API地址和密钥 private static readonly string ApiBaseUrl http://your-server:port/v1; private static readonly string ApiKey your-api-key-here; // 如果需要的话 static async Task Main(string[] args) { await MakeSimpleRequestAsync(); } static async Task MakeSimpleRequestAsync() { // 1. 创建HttpClient实例注意实际项目中应使用IHttpClientFactory using var httpClient new HttpClient(); httpClient.BaseAddress new Uri(ApiBaseUrl); // 添加认证头如果需要 if (!string.IsNullOrEmpty(ApiKey)) { httpClient.DefaultRequestHeaders.Add(Authorization, $Bearer {ApiKey}); } // 2. 构建请求数据 var request new ChatCompletionRequest { Model eva-02, Messages new ListChatMessage { new ChatMessage { Role user, Content 用C#写一个Hello World程序。 } }, MaxTokens 500, Temperature 0.8 }; var jsonContent JsonConvert.SerializeObject(request); var httpContent new StringContent(jsonContent, Encoding.UTF8, application/json); Console.WriteLine(正在发送请求...); try { // 3. 发送POST请求 var response await httpClient.PostAsync(chat/completions, httpContent); response.EnsureSuccessStatusCode(); // 确保HTTP状态码为2xx // 4. 读取并解析响应 var responseBody await response.Content.ReadAsStringAsync(); var completionResponse JsonConvert.DeserializeObjectChatCompletionResponse(responseBody); // 5. 输出结果 if (completionResponse?.Choices?.Count 0) { var reply completionResponse.Choices[0].Message.Content; Console.WriteLine($模型回复\n{reply}); Console.WriteLine($\n令牌使用情况提示词 {completionResponse.Usage.PromptTokens} 生成 {completionResponse.Usage.CompletionTokens} 总计 {completionResponse.Usage.TotalTokens}); } else { Console.WriteLine(未收到有效回复。); } } catch (HttpRequestException ex) { Console.WriteLine($HTTP请求失败{ex.Message}); } catch (Exception ex) { Console.WriteLine($发生错误{ex.Message}); } } } }运行这段代码如果一切配置正确你应该能看到模型返回的C#代码和令牌使用情况。恭喜你你已经成功在.NET中调用了大模型API但这只是个开始现在的代码还很脆弱不适合用在生产环境。3. 构建健壮的服务客户端直接使用HttpClient并到处写请求逻辑会导致代码难以维护和测试。我们需要把它封装起来加入重试、超时、日志等生产级功能。3.1 创建可配置的客户端类我们来创建一个Eva02Client类它负责所有与API交互的细节。// Services/Eva02Client.cs using System; using System.Net.Http; using System.Text; using System.Threading; using System.Threading.Tasks; using Eva02ClientDemo.Models; using Microsoft.Extensions.Logging; using Microsoft.Extensions.Options; using Newtonsoft.Json; namespace Eva02ClientDemo.Services { public class Eva02ClientOptions { public string BaseUrl { get; set; } public string ApiKey { get; set; } public TimeSpan Timeout { get; set; } TimeSpan.FromSeconds(60); public int MaxRetryAttempts { get; set; } 3; } public interface IEva02Client { TaskChatCompletionResponse GetChatCompletionAsync(ChatCompletionRequest request, CancellationToken cancellationToken default); } public class Eva02Client : IEva02Client { private readonly HttpClient _httpClient; private readonly Eva02ClientOptions _options; private readonly ILoggerEva02Client _logger; private readonly JsonSerializerSettings _jsonSettings; public Eva02Client(HttpClient httpClient, IOptionsEva02ClientOptions options, ILoggerEva02Client logger) { _httpClient httpClient; _options options.Value; _logger logger; // 配置HttpClient _httpClient.BaseAddress new Uri(_options.BaseUrl); _httpClient.Timeout _options.Timeout; if (!string.IsNullOrEmpty(_options.ApiKey)) { _httpClient.DefaultRequestHeaders.Add(Authorization, $Bearer {_options.ApiKey}); } _jsonSettings new JsonSerializerSettings { NullValueHandling NullValueHandling.Ignore }; } public async TaskChatCompletionResponse GetChatCompletionAsync(ChatCompletionRequest request, CancellationToken cancellationToken default) { var retryAttempt 0; var maxAttempts _options.MaxRetryAttempts; while (true) { try { var jsonContent JsonConvert.SerializeObject(request, _jsonSettings); var httpContent new StringContent(jsonContent, Encoding.UTF8, application/json); _logger.LogDebug(发送请求到EVA-02 API模型{Model}消息数{MessageCount}, request.Model, request.Messages.Count); var response await _httpClient.PostAsync(chat/completions, httpContent, cancellationToken); if (response.IsSuccessStatusCode) { var responseBody await response.Content.ReadAsStringAsync(cancellationToken); var result JsonConvert.DeserializeObjectChatCompletionResponse(responseBody); _logger.LogDebug(请求成功使用令牌{TotalTokens}, result?.Usage?.TotalTokens); return result; } else { // 处理HTTP错误非2xx状态码 var errorBody await response.Content.ReadAsStringAsync(cancellationToken); _logger.LogError(API返回错误。状态码{StatusCode} 响应{ErrorBody}, response.StatusCode, errorBody); // 如果是客户端错误4xx通常重试无意义 if ((int)response.StatusCode 400 (int)response.StatusCode 500) { throw new HttpRequestException($客户端错误{response.StatusCode} - {errorBody}); } // 如果是服务器错误5xx可以重试 throw new HttpRequestException($服务器错误{response.StatusCode}); } } catch (TaskCanceledException) when (cancellationToken.IsCancellationRequested) { _logger.LogInformation(请求被用户取消。); throw; } catch (TaskCanceledException ex) { // 通常是超时 _logger.LogWarning(ex, 请求超时。); if (retryAttempt maxAttempts) throw new TimeoutException(请求超时且重试次数已用尽。, ex); } catch (HttpRequestException ex) { _logger.LogWarning(ex, HTTP请求失败。); if (retryAttempt maxAttempts) throw; } catch (Exception ex) { _logger.LogError(ex, 发生意外错误。); throw; // 非网络/超时错误直接抛出 } // 重试逻辑 retryAttempt; if (retryAttempt maxAttempts) { throw new Exception($请求失败已达到最大重试次数{maxAttempts}。); } var delay TimeSpan.FromSeconds(Math.Pow(2, retryAttempt)); // 指数退避 _logger.LogInformation(等待 {DelaySeconds} 秒后重试尝试 {RetryAttempt}/{MaxAttempts}..., delay.TotalSeconds, retryAttempt, maxAttempts); await Task.Delay(delay, cancellationToken); } } } }这个类做了很多事依赖注入、配置化管理、指数退避重试、详细的日志记录以及更完善的错误处理。这才是能在实际项目中使用的代码。3.2 在ASP.NET Core中集成在Web项目中使用这个客户端会更加方便。我们需要在Program.cs或Startup.cs中配置服务和选项。首先安装必要的NuGet包如果创建的是Web项目dotnet add package Microsoft.Extensions.Http dotnet add package Microsoft.Extensions.Logging.Console然后进行服务注册// 在 Program.cs 的 builder.Build() 之前添加 builder.Services.ConfigureEva02ClientOptions(builder.Configuration.GetSection(Eva02)); builder.Services.AddHttpClientIEva02Client, Eva02Client(); builder.Services.AddLogging(configure configure.AddConsole());在appsettings.json中添加配置{ Eva02: { BaseUrl: http://your-server:port/v1, ApiKey: your-api-key-here, TimeoutSeconds: 60, MaxRetryAttempts: 3 } }现在你可以在任何控制器或服务中通过构造函数注入IEva02Client来使用了。4. 进阶技巧与最佳实践基础调用和封装完成后我们来看看如何让这个集成更强大、更好用。4.1 处理流式响应前面的例子是等待完整响应返回。对于生成长文本流式响应能显著提升用户体验。EVA-02 API通常也支持这个功能。处理流式响应稍微复杂一些需要读取分块的服务器发送事件Server-Sent Events。下面是一个简化的示例public async IAsyncEnumerablestring StreamChatCompletionAsync(ChatCompletionRequest request, CancellationToken cancellationToken default) { request.Stream true; // 启用流式 var jsonContent JsonConvert.SerializeObject(request, _jsonSettings); var httpContent new StringContent(jsonContent, Encoding.UTF8, application/json); using var response await _httpClient.PostAsync(chat/completions, httpContent, HttpCompletionOption.ResponseHeadersRead, cancellationToken); response.EnsureSuccessStatusCode(); using var stream await response.Content.ReadAsStreamAsync(cancellationToken); using var reader new StreamReader(stream); while (!reader.EndOfStream !cancellationToken.IsCancellationRequested) { var line await reader.ReadLineAsync(cancellationToken); if (string.IsNullOrEmpty(line) || !line.StartsWith(data: )) continue; var data line[data: .Length..]; if (data [DONE]) yield break; try { var streamEvent JsonConvert.DeserializeObjectStreamChatResponse(data); var content streamEvent?.Choices?.FirstOrDefault()?.Delta?.Content; if (!string.IsNullOrEmpty(content)) { yield return content; } } catch (JsonException) { // 忽略解析错误继续读取下一行 } } } // 需要定义流式响应的数据模型 public class StreamChatResponse { public ListStreamChatChoice Choices { get; set; } } public class StreamChatChoice { public StreamChatDelta Delta { get; set; } } public class StreamChatDelta { public string Content { get; set; } }在ASP.NET Core Controller中你可以返回IAsyncEnumerablestring来实现实时推送。4.2 实现简单的对话上下文管理单次问答很简单但多轮对话需要维护历史消息。我们可以创建一个简单的服务来管理会话状态。public class ChatSessionService { private readonly IEva02Client _client; private readonly ListChatMessage _messageHistory new(); public ChatSessionService(IEva02Client client) { _client client; } public void AddSystemMessage(string content) { _messageHistory.Add(new ChatMessage { Role system, Content content }); } public async Taskstring SendMessageAsync(string userMessage, CancellationToken ct default) { // 添加用户消息到历史 _messageHistory.Add(new ChatMessage { Role user, Content userMessage }); var request new ChatCompletionRequest { Model eva-02, Messages new ListChatMessage(_messageHistory), // 发送整个历史 MaxTokens 1024 }; var response await _client.GetChatCompletionAsync(request, ct); if (response?.Choices?.Count 0) { var assistantReply response.Choices[0].Message.Content; // 添加助手回复到历史 _messageHistory.Add(new ChatMessage { Role assistant, Content assistantReply }); return assistantReply; } return 抱歉未能获取回复。; } public void ClearHistory() { _messageHistory.Clear(); } }4.3 性能与可靠性考量在实际项目中你还需要考虑以下几点使用IHttpClientFactory上面的示例在构造函数中直接使用了注入的HttpClient在生产中应确保通过IHttpClientFactory创建以管理连接生命周期和避免DNS问题。配置Polly策略对于重试、熔断、超时等弹性策略可以考虑集成Polly库它比手写重试逻辑更强大、更灵活。监控与指标记录每次调用的延迟、令牌使用量、成功率这对于容量规划和问题排查至关重要。速率限制了解API的速率限制并在客户端实现相应的限流或队列机制避免请求被拒绝。5. 总结走完这一趟你应该对如何在.NET平台集成像EVA-02这样的开源大模型文本服务有了清晰的路径。我们从最简单的HTTP请求开始逐步构建了一个具备重试、日志、配置化等生产级特性的客户端类库并探讨了流式响应、会话管理等进阶话题。关键点在于将API调用封装成定义良好的服务接口并通过依赖注入来管理其生命周期和配置。这样无论是在控制台程序、后台服务还是ASP.NET Core Web API中你都能轻松地复用这套逻辑。实际集成时肯定会遇到一些具体问题比如网络波动、API格式的细微差异、或者需要处理更复杂的上下文。但有了今天打下的这个基础框架解决这些问题就变成了在这个框架上添砖加瓦而不是从头开始。希望这篇文章能帮你顺利地把大模型的能力引入到你的下一个.NET项目中。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
