DevExpress Office File API中文教程 - 如何用OpenAI模型增强Office文档可访问性？

DevExpress Office File API是一个专为C#, VB.NET 和 ASP.NET等开发人员提供的非可视化.NET库。有了这个库不用安装Microsoft Office就可以完全自动处理Excel、Word等文档。开发人员使用一个非常易于操作的API就可以生成XLS, XLSx, DOC, DOCx, RTF, CSV 和 Snap Report等企业级文件。DevExpress新旧版本帮助文档 下载可进QQ qun获取169725316出于与可访问性相关的原因某些业务使用场景要求Office文档为图形内容(图像、图表等)包含有意义的描述/替代文本(Alt text)。Alt Text帮助有视觉障碍的人理解图片和其他图形内容(屏幕阅读器不能正确阅读没有Alt Text的包含图像的文档)。此外没有Alt Text的文档不能正确导出为可访问的PDF(这些PDF无法通过可访问性验证)。OpenAI平台提供了解决这一特殊需求/问题的解决方案(OpenAI的生成式AI可以帮助描述Word和Excel文件中的图像和其他图形内容)。在这本文中我们将向您展示如何将OpenAI模型集成到DevExpress 驱动的Office File API应用程序中并添加缺失的媒体描述和Alt Text。处理完文档后用户可以将文件导出为可访问的PDF或者在文档查看器中上传然后使用屏幕阅读器阅读。我们创建了一个示例项目来帮助说明策略这个REST API应用程序包括两个端点描述Word文档中的图像和Excel文件中的图表。您可以从GitHub下载这个项目Office File API – Integrate AI to Generate Accessible Descriptions实现OpenAI模型API在您将此解决方案纳入应用程序之前请务必阅读并理解OpenAI的许可协议和使用条款。首先在项目中添加对Azure.AI.OpenAI包的引用这个包适应OpenAI的REST APIs因此它们可以在非Azure OpenAI开发中使用。我们将使用这个API发送请求和处理响应。下面的代码片段发送一个请求来描述一个图像并获得一个带有响应的字符串。class OpenAIClientImageHelper { OpenAIClient client; internal OpenAIClientImageHelper(string openAIApiKey) { client new OpenAIClient(openAIApiKey, new OpenAIClientOptions()); } string ConvertDXImageToBase64String(DXImage image) { using (MemoryStream stream new MemoryStream()) { image.Save(stream, DXImageFormat.Png); byte[] imageBytes stream.ToArray(); return Convert.ToBase64String(imageBytes); } } internal async Taskstring DescribeImageAsync(OfficeImage image) { string base64Content ConvertDXImageToBase64String(image.DXImage); string imageContentType OfficeImage.GetContentType(OfficeImageFormat.Png); return await GetImageDescription($data:{imageContentType};base64,{base64Content}); } internal async Taskstring GetImageDescription(string uriString) { ChatCompletionsOptions chatCompletionsOptions new() { DeploymentName gpt-4-vision-preview, Messages { new ChatRequestSystemMessage(You are a helpful assistant that describes images.), new ChatRequestUserMessage( new ChatMessageTextContentItem(Give a description of this image in no more than 10 words), new ChatMessageImageContentItem(new Uri(uriString))), }, MaxTokens 300 }; ResponseChatCompletions chatResponse await client.GetChatCompletionsAsync(chatCompletionsOptions); ChatChoice choice chatResponse.Value.Choices[0]; return choice.Message.Content; } }Word Processing Document API端点我们可以在DevExpress支持的Word Processing Document API应用程序中使用上面描述的API使用Document.Shapes集合检索文档图像。按类型对检索到的形状排序并检查图像是否包含Alt Text然后调用上面实现的OpenAIClientImageHelper.GetImageDescription方法来生成图像描述。public async TaskIActionResult GenerateImageAltText(IFormFile documentWithImage, [FromQuery] RichEditFormat outputFormat) { try { var imageHelper new OpenAIClientImageHelper(openAIApiKey); using (var server new RichEditDocumentServer()) { await RichEditHelper.LoadFile(server, documentWithImage); server.GenerateAltTextForImages((document) { foreach (var shape in document.Shapes) { if (shape.Type DevExpress.XtraRichEdit.API.Native.ShapeType.Picture string.IsNullOrEmpty(shape.AltText)) shape.AltText imageHelper.DescribeImageAsync(shape.PictureFormat.Picture).Result; } }); Stream result RichEditHelper.SaveDocument(server, outputFormat); string contentType RichEditHelper.GetContentType(outputFormat); return File(result, contentType, $result.{outputFormat}); } } catch (Exception e) { return StatusCode(500, e.Message Environment.NewLine e.StackTrace); } }Spreadsheet Document API端点您还可以为Excel图表生成Alt Text我们的项目展示了如何结合Azure OpenAI和Spreadsheet Document APIs来解决这个特殊的需求。首先您需要将Excel图表转换为图像调用Shape.ExportToImage方法从每个图表中获取OfficeImage对象然后调用上面实现的OpenAIClientImageHelper.GetImageDescription方法来生成图像描述并将其用作Alt Text。public async TaskIActionResult GenerateChartAltText(IFormFile documentWithImage, [FromQuery] SpreadsheetFormat outputFormat) { try { var imageHelper new OpenAIClientImageHelper(openAIApiKey); using (var workbook new Workbook()) { await SpreadsheetHelper.LoadWorkbook(workbook, documentWithImage); foreach (var worksheet in workbook.Worksheets) { foreach (var chart in worksheet.Charts) { OfficeImage image chart.ExportToImage(); chart.AlternativeText await imageHelper.DescribeImageAsync(image); } } Stream result SpreadsheetHelper.SaveDocument(workbook, outputFormat); string contentType SpreadsheetHelper.GetContentType(outputFormat); return File(result, contentType, $result.{outputFormat}); } } catch (Exception e) { return StatusCode(500, e.Message Environment.NewLine e.StackTrace); } }