DevExpress Office File API中文教程 - 如何用OpenAI模型增強Office文檔可訪問性?

 

DevExpress Office File API是一個專爲C#, VB.NET 和 ASP.NET等開發人員提供的非可視化.NET庫。有了這個庫,不用安裝Microsoft Office,就可以完全自動處理Excel、Word等文檔。開發人員使用一個非常易於操作的API就可以生成XLS, XLSx, DOC, DOCx, RTF, CSV 和 Snap Report等企業級文件。

出於與可訪問性相關的原因,某些業務使用場景要求Office文檔爲圖形內容(圖像、圖表等)包含有意義的描述/替代文本(Alt text)。Alt Text幫助有視覺障礙的人理解圖片和其他圖形內容(屏幕閱讀器不能正確閱讀沒有Alt Text的包含圖像的文檔)。此外,沒有Alt Text的文檔不能正確導出爲可訪問的PDF(這些PDF無法通過可訪問性驗證)。

OpenAI平臺提供瞭解決這一特殊需求/問題的解決方案(OpenAI的生成式AI可以幫助描述Word和Excel文件中的圖像和其他圖形內容)。在這本文中,我們將向您展示如何將OpenAI模型集成到DevExpress驅動的Office File API應用程序中,並添加缺失的媒體描述和Alt Text。處理完文檔後,用戶可以將文件導出爲可訪問的PDF,或者在文檔查看器中上傳,然後使用屏幕閱讀器閱讀。

DevExpress Office File API 最新正式版下載

我們創建了一個示例項目來幫助說明策略,這個REST API應用程序包括兩個端點:描述Word文檔中的圖像和Excel文件中的圖表。

您可以從GitHub下載這個項目:Office File API – Integrate AI to Generate Accessible Descriptions

實現OpenAI模型API

在您將此解決方案納入應用程序之前,請務必閱讀並理解OpenAI的許可協議和使用條款。

首先,在項目中添加對Azure.AI.OpenAI包的引用,這個包適應OpenAI的REST APIs,因此它們可以在非Azure OpenAI開發中使用。

我們將使用這個API發送請求和處理響應。

下面的代碼片段發送一個請求來描述一個圖像,並獲得一個帶有響應的字符串。

class OpenAIClientImageHelper {
OpenAIClient client;
internal OpenAIClientImageHelper(string openAIApiKey) {
client = new OpenAIClient(openAIApiKey, new OpenAIClientOptions());
}
string ConvertDXImageToBase64String(DXImage image) {
using (MemoryStream stream = new MemoryStream()) {
image.Save(stream, DXImageFormat.Png);
byte[] imageBytes = stream.ToArray();
return Convert.ToBase64String(imageBytes);
}
}
internal async Task<string> DescribeImageAsync(OfficeImage image) {
string base64Content = ConvertDXImageToBase64String(image.DXImage);
string imageContentType = OfficeImage.GetContentType(OfficeImageFormat.Png);
return await GetImageDescription($"data:{imageContentType};base64,{base64Content}");
}
internal async Task<string> GetImageDescription(string uriString) {
ChatCompletionsOptions chatCompletionsOptions = new() {
DeploymentName = "gpt-4-vision-preview",
Messages =
{
new ChatRequestSystemMessage("You are a helpful assistant that describes images."),
new ChatRequestUserMessage(
new ChatMessageTextContentItem("Give a description of this image in no more than 10 words"),
new ChatMessageImageContentItem(new Uri(uriString))),
},
MaxTokens = 300
};

Response<ChatCompletions> chatResponse = await client.GetChatCompletionsAsync(chatCompletionsOptions);
ChatChoice choice = chatResponse.Value.Choices[0];
return choice.Message.Content;
}
}

Word Processing Document API端點

我們可以在DevExpress支持的Word Processing Document API應用程序中使用上面描述的API,使用Document.Shapes集合檢索文檔圖像。按類型對檢索到的形狀排序,並檢查圖像是否包含Alt Text,然後調用上面實現的OpenAIClientImageHelper.GetImageDescription方法來生成圖像描述。

DevExpress Office File API中文教程
public async Task<IActionResult> GenerateImageAltText(IFormFile documentWithImage,
[FromQuery] RichEditFormat outputFormat) {
try {
var imageHelper = new OpenAIClientImageHelper(openAIApiKey);
using (var server = new RichEditDocumentServer()) {
await RichEditHelper.LoadFile(server, documentWithImage);
server.GenerateAltTextForImages((document) => {
foreach (var shape in document.Shapes) {
if (shape.Type == DevExpress.XtraRichEdit.API.Native.ShapeType.Picture && string.IsNullOrEmpty(shape.AltText))
shape.AltText = imageHelper.DescribeImageAsync(shape.PictureFormat.Picture).Result;
}
});

Stream result = RichEditHelper.SaveDocument(server, outputFormat);
string contentType = RichEditHelper.GetContentType(outputFormat);
return File(result, contentType, $"result.{outputFormat}");
}
}
catch (Exception e) {
return StatusCode(500, e.Message + Environment.NewLine + e.StackTrace);
}
}

Spreadsheet Document API端點

您還可以爲Excel圖表生成Alt Text,我們的項目展示瞭如何結合Azure OpenAI和Spreadsheet Document APIs來解決這個特殊的需求。

首先,您需要將Excel圖表轉換爲圖像,調用Shape.ExportToImage方法從每個圖表中獲取OfficeImage對象,然後調用上面實現的OpenAIClientImageHelper.GetImageDescription方法來生成圖像描述並將其用作Alt Text。

DevExpress Office File API中文教程

 

public async Task<IActionResult> GenerateChartAltText(IFormFile documentWithImage,
[FromQuery] SpreadsheetFormat outputFormat) {
try {
var imageHelper = new OpenAIClientImageHelper(openAIApiKey);
using (var workbook = new Workbook()) {
await SpreadsheetHelper.LoadWorkbook(workbook, documentWithImage);
foreach (var worksheet in workbook.Worksheets) {
foreach (var chart in worksheet.Charts) {
OfficeImage image = chart.ExportToImage();
chart.AlternativeText = await imageHelper.DescribeImageAsync(image);
}
}

Stream result = SpreadsheetHelper.SaveDocument(workbook, outputFormat);
string contentType = SpreadsheetHelper.GetContentType(outputFormat);
return File(result, contentType, $"result.{outputFormat}");
}
}
catch (Exception e) {
return StatusCode(500, e.Message + Environment.NewLine + e.StackTrace);
}
}

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章