原创 Semantic Kernel 學習筆記:體驗基於 prompt function 實現的 Plugin

在一個 Semantic Kernel plugin 中可以創建兩種類型的 function,分別是 native function 與 prompt function(之前叫 semantic function)。 下面這款 plugin

原创 Semantic Kernel 學習筆記:Prompt Filter 與 Handlebars Prompt Template

學習材料 Microsoft Semantic Kernel – Some Tips & Tricks To Get Rendered Prompts Templatizing your prompts Semantic Kernel 源

原创 旁門左道:藉助 HttpClientHandler 攔截請求,體驗 Semantic Kernel 插件

前天嘗試通過 one-api + dashscope(阿里雲靈積) + qwen(通義千問)運行 Semantic Kernel 插件(Plugin) ,結果嘗試失敗,詳見前天的博文。 今天換一種方式嘗試,選擇了一個旁門左道走走看,看能不能

原创 一次失敗的嘗試:one-api + dashscope + qwen-max 運行 Semantic Kernel 插件

原本打算通過 OpenAIChatCompletionService + one-api + DashScope + qwen-max(通義千問千億級大模型)運行一個非常簡單的 Semantic Kernel plugin,卻沒有成功,不確

原创 Semantic Kernel + 通義千問:藉助 one-api 調用阿里雲靈積 DashScope api

one-api 相當於是一個兼容 OpenAI api 的 api 網關(針對 api 的反向代理),藉助 one-api 可以通過已有的 OpenAI 客戶端調用非 OpenAI 大模型的 api,比如通義千問。 DashScope 是阿

原创 實現阿里雲模型服務靈積 DashScope 的 Semantic Kernel Connector

Semantic Kernel 內置的 IChatCompletionService 實現只支持 OpenAI 與 Azure OpenAI,而我卻打算結合 DashScope(阿里雲模型服務靈積) 學習 Semantic Kerne

原创 藉助 .NET 開源庫 Sdcb.DashScope 調用阿里雲靈積通義千問 API

在昨天的博文中,我們通過 Semantic Kernel 調用了自己部署的通義千問開源大模型,但是自己部署通義千問對服務器的配置要求很高,即使使用搶佔式按量實例,每次使用時啓動服務器,使用完關閉服務器,也比較麻煩,而且越高級的大模型對服務器

原创 初步體驗通過 Semantic Kernel 與自己部署的通義千問開源大模型進行對話

春節之前被 Semantic Kernel 所吸引,開始瞭解它,學習它。 在寫這篇博文之前讀了一些英文博文,順便在這裏分享一下: Intro to Semantic Kernel – Part One Intro to Semantic

原创 以容器方式部署通義千問 Qwen

準備服務器 阿里云云服務器 實例規格:輕量級 GPU 實例 ecs.vgn6i-m4-vws.xlarge(4vCPU 23GiB) 磁盤空間 :50G 操作系統:Ubuntu 22.04 安裝 docker apt install d

原创 阿里雲輕量級 GPU 實例安裝 NVIDIA 驅動

實例規格:輕量級 GPU 實例 vgn6i-vws / ecs.vgn6i-m4-vws.xlarge(4vCPU 23GiB) 操作系統:Ubuntu 22.04 第一部分:嘗試失敗的安裝方法 查詢 NVIDIA 產品型號 lspci |

原创 初步體驗 llama.cpp

llama.cpp: Port of Facebook's LLaMA model in C/C++ github 倉庫:https://github.com/ggerganov/llama.cpp 參考博文:High-Speed In

原创 遭遇奇怪的問題:所有 ASP.NET Core ViewComponent 都輸出爲空

3月9日晚上的一次發佈中遇到一個非常奇怪的問題,發佈前在 staging 環境測試正常,發佈到生產環境後發現所有 ViewComponent 都輸出爲空(沒有任何內容)。 生產環境與 staging 環境的不同之處是生產環境生成容器鏡像時預

原创 困擾多年的 Kubernetes 健康檢查問題終於解決了

我們有一個部署在 k8s 上的應用被一個健康檢查問題困擾多年,每次發佈時由於健康檢查(readiness probe)失敗,pod 要被重啓很多次,快的話要等半小時到1小時 pod 才能啓動成功,慢的話要等幾小時甚至十幾個小時,最近一次最誇

原创 一次 gitlab 升級失敗的處理過程記錄

這次升級是從 15.8.3 升級至 15.9.1 ,通過下面的 rpm 安裝命令進行升級 rpm -Uvh gitlab-ce-15.9.1-ce.0.el7.x86_64.rpm 升級過程中卡在 gitlab::database_mig

原创 遇到反射時找不到依賴程序集的問題

今天在一個 ASP.NET Core 7.0 的項目中遇到反射時 Could not load file or assembly 的問題,build 時沒問題,運行時出現下面的異常 System.Reflection.Reflection