原创 學習大模型(LLM)的英文好文收集

An intuitive introduction to text embeddings （收集於2024-03-02） How does the (decoder-only) transformer architecture work?

2024-03-04 14:06:35

原创 通過 Kernel Memory 初步體驗 Retrieval Augmented Generation

學習材料：Quick intro to Kernel Memory: install, upload a doc, ask a question 創建控制檯項目 dotnet new console dotnet add package M

2024-03-03 14:06:29 1

原创 Semantic Kernel 學習筆記：初步體驗用 Semantic Memory 生成 Embedding 並進行語義搜索

Semantic Kernel 的 Memory 有兩種實現，一個是 Semantic Kernel 內置的 Semantic Memory，一個是獨立的 Kernel Memory，Kernel Memory 是從 Semantic Ke

2024-02-28 14:10:11

原创 Semantic Kernel 學習筆記：體驗基於 prompt function 實現的 Plugin

在一個 Semantic Kernel plugin 中可以創建兩種類型的 function，分別是 native function 與 prompt function（之前叫 semantic function）。 下面這款 plugin

2024-02-24 14:06:07 6

原创 Semantic Kernel 學習筆記：Prompt Filter 與 Handlebars Prompt Template

學習材料 Microsoft Semantic Kernel – Some Tips & Tricks To Get Rendered Prompts Templatizing your prompts Semantic Kernel 源

2024-02-21 14:06:34

原创 旁門左道：藉助 HttpClientHandler 攔截請求，體驗 Semantic Kernel 插件

前天嘗試通過 one-api + dashscope(阿里雲靈積) + qwen(通義千問)運行 Semantic Kernel 插件（Plugin） ，結果嘗試失敗，詳見前天的博文。 今天換一種方式嘗試，選擇了一個旁門左道走走看，看能不能

2024-02-20 14:06:28 4

原创 一次失敗的嘗試：one-api + dashscope + qwen-max 運行 Semantic Kernel 插件

原本打算通過 OpenAIChatCompletionService + one-api + DashScope + qwen-max（通義千問千億級大模型）運行一個非常簡單的 Semantic Kernel plugin，卻沒有成功，不確

2024-02-18 14:06:12 1

原创 Semantic Kernel + 通義千問：藉助 one-api 調用阿里雲靈積 DashScope api

one-api 相當於是一個兼容 OpenAI api 的 api 網關（針對 api 的反向代理），藉助 one-api 可以通過已有的 OpenAI 客戶端調用非 OpenAI 大模型的 api，比如通義千問。 DashScope 是阿

2024-02-16 14:09:44 1

原创 實現阿里雲模型服務靈積 DashScope 的 Semantic Kernel Connector

Semantic Kernel 內置的 IChatCompletionService 實現只支持 OpenAI 與 Azure OpenAI，而我卻打算結合 DashScope(阿里雲模型服務靈積) 學習 Semantic Kerne

2024-02-14 14:05:48 1

原创 藉助 .NET 開源庫 Sdcb.DashScope 調用阿里雲靈積通義千問 API

在昨天的博文中，我們通過 Semantic Kernel 調用了自己部署的通義千問開源大模型，但是自己部署通義千問對服務器的配置要求很高，即使使用搶佔式按量實例，每次使用時啓動服務器，使用完關閉服務器，也比較麻煩，而且越高級的大模型對服務器

2024-02-12 14:07:15

原创 初步體驗通過 Semantic Kernel 與自己部署的通義千問開源大模型進行對話

春節之前被 Semantic Kernel 所吸引，開始瞭解它，學習它。 在寫這篇博文之前讀了一些英文博文，順便在這裏分享一下： Intro to Semantic Kernel – Part One Intro to Semantic

2024-02-10 14:05:39 4

原创 以容器方式部署通義千問 Qwen

準備服務器 阿里云云服務器 實例規格：輕量級 GPU 實例 ecs.vgn6i-m4-vws.xlarge（4vCPU 23GiB） 磁盤空間 ：50G 操作系統：Ubuntu 22.04 安裝 docker apt install d

2024-02-10 14:05:39 4

原创 阿里雲輕量級 GPU 實例安裝 NVIDIA 驅動

實例規格：輕量級 GPU 實例 vgn6i-vws / ecs.vgn6i-m4-vws.xlarge（4vCPU 23GiB） 操作系統：Ubuntu 22.04 第一部分：嘗試失敗的安裝方法 查詢 NVIDIA 產品型號 lspci |

2024-02-07 14:07:20

原创 初步體驗 llama.cpp

llama.cpp: Port of Facebook's LLaMA model in C/C++ github 倉庫：https://github.com/ggerganov/llama.cpp 參考博文：High-Speed In

2023-07-31 14:06:04 26

原创 遭遇奇怪的問題：所有 ASP.NET Core ViewComponent 都輸出爲空

3月9日晚上的一次發佈中遇到一個非常奇怪的問題，發佈前在 staging 環境測試正常，發佈到生產環境後發現所有 ViewComponent 都輸出爲空（沒有任何內容）。 生產環境與 staging 環境的不同之處是生產環境生成容器鏡像時預

2023-03-12 14:05:46