原创 矢量數據庫與LLM的集成:實踐指南

矢量數據庫與LLM的集成:實踐指南 本文將瞭解到什麼是矢量數據庫,以及如何與LLMs進行集成。通過LLMs和向量數據庫的結合,可以節省微調帶來的開銷和時間。 通常,LLM會在各種各樣的數據上進行訓練,這使它們具有廣泛的理解能力,但可能會

原创 2024年大語言模型的微調

2024年大語言模型的微調 在上一篇博客中瞭解了LLM的由來以及基本流程,其中會涉及到幾個概念:Prompt Engineering、model、dataset、 vector-database、training、fine-tune、 l

原创 理解LLMOps: Large Language Model Operations

理解LLMOps: Large Language Model Operations 對於像我一樣的小白來說,本文是一篇非常不錯的LLMs入門介紹文檔。來自:Understanding LLMOps: Large Language Mode

原创 nftables用法介紹

Kubernetes 1.29版本中已經將nftables作爲一個featureGates,本文簡單整理了nftables的用法,便於後續理解kubernetes的nftables規則。文末給出了使用kubeadm部署啓用nftables

原创 ELK運維文檔

Logstash 目錄LogstashMonitoring APINode Info APIPlugins Info APINode Stats APIHot Threads APIlogstash exporter指標插件管理離線安裝插件

原创 限速器算法

限速器 限速器類型 Leaky Bucket:漏桶算法(和令牌桶(token bucket)非常相似)是一種非常簡單,使用隊列來進行限流的算法。當接收到一個請求時,會將其追加到隊列的末尾,系統會按照先進先出的順序處理請求,一旦隊列滿,則

原创 Roaring bitmaps

Roaring bitmaps 最近看一篇文章,裏面涉及到使用roaring bitmaps來推送用戶廣告並通過計算交集來降低用戶廣告推送次數。本文給出roaring bitmaps的原理和基本用法,後續給出原文的內容。 本文來自:A pr

原创 平穩擴展:可支持RevenueCat每日12億次API請求的緩存

平穩擴展:可支持RevenueCat每日12億次API請求的緩存 目錄平穩擴展:可支持RevenueCat每日12億次API請求的緩存低延遲建立連接池故障檢測Up and warm對故障做出規劃備用緩存池鏡像池(mirrored pool)

原创 Kubernetes 中使用consul-template渲染配置

Kubernetes 中使用consul-template渲染配置 當前公司使用consul來實現服務發現,如Prometheue配置中的target和alertmanager註冊都採用了consul服務發現的方式,以此來靈活應對服務的變更

原创 使用shuffle sharding增加容錯性

使用shuffle sharding增加容錯性 最近在看kubernetes的API Priority and Fairness,它使用shuffle sharding來爲請求選擇處理隊列,以此防止高吞吐量流擠佔低吞吐量流,進而造成請求延遲

原创 Rendezvous hashing算法介紹

Rendezvous hashing Rendezvous hashing用於解決分佈式系統中的分佈式哈希問題,該問題包括三部分: Keys:數據或負載的唯一標識 Values:消耗資源的數據或負載 Servers:管理數據或負載的實體

原创 ignite

目錄簡介運行製作vm文件系統製作vm基礎文件系統文件創建contianerdClient創建cniInstance拉取基礎鏡像創建基礎文件系統文件製作vm內核文件Create vm配置vm對象創建vm文件系統配置sshStart vmfir

原创 使用部分寫時複製提升Lakehouse的 ACID Upserts性能

使用部分寫時複製提升Lakehouse的 ACID Upserts性能 譯自:Fast Copy-On-Write within Apache Parquet for Data Lakehouse ACID Upserts 傳統的寫時複製

原创 使用hashicorp Raft開發分佈式服務

使用hashicorp Raft開發高可用服務 目錄使用hashicorp Raft開發高可用服務Raft概述術語Raft機制簡介接口和原理描述Raft節點的初始化Raft節點的創建監控Leader變化實現FSMFSM的備份和恢復何時備份和

原创 Booking.com如何在毫秒內搜索數百萬個地點

譯自:How Booking.com Searches Through Millions of Locations in Milliseconds Booking.com是一家與酒店、旅館、度假租賃等相關的在線旅行社。每個月都有數億用戶通過