原创 ChatGPT開發實戰

1.概述 前段時間使用體驗了ChatGPT的用法,感受到ChatGPT的強大,通過搜索關鍵字或者輸入自己的意圖,能夠快速得到自己想要的信息和結果。今天筆者將深挖一下ChatGPT,給大家介紹如何使用ChatGPT的API來實戰開發一些例子。

原创 如何使用ChatGPT來自動化Python任務

1.概述 最近,比較火熱的ChatGPT很受歡迎。今天,筆者爲大家來介紹一下ChatGPT能做哪些事情。 2.內容 ChatGPT是一款由OpenAI開發的專門從事對話的AI聊天機器人。它的目標是讓AI系統更加自然的與之交互,但它也可以在我

原创 Clickhouse表引擎之MergeTree

1.概述 在Clickhouse中有多種表引擎,不同的表引擎擁有不同的功能,它直接決定了數據如何讀寫、是否能夠併發讀寫、是否支持索引、數據是否可備份等等。本篇博客筆者將爲大家介紹Clickhouse中的各個表引擎以及其含義。 2.內容 2.

原创 Ignite實戰

1.概述 本篇博客將對Ignite的基礎環境、集羣快照、分佈式計算、SQL查詢與處理、機器學習等內容進行介紹。 2.內容 2.1 什麼是Ignite? 在學習Ignite之前,我們先來了解一下什麼是Ignite?首先,Ignite是Apac

原创 Kafka Eagle 3.0.1功能預覽

1.概述 最近有同學留言,關於Kafka Eagle的一些使用問題。今天筆者就爲大家來詳細介紹Kafka Eagle 3.0.1的功能以及使用方法。 2.內容 在3.0.1版本中,EFAK優化了分佈式模式的服務性能,減少了磁盤IO和網絡IO

原创 Kafka與Spark案例實踐

1.概述 Kafka系統的靈活多變,讓它擁有豐富的拓展性,可以與第三方套件很方便的對接。例如,實時計算引擎Spark。接下來通過一個完整案例,運用Kafka和Spark來合理完成。 2.內容 2.1 初始Spark 在大數據應用場景中,面對

原创 Kafka KRaft模式探索

1.概述 Kafka是一種高吞吐量的分佈式發佈訂閱消息系統,它可以處理消費者在網站中的所有動作流數據。其核心組件包含Producer、Broker、Consumer,以及依賴的Zookeeper集羣。其中Zookeeper集羣是Kafka用

原创 Clickhouse實時數倉建設

1.概述 Clickhouse是一個開源的列式存儲數據庫,其主要場景用於在線分析處理查詢(OLAP),能夠使用SQL查詢實時生成分析數據報告。今天,筆者就爲大家介紹如何使用Clickhouse來構建實時數倉,來滿足一些實時性要求較高的使用場

原创 Kafka核心組件詳解

1.概述 對於Kafka的學習,在研究其系統模塊時,有些核心組件是指的我們去了解。今天給大家來剖析一下Kafka的一些核心組件,讓大家能夠更好的理解Kafka的運作流程。 2.內容 Kafka系統設計的非常優秀,它的核心組件由生產者、消費者

原创 Kafka與ELK實現一個日誌系統

1.概述 客戶端應用程序在運行過程中可能會產生錯誤,例如調用服務端接口超時、客戶端處理業務邏輯發生異常、應用程序突然閃退等。這些異常信息都是會產生日誌記錄的,並通過上報到指定的日誌服務器進行壓縮存儲。 本篇博客以一個應用實時日誌分析平臺作爲

原创 SQL解析器詳解

1.概述 最近,有同學留言關於SQL解析器方面的問題,今天筆者就爲大家分享一下SQL解析器方便的一些內容。 2.內容 2.1 SQL解析器是什麼? SQL解析與優化是屬於編輯器方面的知識,與C語言這類編程語言的解析上是類似的。SQL解析主要

原创 Kafka Eagle分佈式模式

1.概述 最近有同學留言,Kafka Eagle的分佈式模式功能怎麼使用,如何部署安裝?今天筆者就爲大家來詳細介紹一下Kafka Eagle的分佈式模式功能的安裝和使用。 2.內容 首先,這裏我們需要說明一下,Kafka Eagle已經更名

原创 Kafka流處理內幕詳解

1.概述 流處理是一種用來處理無窮數據集的數據處理引擎。通常無窮數據集具有以下幾個特點: 無窮數據:持續產生的數據,它們通常會被稱爲流數據。例如:銀行信用卡交易訂單、股票交易就、遊戲角色移動產生的數據等; 低延時:流數據通常都是實時處理,

原创 Hive和Spark分區策略

1.概述 離線數據處理生態系統包含許多關鍵任務,最大限度的提高數據管道基礎設施的穩定性和效率是至關重要的。這邊博客將分享Hive和Spark分區的各種策略,以最大限度的提高數據工程生態系統的穩定性和效率。 2.內容 大多數Spark Job

原创 Kafka2.8安裝

1.概述 最近Kafka官網發佈了2.8版本,在該版本中引入了KRaft模式。鑑於新版本和新特性的引入,相關使用資料較少,那邊本篇博客筆者將爲大家介紹Kafka2.8的安裝和使用。 2.內容 2.1  版本介紹 2.1.1 目的 從Kafk