原创 .Net Core中使用ElasticSearch(二)

  .Net的ElasticSearch 有兩個版本,Elasticsearch.Net(低級) 和 NEST(高級),推薦使用 NEST,低級版本的更靈活,水太深 把握不住。有個需要注意,使用的版本號必須要ElasticSearch服務端

原创 .Net Core中使用ElasticSearch(一)

一、安裝配置 在官網下載Es,注意版本號,不同大版本號之間差異很大。我安裝的是7.14.0版本 1.1 安裝成服務   cmd 進入bin目錄下執行 elasticsearch-service.bat install 1.2 安裝插件

原创 使用.Net Core做個爬蟲

  最近接手一個新項目,爬亞馬遜分類、商品數據。記得大學的時候,自己瞎玩,寫過一個爬有緣網數據的程序,那個時候沒有考慮那麼多,寫的還是單線程,因爲網站沒有反爬,就不停的一直請求,記得放到實驗室電腦上一天,跑了30w+的數據。然後當前晚上有緣

原创 .Net Core中使用Grpc

一、Grpc概述   gRPC 基於如下思想:定義一個服務, 指定其可以被遠程調用的方法及其參數和返回類型。gRPC 默認使用protocol buffers作爲接口定義語言,來描述服務接口和有效載荷消息結構。如果有需要的話,可以使用其他替

原创 開源日誌組件Exceptionless

一、日誌組件介紹   在之前單體項目的時候,經常使用的日誌組件有NLog、Log4,還有.Net Core自帶的日誌組件Logging(之前寫過),使用它們記錄到文本文件中,但是當日志文件很大的時候,查詢日誌就變的很痛苦。Exception

原创 .Net Core中的ObjectPool

一、對象池     運用對象池化技術可以顯著地提升性能,尤其是當對象的初始化過程代價較大或者頻率較高。下面是ObjectPool源碼中涉及的幾個類。當你看過.Net Core源碼很多時,你會發現,微軟的開發很多都是這種模式,通過Policy

原创 文件操作、流相關類梳理

  平時很少用到文件操作和流,所以每次用的時候都是百度,不明不白,Copy過去就行了,中間也有去整理,由於沒有記筆記,用得少,一段時間又忘記了。這次來一次徹徹底底的梳理。 一、繼承關係圖 二、文件和文件夾操作類   File和FileIn

原创 .Net Core中的配置文件源碼解析

一、配置簡述   之前在.Net Framework平臺開發時,一般配置文件都是xml格式的Web.config,而需要配置其他格式的文件就需要自己去讀取內容,加載配置了。.而Net Core支持從命令行、環境變量、文件、內存、Key-pe

原创 .Net Core中依賴注入服務使用總結

一、依賴注入   引入依賴注入的目的是爲了解耦和。說白了就是面向接口編程,通過調用接口的方法,而不直接實例化對象去調用。這樣做的好處就是如果添加了另一個種實現類,不需要修改之前代碼,只需要修改注入的地方將實現類替換。上面的說的通過接口調用方

原创 SQL優化

  最近優化一批接口,之前只優化過MySQL數據庫語句,它和SQL SERVER的差別還是很大的,記錄一下優化後時間差別最大的兩個接口。 接口一:   根據條件查詢十個分表,SQL語句處理後如下,其中查詢條件不止三個,還有一些其他。優化前:

原创 消息中間件RabbitMQ(一)

1、消息中間件   消息隊列中間件是指利用高效可靠地消息傳遞機制傳遞消息。有兩種傳遞模式:點對點模式、發佈/訂閱模式。流行的消息中間件有RabblitMQ、Kafka、RockerMQ。它們都提供了基於存儲和轉發的應用程序之間的異步數據發送

原创 服務註冊中心之ZooKeeper系列(三) 實現分佈式鎖

  通過ZooKeeper的有序節點、節點路徑不回重複、還有節點刪除會觸發Wathcer事件的這些特性,我們可以實現分佈式鎖。 一、思路 zookeeper中創建一個根節點Locks,用於後續各個客戶端的鎖操作。 當要獲取鎖的時候,在Lo

原创 服務註冊中心之ZooKeeper系列(二) 實現一個簡單微服務之間調用的例子

  上一篇文章簡單介紹了ZooKeeper,講了分佈式中,每個微服務都會部署到多臺服務器上,那服務之間的調用是怎麼樣的呢?如圖:   1、集羣A中的服務調用者如何發現集羣B中的服務提供者呢?   2、集羣A中的服務調用者如何選擇集羣B中的

原创 服務註冊中心之ZooKeeper系列(一)

一、服務註冊中心介紹   分佈式服務框架部署在多臺不同的機器上。例如服務A是訂單相關的處理服務,服務B是訂單的客戶的相關信息服務。此時有個需求需要在服務A中獲取訂單客戶的信息。如下圖: 此時就面臨以下幾個問題:   1、集羣A中的服務調用

原创 《許三觀賣血記》

 這本書篇幅不長,4天就把本書讀完了。印象最深的兩個情節:一個在鬧饑荒的時候,許三觀的三個兒子餓的皮包骨,爲了讓他們此頓好的,第三次去賣血,到飯店吃頓麪條。還一個情節也是在鬧饑荒的時候,在許三觀生日的時候,他用嘴給三個兒子和徐玉蘭做頓飯,感