原创 [RoCE] 通過QoS對Mellanox網卡進行限速

參考資料： Quality of Service (QoS) - NVIDIA Docs 【RDMA】RoCE網絡QoS|應用層設置PFC等級|Tos|Priority|TC_cma_roce_tos-CSDN博客 【RDMA】mellon

2024-04-17 14:29:00

原创 [DPDK] rte_eth_dev_start()出現段錯誤

[DPDK] rte_eth_dev_start()出現段錯誤 一天我運行DPDK時，它在rte_eth_dev_start()時發生段錯誤。 Thread 1 "my_dpdk" received signal SIGSEGV, Segm

2023-06-15 14:28:33 12

原创 [犯病記] DPDK報錯Symbol `rte_eth_devices' has different size in shared object, consider re-linking

[犯病記] DPDK報錯Symbol `rte_eth_devices' has different size in shared object, consider re-linking 背景：有一天，我犯了個病，試圖在一個機器上安裝DO

2023-05-28 14:31:28

原创 [HiBench] 安裝HiBench，測試在Spark上跑PageRank與修改源碼測試

[HiBench] 安裝HiBench，測試在Spark上跑PageRank與修改源碼測試 背景：我想在HiBench上測試在Spark上跑PageRank性能，並想要修改PageRank的源碼進行測試。本來，HiBench在README

2023-05-07 14:28:54

原创 [Hadoop] 在集羣中安裝Hadoop

[Hadoop] 在集羣中安裝Hadoop 類似的教程其實有很多，網上隨便一搜就是一大把。這裏簡單的記錄一下本人的安裝過程，留給本人或者後人參考。 集羣配置 內網互聯的三臺機器，IP分別爲10.0.0.1,10.0.0.2,10.0.0.3

2023-05-07 14:28:54

原创 [CMake] 尋找一個動態鏈接庫的所在路徑

[CMake] 尋找一個鏈接庫的所在路徑 背景（可跳過） 由於之前犯病安裝DOCA，導致我在編譯DPDK時出現如下報錯： fatal error: rxp-compiler.h: No such file or directory 這個r

2023-04-28 14:32:00

原创 [犯病記] 重新安裝libc.so.6

[犯病記] 重新安裝libc.so.6 背景：有一天，我犯了個病，試圖在一個機器上安裝DOCA，然後安裝程序就下了一堆庫，把機器上的環境搞得一團糟，原來的DPDK也不能用了。DOCA的安裝程序不僅重新安裝了一大堆庫，還更換了系統內核版本，

2023-04-28 14:32:00

原创 Linux切換內核版本

Linux切換內核版本 有些軟件會對Linux內核的版本有要求。爲此我們需要安裝並切換到指定的內核版本。本文以5.4.0-26-generic爲例。 參考：LayerStack Tutorials - LayerStack - How to

2023-04-20 14:34:24 12

原创 [Mellanox] 安裝MFT並配置網卡爲以太網模式

[Mellanox] 安裝MFT並配置網卡爲以太網模式 當我們想要配置Mellanox網卡時，如果出現了下面情況： $ sudo mst start mst: command not found 這說明我們的系統中缺少MFT。 MFT是一

2023-04-16 14:34:17 29

原创 [ssh] 本地訪問遠程服務器上的ui頁面

[ssh] 本地訪問遠程服務器上的ui頁面 問題：在我們使用某些系統（如Spark）時，系統本身會爲我們提供一個ui界面，這個ui界面會默認開啓在一個本地端口上（如localhost:8080）。通過這個ui界面，我們可以很方便地監視或者配

2023-03-10 14:29:06

原创 [Spark] 用Maven構建Spark項目時可能出現的問題

[Spark] 用Maven構建Spark項目時可能出現的問題 至於如何安裝Spark，這個網站寫的很清楚：Apache Spark - Installation (tutorialspoint.com) 另外建議閱讀官方文檔。裏面介紹瞭如

2023-02-13 14:36:06

原创 [雜記] 01揹包記錄路徑

[雜記] 01揹包記錄路徑 衆所周知，01揹包的時間複雜度是\(O(nm)\)（n爲物品數量，m爲揹包容量），空間複雜度是\(O(m)\)。如果還需要輸出最優解中的所有物品的話，時間複雜度不變，空間複雜度呢？ 你的第一反應可能是：我很快就可

2022-12-07 14:28:53

原创 [DPDK] 多隊列同時從網卡接收數據

[DPDK] 多隊列同時從網卡接收數據 在DPDK中，如何讓多個核/多個接收隊列同時從一個網卡接收數據呢？ 其實很簡單，在port_conf裏開啓一個mq_mode選項就行了。 struct rte_eth_conf port_conf

2022-12-03 14:28:43

原创 [DPDK] 創建hash表時報錯·Bug陳列

[DPDK] 創建hash表時報錯·Bug陳列 在使用DPDK的rte_hash_create時，出現如下報錯。 RING: Cannot reserve memory HASH: memory allocation failed [ERR

2022-12-03 14:28:43 1

原创 <Bug陳列> [gRPC] 使用gRPC異步通信時報錯

<Bug陳列> [gRPC] 使用gRPC異步通信時報錯 [Bug陳列]系列希望分享一些我自己寫過的Bug，用於加深記憶以及幫助其他遇到類似Bug的人。 Bug#1： 在使用gRPC異步通信時，出現這樣的報錯 pure virtual

2022-11-18 14:28:58