原创 mysql評測工具TPC-C使用，和基於TPCC的Benchmarksql評測工具
安裝成功mysql之後，下載TPC-C進行評測。 git clone https://github.com/Percona-Lab/tpcc-mysql cd tpcc-mysql/src make make的時候下面的報錯，應該是因爲
2020-07-01 22:42:35
2
原创 ycsb中mapkeeperclient修改和創建連接
這兩天主要是在最新版本的YCSB的基礎上用mapkeeperclient打包並連接mapkeeper端的server。不得不說ycsb在創建mapkeeper client的時候就是有問題的。我踩了很多坑，我要記下來做筆記。 首先是下載最
2020-07-01 22:42:35
7
原创 FP-Growth挖掘頻繁項，java實現
FP-Growth主要是用來進行挖掘頻繁項，使用場景是發現事物之間的相關性，其中用支持度表示相關性的大小，可以通過設置支持度來篩選相關性小的事物的聯繫。相比較於Apriori算法需要掃描多次數據，嚴重受到IO的影響。FP-Growth只需
2020-07-01 22:42:33
1
原创 centos libvirtd升級的兩種方法
linux系統突然宕機，找不到原因。於是查看/var/log/messages裏面記錄的系統log發現以下錯誤，雖然可能不是宕機的原因但是還是需要解決的： Failed to start Virtualization daemon. l
2020-07-01 22:42:33
6
原创 centos7 安裝mysql和相關報錯
由於yum install不能直接找到mysql的源，因此只能先wget鏡像。 wget https://dev.mysql.com/get/mysql80-community-release-el7-3.noarch.rpm sudo
2020-07-01 22:42:33
原创 BANDANA論文解讀（facebook推薦系統向量存入NVM）
對於大規模的推薦系統來說訓練的模型和訓練的數據都是存儲在DRAM（動態存儲中）。對於推薦系統來說，數據有着實時更新和大規模的特點。只有訓練了大規模的數據之後纔會保證模型的準確性。但是隨着訓練數據的增多和計算量的增大，對存儲資
2020-05-31 06:20:47
原创 fio安裝和報錯
fio是測量磁盤IO性能的重要工具之一，可以很好的測試IOPS。在進行性能測試的時候建議使用裸盤的方式進行測試，會得到比較真實的數據。 fio安裝： yum install fio fio的卸載： yum remove fio 使用命
2020-02-22 00:12:25
45
原创 LSTM處理多時間序列數據
處理的數據格式如圖所示，主要是對blktrace抓取的磁盤信息進行處理。 0.001742812,30893,G,R,1180470464,16,[mapkeeper_rocks],1 0.001927242,30893,G,WS,80
2020-02-22 00:12:13
原创 centos下kafka的安裝和使用
Kafka是由Apache軟件基金會開發的一個開源流處理平臺，由Scala和Java編寫。Kafka是一種高吞吐量的分佈式發佈訂閱消息系統，它可以處理消費者規模的網站中的所有動作流數據。 這種動作（網頁瀏覽，搜索和其他用戶的行動）是在現代
2020-02-22 00:12:13
原创 linux中open file size的臨時更改和永久更改
在centos系統下進行，首先通過ulimit -a查看系統的一些參數設置： [root@localhost blktrace100G]# ulimit -a core file size (blocks, -c) 0
2020-02-22 00:12:13
原创 centos 安裝 mysql
首先使用rpm下載mysql依賴。在這裏我裝的是mysql57版本。 sudo rpm -ivh https://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rp
2020-02-22 00:12:13
1
原创 編譯內核源碼（linux 4.3.3）
我終於編譯成功了，可以說我編譯了很久，3.16.75版本的或者是3.13.1版本的我都嘗試過還是沒有成功，我也不知爲什麼（可能環境問題，出現諸如在reboot後啓動的時候出現docker container引擎加載失敗導致啓動不了），這次
2019-10-25 22:08:40
原创 stoneneedle module的安裝和使用（內核編譯）
第一次安裝內核模塊，搞了很久。有很多需要整理的，整理出這篇文章供下次使用。 剛開始安裝這個模塊的時候根據github wiki的步驟，感覺嘗試了好多次也沒有成功，主要是因爲當前系統的內核版本和編譯stoneneedle模塊的內核源碼版本不
2019-10-25 22:08:40
9
原创 centos 7掛載SSD
如果之前SSD是沒有進行格式化的，就沒有文件系統，在進行mount掛載的時候會出現： mount: /dev/nvme2n1 is write-protected, mounting read-only mount: unknown f
2019-10-25 22:08:40
原创 java txt轉化爲csv
感覺java的txt文件轉化爲csv文件的方法會難些。但是可以通過調用jar包裏面現成的類方法來解決。 首先我在本地使用的是ideaij的maven，因此在pom.xml在加入依賴，來自動加載jar包到本地庫。 <dependencie
2019-10-25 22:08:40