原创 動態庫、靜態庫的一些測試
example # cat world.c #include <stdio.h> void world(void) { printf("world.\n"); } # cat hello.c #include <
2020-06-14 16:07:40
原创 使用Putty 實現網頁訪問代理
設置Putty tunnel 勾選 Remote ports Source port 填寫任意端口（ 如9856） 勾選 Dynamic 點擊 “add” 保存 session 點擊 “session” , 然後再 sa
2020-06-14 16:07:40
1
原创 Debian 安裝numa 相關庫
安裝基本依賴庫 apt-get install libpthread-stubs0-dev -y apt-get install libnuma-dev -y apt-get install numactl -y
2020-06-14 16:07:40
原创 ORC 讀數據源碼分析 之 readAllDataStreams
readAllDataStreams RecordReaderImpl.java private void readAllDataStreams(StripeInformation stripe) throws IOExcep
2020-06-14 16:07:29
原创 CMakeLists.txt 一二三
TARGET_LINK_LIBRARIES 可執行程序 main 鏈接到 libhello TARGET_LINK_LIBRARIES(main hello) 也可以寫成 TARGET_LINK_LIBRARIES(main li
2020-06-14 16:07:29
原创 Jar linux 命令
jar 常規參數 # jar Usage: jar {ctxui}[vfmn0PMe] [jar-file] [manifest-file] [entry-point] [-C dir] files ... Options:
2020-06-14 16:07:29
原创 創建 git Repo
在一個project 裏 創建空Repo，在github 頁面 OAP-travis 執行初始化 git init git add . git commit -m "first commit" git remote add
2020-06-14 16:07:29
原创 ORC 從stream read 到 column read 的轉變
ORC Stream Orc 在讀取一個 stripe時，是安裝stream爲單位讀取的，stripe 中的column可能只有一個stream，或者多個不同屬性的stream組成，stream 不是 column的子單元， en
2020-06-14 16:07:29
原创 Memkind 一些測試
測試 code # cat memkindpool.c #include <stdio.h> #include <memkind.h> int main(int argc, char **argv){ printf("a
2020-06-14 16:07:29
原创 Release to Maven Central Repo
Pom Pom with Sufficient Metadata 可參考demo https://github.com/simpligility/ossrh-demo/blob/master/pom.xml Correct Coo
2020-04-27 04:22:18
原创 Spark運行常見問題
driver 和 executor 端 jar 版本不一樣 Caused by: java.lang.ClassCastException: cannot assign instance of scala.collection.i
2020-03-05 16:02:36
原创 Spark 之 ListenerBus
ListenerBus 是一個 trait，可以接受事件，並將事件提交到對應事件的監聽器 private[spark] trait ListenerBus[L <: AnyRef, E] extends Logging {
2020-02-27 13:39:36
原创 ORC 之 nohive
maven-shade-plugin 這個plugin 一個重要功能是，將項目中依賴的 jar 包中的一些類文件打包到項目構建生成的 jar 包中，在打包的時候把類重命名。一般用於解決版本衝突問題 ORC maven-shade-
2020-02-21 10:35:12
原创 Spark設計理念和基本架構
Spark 特點 減少Disk IO Spark 將資源文件（jar 等），緩存在driver 本地文件服務的內存裏，當Executor執行任務時直接從 Driver 的內存中讀取 增加並行度 多個stage 之間允許串行也可以
2020-02-21 10:35:12
原创 ORC 讀數據之元數據讀取
ReaderImpl.java protected OrcTail tail; OrcTail.java public OrcProto.Footer getFooter() { return fileTail.
2020-02-21 10:35:12