原创 GitKraken使用Beyond Compare合併代碼

背景 GitKraken是一款git代碼管理工具(macos, windows都可用),之前接觸的一直都是idea, 在偶然的機會認到GitKraken後,發現這款工具確實很優秀,在之後會詳細介紹這款GitKraken的使用。目前

原创 將hbase數據備份至hive

背景 由於同事誤操作, 將原先由hive中導至hbase中的原數據的表全被刪除了, 現需要使用hive中的數據. 我將採取以下方式進行. 注意: 由hive導至hbase中的數據是通過程序導的, 它們的主鍵並不一致, 所以在緊

原创 如何開始--metaq

如何開始--metaq 轉自:http://wbj0110.iteye.com/blog/1956635 下載服務器 從Google Code或者我的個人主頁選擇最新版本的服務器(目前是1.4.6.1)並下載到本地,假設下載後的文件

原创 JanusGraph給Label添加載字段屬性時報org.janusgraph.core.SchemaViolationException異常

經過 janusgraph沒有表的概念,但有類似表的schema的定義,稱爲label。如:我們可以通過graph.openManagement().makeVertexLabel().make()方法來創建頂點label。那麼存

原创 給Git上的代碼新建分支並提交當前代碼

背景 因爲改了其它項目組維護的代碼, 老大要我給項目新建一個單獨自己維護 過程 在當前的項目根目錄下, 分別執行如下命令. git branch dev_forLoadData git checkout dev_forLoadD

原创 連接Janusgraph時報Unable to determine Elasticsearch server version. Default to FIVE.異常

連接Janusgraph時報Unable to determine Elasticsearch server version. Default to FIVE.異常 採用的 janusgraph + hbase + es的集羣模式

原创 IDEA調試SparkSQL時報異常This timeout is controlled by spark.executor.heartbeatInterval

背景 在調試sparksql報如下異常 報錯主要異常爲 org.apache.spark.rpc.RpcTimeoutException: Futures timed out after [10 seconds]. This t

原创 java.lang.IllegalStateException: The vertex or type is not associated with this transaction

經過 給字段建索引時,報異常。 java.lang.IllegalStateException: The vertex or type is not associated with this transaction [person

原创 Gremlin提交參數過多導致:The max number of supported arguments is 255, but found的錯

背景 當前業務中遇到一個場景,爲了提高查詢效率,比如會一次要查詢多個頂點詳情,但是當傳入的點過多時,會報參數過多的限制異常。 代碼 client的獲取後續會在其它文章中補充 @Test public void bigSub

原创 janusgraph重建索引時報異常Update action [REINDEX] cannot be invoked for index with status [INSTALLED]

背景 因爲有批數據先插入了,但忘了建索引了,於是,再建索引後,重新索引數據,不過執行時報異常: Exception in thread "main" java.lang.IllegalArgumentException: Upda

原创 SparkException: Found both spark.driver.extraClassPath and SPARK_CLASSPATH. Use only the former.

在提交spark任務時報,SparkException: Found both spark.driver.extraClassPath and SPARK_CLASSPATH. Use only the former.的異常。 W

原创 JanusGraph使用過程中的問題

1. 背景 JanusGraph的資料比較少,而且大家也都不願意將成果貢獻出來,所以打算將一些知識彙總,然後挖掘。現準備此帖,來收錄大家的遇到的問題。如果有沒收錄的,希望看到的同學能留言,經確認或解決後,均會更新。提供問題格式如下

原创 JanusGraph-應用端提交gremlin刪除語句時報異常

背景 採用連接gremlin server的方式,提交刪除表數據,數據量大根在14000條左右,但刪除報錯了。 代碼 String str = DataUtil.getStr(vertexLabels); Grem

原创 mac 安裝homebrew出錯 Failed to connect to raw.githubusercontent.com port 443: Connection refused error:

折騰了好久,執行 /usr/bin/ruby -e “$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)” 開始一直報錯F

原创 通過Gremlin-Console連接JanusGraph的幾種方式

背景 janusgraph的資料比較少,而且比較散,所以筆者在這裏,統一一下。JanusGraph有很多種連接的方式,以下將會通過從gremlin console及Java的客戶端的方式一一介紹。 通過Gremlin consol