2018-11-19 如何將大規模數據導入Neo4j及導入具體步驟及Demo

博文原地址：https://my.oschina.net/zlb1992/blog/918243

項目需要基於Neo4j開發，由於數據量較大（數千萬節點），因此對當前數據插入的方法進行了分析和對比。

常見數據插入方式概覽

| Neo4j Version | Language Driver | | Community 3.0.2 | Python neo4j-driver 1.0.0 |

目前主要有以下幾種數據插入方式：

1. Cypher CREATE 語句，爲每一條數據寫一個CREATE
2. Cypher LOAD CSV 語句，將數據轉成CSV格式，通過LOAD CSV讀取數據。
3. 官方提供的Java API —— Batch Inserter
4. 大牛編寫的 Batch Import 工具
5. 官方提供的 neo4j-import 工具

這些工具有什麼不同呢？速度如何？適用的場景分別是什麼？我這裏根據我個人理解，粗略地給出了一個結果：

| | CREATE語句 | LOAD CSV語句 | Batch Inserter | Batch Import | Neo4j-import | | 適用場景 | 1 ~ 1w nodes | 1w ~ 10 w nodes | 千萬以上 nodes | 千萬以上 nodes | 千萬以上 nodes | | 速度 | 很慢 (1000 nodes/s) | 一般 (5000 nodes/s) | 非常快 (數萬 nodes/s) | 非常快 (數萬 nodes/s) | 非常快 (數萬 nodes/s) | | 優點 | 使用方便，可實時插入。 | 使用方便，可以加載本地/遠程CSV；可實時插入。 | 速度相比於前兩個，有數量級的提升 | 基於Batch Inserter，可以直接運行編譯好的jar包；可以在已存在的數據庫中導入數據 | 官方出品，比Batch Import佔用更少的資源 | | 缺點 | 速度慢 | 需要將數據轉換成CSV | 需要轉成CSV；只能在JAVA中使用；且插入時必須停止neo4j | 需要轉成CSV；必須停止neo4j | 需要轉成CSV；必須停止neo4j；只能生成新的數據庫，而不能在已存在的數據庫中插入數據。 |

速度測試

下面是我自己做的一些性能測試：

1. CREATE 語句

這裏每1000條進行一次Transaction提交

1. CREATE (:label {property1:value, property2:value, property3:value} )

| 11.5w nodes | 18.5w nodes | | 100 s | 160 s |

2. LOAD CSV 語句

1. using periodic commit 1000
2. load csv from "file:///fscapture_screencapture_syscall.csv" as line
3. create (:label {a:line[1], b:line[2], c:line[3], d:line[4], e:line[5], f:line[6], g:line[7], h:line[8], i:line[9], j:line[10]})

這裏使用了語句USING PERIODIC COMMIT 1000，使得每1000行作爲一次Transaction提交。

| 11.5w nodes | 18.5w nodes | | 21 s | 39 s |

3. Batch Inserter、Batch Import、Neo4j-import

我只測試了Neo4j-import，沒有測試Batch Inserter和Batch Import，但是我估計他們的內部實現差不多，速度也處於一個數量級別上，因此這裏就一概而論了。

neo4j-import需要在Neo4j所在服務器執行，因此服務器的資源影響數據導入的性能，我這裏爲JVM分配了16G的heap資源，確保性能達到最好。

1. sudo ./bin/neo4j-import --into graph.db --nodes:label path_to_csv.csv

| 11.5w nodes | 18.5w nodes | 150w nodes + 1431w edges | 3113w nodes + 7793w edges | | 3.4 s | 3.8 s | 26.5 s | 3 m 48 s |

小結

1. 如果項目剛開始，想要將大量數據導入數據庫，Neo4j-import是最好的選擇。
2. 如果數據庫已經投入使用，並且可以容忍Neo4j關閉一段時間，那麼Batch Import是最好的選擇，當然如果你想自己實現，那麼你應該選擇Batch Inserter
3. 如果數據庫已經投入使用，且不能容忍Neo4j的臨時關閉，那麼LOAD CSV是最好的選擇。
4. 最後，如果只是想插入少量的數據，且不怎麼在乎實時性，那麼請直接看Cypher語言。

Demo

1. Cypher Create語句

其主要過程就是將Cypher語句寫在某個文件中，在用Java或者Python代碼操作，並用jdbc連接Neo4j服務器並且執行，本方法操作太慢，僅適用於某些插入量很小的場景或者查詢場景，代碼不具體列出，如有需要可在下面留言。

2. Cypher LOAD CSV

在Neo4j服務器的執行命令行中直接執行如下cypher語句即可：

LOAD CSV WITH HEADERS FROM "http://data.neo4j.com/northwind/categories.csv" AS row
CREATE (n:Category)
SET n = row

categories.csv內容爲

image

該語句是將url中，的文件以節點的形式導入neo4j中，也可用形如f:/Book1.csv的本地路徑。每一行記錄均生成一個節點，每個字段對應一個屬性

image

再導入過程中還可以根據實際應用場景處理數據如：

LOAD CSV WITH HEADERS FROM "http://data.neo4j.com/northwind/products.csv" AS row
CREATE (n:Product)
SET n = row,
  n.unitPrice = toFloat(row.unitPrice),
  n.unitsInStock = toInteger(row.unitsInStock), n.unitsOnOrder = toInteger(row.unitsOnOrder),
  n.reorderLevel = toInteger(row.reorderLevel), n.discontinued = (row.discontinued <> "0")

在插入節點後可建立索引，提高後期插入關係的速度，如建立Category類型頂點上categoryID屬性的索引

CREATE INDEX ON :Category(categoryID)

插入關係 如根據外鍵關聯Prodect和Categroy的關係

MATCH (p:Product),(c:Category)
WHERE p.categoryID = c.categoryID
CREATE (p)-[:PART_OF]->(c)

系列過程可查看Neo4j中Example中的northwind-graph。該方法可以完全替代掉直接執行Cypher語句的方法，在小數據量的時候可以用。

3. Neo4j-import

在neo4j-operations-manual中有一個例子：

記錄爲電影，明星 以及其中存在的一個扮演角色關係。內容爲 movies.csv movieId:ID,title,year:int,:LABEL tt0133093,"The Matrix",1999,Movie tt0234215,"The Matrix Reloaded",2003,Movie;Sequel tt0242653,"The Matrix Revolutions",2003,Movie;Sequel

actors.csv personId:ID,name,:LABEL keanu,"Keanu Reeves",Actor laurence,"Laurence Fishburne",Actor carrieanne,"Carrie-Anne Moss",Actor

roles.csv :START_ID,role,:END_ID,:TYPE keanu,"Neo",tt0133093,ACTED_IN keanu,"Neo",tt0234215,ACTED_IN keanu,"Neo",tt0242653,ACTED_IN laurence,"Morpheus",tt0133093,ACTED_IN laurence,"Morpheus",tt0234215,ACTED_IN laurence,"Morpheus",tt0242653,ACTED_IN carrieanne,"Trinity",tt0133093,ACTED_IN carrieanne,"Trinity",tt0234215,ACTED_IN carrieanne,"Trinity",tt0242653,ACTED_IN

將三個文件傳至Neo4j服務器中，

執行%Neo4jHome%/bin/neo4j-import腳本,具體執行命令爲： cd至%Neo4jHome%執行

./bin/neo4j-import --into data/databases/graph.db --nodes /usr/local/lib/neo4j/importFile/expert.csv --nodes /usr/local/lib/neo4j/importFile/paper.csv --relationships /usr/local/lib/neo4j/importFile/expertPaper.csv

其中data/databases/graph.db必須不存在，nodes和relationships後面分別根生節點和關係的文件

等待結果即可。 遇到to many entries失敗導致添加失敗可以再加上 --bad-tolerance=10000修改 默認容錯爲1000

image

這樣表示插入成功，開啓neo4j即可使用。

neo4j_home$ ./bin/neo4j start

其它的Tips

1. 在LOAD CSV前面加上USING PERIODIC COMMIT 1000，1000表示每1000行的數據進行一次Transaction提交，提升性能。
2. 建立index可以使得查詢性能得到巨大提升。如果不建立index，則需要對每個node的每一個屬性進行遍歷，所以比較慢。 並且index建立之後，新加入的數據都會自動編入到index中。 注意index是建立在label上的，不是在node上，所以一個node有多個label，需要對每一個label都建立index。
3. 最後所有的困難都應該能在neo4j操作手冊上得到官方 解答，點擊下載閱讀英文版。