以下示例代碼使用 spark 查詢 hive並把結果存儲爲 libsvm 格式:
from pyspark import SparkConf,SparkContext
from pyspark.sql import HiveContext
hc = HiveContext(sc)
df = hc.sql("select product_key,plu_id from test limit 100")
from pyspark.mllib.util import MLUtils
from pyspark.mllib.regression import LabeledPoint
d = df.rdd.map(lambda line: LabeledPoint(line[0],[str(a) for a in line[1:]]))
MLUtils.saveAsLibSVMFile(d,'hdfs:///zeppelin/aaa')
有的時候遇到的場景是parquet要轉成libsvm。
但是如果parquet太大,單機情形下,內存很不夠。而且帶有 uint8 格式的parquet,spark也讀不了。
怎麼辦?
parquet是列式存儲,可以把parquet一列一列讀出來,讀成csv,然後再轉,就能方便很多。
參考我在github上的項目:https://github.com/rav009/parquet-operator