編譯：江宇，阿里雲EMR技術專家。從事Hadoop內核開發,目前專注於機器學習、深度學習大數據平臺的建設。
簡介：
在機器學習領域，Apache Spark 由於其支持 SQL 類型的操作以及高效的數據處理，被廣泛的用於數據預處理流程，同時 TensorFlow 作爲廣受歡迎的深度學習框架被廣泛的用於模型訓練。儘管兩個框架有一些共同支持的數據格式，但是，作爲 TFRecord—TensorFlow 的原生格式，並沒有被 Spark 完全支持。儘管之前有過一些嘗試，試圖解決兩個系統之間的差異(比如 Spark-TensorFlow-Connector),但是現有的實現都缺少很多 Spark 支持的重要特性。
本文中，我們將介紹 Spark 的一個新的數據源，Spark-TFRecord。Spark-TFRecord 的目的是提供在Spar