Spark優化
函數傳遞
- 在
spark中，很多操作都需要依賴用戶傳遞的函數，在我們傳遞函數的時候，如果函數中包含其他對象的飲用，Spark也會把其他對象傳遞。(尤其是在python中)
- 解決方法：
將函數中的必要字段轉換成局部變量，然後進行傳遞。
引用
- 《Spark快速大數據分析》
大數據學習筆記之Spark-優化
發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章
spark中，很多操作都需要依賴用戶傳遞的函數，在我們傳遞函數的時候，如果函數中包含其他對象的飲用，Spark也會把其他對象傳遞。(尤其是在python中)將函數中的必要字段轉換成局部變量，然後進行傳遞。