Databricks官方是這樣描述Databricks優勢的:
像Databricks這樣的雲平臺提供了一套集成的、主機託管的解決方案,消除了企業採用Spark和確保大數據項目成功所面臨的這三大障礙。我們爲你提供了全面管理和調優的Spark集羣,開發Spark的一羣專家在大力支持。我們的平臺爲你提供了一種互動式工作區域,以便探查、可視化、合作和發佈。如果你已準備好進入生產環境,只要點擊一下鼠標即可啓動任務。我們會自動搭建基礎設施。
另外,我們還提供了一組豐富的API,以便通過編程訪問該平臺,這還讓用戶能夠無縫整合第三方應用程序。
咱們平民玩家想練習scala,pyspark,苦於電腦配置不行,沒安裝hadoop環境,公司沒環境用,等痛點。
沒關係,可以免費申請Databricks 空間,並且運行scala代碼是不需要*大大×××*的哈。
只是註冊賬號的時候需要一個gmail郵箱就ok了。
註冊網址如下
https://community.cloud.databricks.com/login.html
選擇社區版。
進入後,姓名,公司名 abc隨便寫寫。
注意:這裏有個註冊驗證碼可能需要*大大×××*的哈~
這個你要是找筆者要,我只能這樣回你了 --- :
賬號搞定後,開始創建scala或者python腳本(pyspark):
Create Notebook:
可以創建scala,python,sql,R 四種notebook 用來運行spark程序。
如圖,很貼心的給了免費集羣(6G內存,spark2.4,scala2.11)這樣我們可以方便的在雲端體驗
spark了。對使用筆記本電腦 和電腦配置低的用戶是比較推崇的。
而且在裏面創建的notebook 可以導出&&導入, 小夥伴們 遇到語法問題(各種疑難雜症),導出notebook,
在微信羣請教 筆者 samir 和羣主大大都可以哈!
下面測試2個簡單的scala 語句:
1. 常用if-else 控制語句
2. scala調用linux 命令wget下載文件,ls,pwd等命令。
1
打完收工,這次的分享就到這裏了。
附上官方操作手冊:
https://docs.databricks.com/getting-started/index.html
再貼上咱們的 scala& spark 微信羣二維碼 :
歡迎交流~