震驚!不需hadoop環境運行scala和pyspark程序

Databricks官方是這樣描述Databricks優勢的:

        像Databricks這樣的雲平臺提供了一套集成的、主機託管的解決方案,消除了企業採用Spark和確保大數據項目成功所面臨的這三大障礙。我們爲你提供了全面管理和調優的Spark集羣,開發Spark的一羣專家在大力支持。我們的平臺爲你提供了一種互動式工作區域,以便探查、可視化、合作和發佈。如果你已準備好進入生產環境,只要點擊一下鼠標即可啓動任務。我們會自動搭建基礎設施。

        另外,我們還提供了一組豐富的API,以便通過編程訪問該平臺,這還讓用戶能夠無縫整合第三方應用程序。

咱們平民玩家想練習scala,pyspark,苦於電腦配置不行,沒安裝hadoop環境,公司沒環境用,等痛點。

沒關係,可以免費申請Databricks 空間,並且運行scala代碼是不需要*大大×××*的哈。

只是註冊賬號的時候需要一個gmail郵箱就ok了。

註冊網址如下

https://community.cloud.databricks.com/login.html

image.png

選擇社區版。

進入後,姓名,公司名 abc隨便寫寫。

注意:這裏有個註冊驗證碼可能需要*大大×××*的哈~

    這個你要是找筆者要,我只能這樣回你了 --- :

image.png

賬號搞定後,開始創建scala或者python腳本(pyspark):

Create Notebook:

可以創建scala,python,sql,R 四種notebook 用來運行spark程序。

image.png

如圖,很貼心的給了免費集羣(6G內存,spark2.4,scala2.11)這樣我們可以方便的在雲端體驗

spark了。對使用筆記本電腦 和電腦配置低的用戶是比較推崇的。

而且在裏面創建的notebook 可以導出&&導入, 小夥伴們 遇到語法問題(各種疑難雜症),導出notebook,

微信羣請教 筆者 samir 和羣主大大都可以哈!

ä½ è¦æ¯å è¿ä¸ªï¼æå¯ä¸å°äºåï¼èä¼å¨å¾è¡¨æåï¼

下面測試2個簡單的scala 語句:

1. 常用if-else 控制語句

2. scala調用linux 命令wget下載文件,ls,pwd等命令。


image.png1

image.png


打完收工,這次的分享就到這裏了。

附上官方操作手冊:

https://docs.databricks.com/getting-started/index.html

再貼上咱們的 scala& spark 微信羣二維碼 :


歡迎交流~

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章