作者： Wangda Tan & Sunil Govindan & Zhankun Tang
原文地址：https://hortonworks.com/blog/submarine-running-deep-learning-workloads-apache-hadoop/
介紹
Hadoop 是用於大型企業數據集的分佈式處理的最流行的開源框架，它在本地和雲端環境中都有很多重要用途。
深度學習對於語音識別，圖像分類，AI 聊天機器人，機器翻譯等領域的企業任務非常有用，僅舉幾例。 爲了訓練深度學習/機器學習模型，可以利用 TensorFlow / MXNet / Pytorch / Caffe / XGBoost 等框架。 有時需要將這些框架進行組合使用以用於解決不同的問題。
爲了使分佈式深度學習/機器學習應用程序易於啓動，管理和監控，Hadoop 社區啓動了 Submarine 項目以及其他改進，例如一流的 GPU 支持，Docker 容器支持，容器 DNS 支持，調度改進等。
這些改進使得在 Apache Hadoop YARN 上運行的分佈式深度學習/機器學習應用程序就像在本地運行一樣簡單，這可以讓機器學習工程師專注於算法，而不是擔心底層基礎架構。 通過升級到最新的 Hadoop，用戶現在可以在同一羣集上運行其他 ETL / streaming 作業來運行深度學習工作負載。 這樣可以輕鬆訪問同一羣集上的數據，從而實現更好的資源利用率。
典型的深度學習工作流程：數據從各個終端（或其他來源）匯聚到數據湖中。 數據科學家可以使用筆記本進行數據探索，創建 pipelines 來進行特徵提取/分割訓練/測試數據集。 並開展深度學習和訓練工作。 這些過程可以重複進行。 因此，在同一個集羣上運行深度學習作業可以顯著提高數據 / 計算資源共享的效率。
讓我們仔細看看 Submarine 項目（它是 Apache Hadoop 項目的一部分），請看下如何在 Hadoop 上運行這些深度學習工作。
爲什麼叫 Submarine 這個名字？
因爲潛艇是唯一可以將人類帶到更深處的裝置設備。B-）
圖片由 NOAA 辦公室提供海洋勘探與研究，墨西哥灣2018年。
SUBMARINE 概覽
Submarine 項目有兩個部分：Submarine 計算引擎和一套集成 Submarine 的生態系統軟件和工具。
Submarine 計算引擎 通過命令行向 YARN 提交定製的深度學習應用程序（如 Tensorflow，Pytorch 等）。 這些應用程序與 YARN 上的其他應用程序並行運行，例如 Apache Spark，Hadoop Map / Reduce 等。
最重要的是我們的有一套集成 Submarine 的生態系統軟件和工具，目前包括：
- Submarine-Zeppelin integration: 允許數據科學家在 Zeppelin 的 notebook 中編寫算法和調參進行可視化輸出，並直接從 notebook 提交和管理機器學習的訓練工作。
- Submarine-Azkaban integration: 允許數據科學家從 Zeppelin 的 notebook 中直接向 Azkaban 提交一組具有依賴關係的任務，組成工作流進行週期性調度。
- Submarine-installer: 在您的服務器環境中安裝 Submarine 和 YARN，輕鬆解決 Docker 、Parallel network 和 nvidia 驅動的安裝部署難題，以便您更輕鬆地嘗試強大的工具集。
圖表說明了 Submarine 的整體構成，底部顯示了 Submarine 計算引擎，它只是 YARN 的一個應用程序。 在計算引擎之上，它集成到其他生態系統，如筆記本電腦（Zeppelin / Jupyter）和 Azkaban。
SUBMARINE 能夠做什麼?
通過使用 Submarine 計算引擎，用戶只需提交一個簡單的 CLI 命令即可運行單/分佈式深度學習訓練工作，並從YARN UI 中獲取完整的運行情況。 所有其他複雜性，如運行分佈式等，都會由 YARN 負責。 我們來看幾個例子：
就像 HELLO WORLD 一樣輕鬆啓動分佈式深度學習訓練
以下命令啓動深度學習訓練工作讀取 HDFS上 的 cifar10 數據。 這項工作是使用用戶指定的 Docker 鏡像，與YARN 上運行的其他作業共享計算資源（如CPU / GPU /內存）。
yarn jar hadoop-yarn-applications-submarine-<version>.jar job run \
–name tf-job-001 –docker_image <your docker image> \
–input_path hdfs://default/dataset/cifar-10-data \
–checkpoint_path hdfs://default/tmp/cifar-10-jobdir \
–num_workers 2 \
–worker_resources memory=8G,vcores=2,gpu=2 \
–worker_launch_cmd “cmd for worker …” \
–num_ps 2 \
–ps_resources memory=4G,vcores=2 \
–ps_launch_cmd “cmd for ps”
通過 TENSORBOARD 訪問您所有的訓練歷史任務
以下命令啓動深度學習訓練工作讀取 HDFS 上的 cifar10 數據。
yarn jar hadoop-yarn-applications-submarine-<version>.jar job run \
–name tensorboard-service-001 –docker_image <your docker image> \
–tensorboard
在 YARN UI 上，用戶只需單擊即可訪問 tensorboard：
在同一 Tensorboard 上查看訓練狀態和歷史記錄。
雲端數據科學家 NOTEBOOK
想在 GPU 機器上用筆記本編寫算法嗎？ 使用 Submarine，您可以從 YARN 資源池獲取雲端 notebook。
通過運行以下命令，您可以獲得一個notebook，其中包括 8GB 內存，2 個 vcores 和 4 個來自 YARN 的 GPU。
yarn jar hadoop-yarn-applications-submarine-<version>.jar job run \
–name zeppelin-note—book-001 –docker_image <your docker image> \
–num_workers 1 \
–worker_resources memory=8G,vcores=2,gpu=4 \
–worker_launch_cmd “/zeppelin/bin/zeppelin.sh” \
–quicklink Zeppelin_Notebook=http://master-0:8080
然後在 YARN UI上，您只需單擊一下即可訪問筆記本。
SUBMARINE 生態
Hadoop Submarine 項目的目標是提供深度學習場景中的數據（數據採集，數據處理，數據清理），算法（交互式，可視化編程和調優），資源調度，算法模型發佈和作業調度的全流程服務支持。
通過與 Zeppelin 結合，很明顯可以解決數據和算法問題。 Hadoop Submarine 還將解決 Azkaban 的作業調度問題。 三件套工具集：Zeppelin + Hadoop Submarine + Azkaban 爲您提供一個零軟件成本的、開放所有源碼的隨時可用的深度學習開發平臺。
SUBMARINE 集成 ZEPPELIN
Zeppelin 是一款基於網絡的筆記本電腦，支持交互式數據分析。 您可以使用 SQL，Scala，Python 等來製作數據驅動的交互式協作文檔。
在完成機器學習之前，您可以使用 Zeppelin 中的 20 多種解釋器（例如 Spark，Hive，Cassandra，Elasticsearch，Kylin，HBase 等）在 Hadoop 中的數據中收集數據，清理數據，特徵提取等。 模特訓練，完成數據預處理過程。
我們提供 Submarine 解釋器，以支持機器學習工程師從 Zeppelin 筆記本中進行算法開發，並直接向 YARN 提交訓練任務並從 Zeppelin 中獲得結果。
使用 ZEPPELIN SUBMARINE 解釋器
你可以在 zeppelin 中創建 submarine 解釋器。
在 notebook 的第一行種輸入 %submarine.python REPL（Read-Eval-Print Loop，簡稱 REPL）名稱，你就可以開始編寫 tensorflow 的 python 算法，你可以在一個 Notebook 中至上而下分段落的編寫一個或多個算法模塊，分塊編寫算法結合可視化輸出將會幫助你更容易驗證代碼的正確性。
The zeppelin submarine 解釋器會自動將分塊編寫的算法模塊進行合併提交到 submarine 計算引擎中執行。
通過點擊 Notebook 中的 YARN LOG 超鏈接，你將會打開 YARN 的管理頁面查看執行的任務。
在 YARN 管理頁面中，您可以打開自己的任務鏈接，查看任務的 docker 容器使用情況以及所有執行日誌。
有了這個強大的工具，數據科學家不需要了解 YARN 的複雜性或如何使用 Submarine 計算引擎。 提交 Submarine 訓練工作與在筆記本中運行 Python 腳本完全相同。 最重要的是，用戶無需更改其已有算法程序即可轉換爲 Submarine 作業運行。
SUBMARINE 集成 AZKABAN
Azkaban 是一種易於使用的工作流程安排服務，通過 Azkaban 安排 Zeppelin 編寫的 Hadoop Submarine Notebook 來安排指定 Notebook 設置某些段落之間的工作流程。
您可以在 Zeppelin 中使用 Azkaban 的作業文件格式，編寫具有執行依賴性的多個筆記本執行任務。
Azkaban 能夠調度這些通過 zeppelin 編輯好的具有依賴關係的 notebook。
一旦執行了帶有 Azkaban 腳本的 notebook，它將被編譯爲 Azkaban 支持的工作流並提交給 Azkaban 以執行。
HADOOP SUBMARINE 安裝程序
由於分佈式深度學習框架需要在多個 Docker 容器中運行，並且需要能夠協調容器中運行的各種服務，因此需要爲分佈式機器學習完成模型訓練和模型發佈服務。 這其中將涉及到多個系統工程問題，如 DNS，Docker，GPU，網絡，顯卡驅動，操作系統內核修改等，正確部署這些運行環境是一件非常困難和耗時的事情。
我們爲您提供了 submarine installer ，用於運行時環境的安裝， submarine installer 是一個完全由 Shell 腳本編寫，提供了簡單易用的菜單化操作方式，您只需要在一臺可以聯網的服務器上運行，就可以輕鬆便捷的安裝好運行環境。
安裝過程中你如果遇見問題，還可以通過我們提供的 安裝手冊 進行解決。
項目狀態
Alpha 版本的解決方案已經合併到 Haodop 主幹分支。 3.2.0版本的一部分仍處於活動開發/測試階段。Umbrella JIRA: YARN-8135.
Submarine 能夠運行在 Apache Hadoop 3.1+.x release 版本上，實際上你只需要安裝 Apache Hadoop 3.1 的 YARN 就可以使用完整的 Submarine 的功能和服務，經過我們的實際使用， Apache Hadoop 3.1 的 YARN 可以完全無誤的支持 Hadoop 2.7 + 以上的 HDFS 系統。
案例 – 網易
網易杭研大數據團隊是 Submarine 項目的主要貢獻者之一，主要希望通過 Submarine 來解決機器學習開發和運維過程中遇到的以下問題：
現有計算集羣的狀態：
- 網易通過互聯網提供在線遊戲/電商/音樂/新聞等服務。
- YARN 集羣中運行有 ~ 4k 服務器節點
- 每天 100k 計算任務
單獨部署的 Kubernetes 集羣（配備GPU）用於機器學習工作負載
- 每天 1000+ 計算學習任務
- 所有的 HDFS 數據都是通過 Spark、Hive、impala 等計算引擎進行處理
存在的問題：
- 用戶體驗不佳
沒有集成的操作平臺，全部通過手動編寫算法，提交作業和檢查運行結果，效率低，容易出錯。
- 利用率低
無法重用現有的YARN羣集資源。
無法集成現有的大數據處理系統（例如：spark，hive等）
- 維護成本高（需要管理分離的集羣）
需要同時運維 Hadoop 和 Kubernetes 兩套操作環境，增加維護成本和學習成本。
網易內部 Submarine 部署情況
- 積極與 Submarine 社區合作開發，已經驗證 20 個 GPU 節點集羣上的 Submarine 的可靠性。
- 計劃將來將所有深度學習工作轉移到 Submarine 上
其他信息
- Submarine 設計文檔 Google doc: , umbrella JIRA for computation engine: YARN-8135
- Submarine 配套的生態項目: Github link.
- Submarine slides 在 Strata Data Conf 2018 大會上的演講.
歡迎大家參與到 Submarine 項目中來！
關於作者
Wangda Tan @ Hortonworks, Engineering Manager of YARN team @ Hortonworks. Apache Hadoop PMC member and committer, working on Hadoop since 2011. Major working field: scheduler / deep learning on YARN / GPUs on YARN, etc.
Xun Liu @ Netease, has been working on Hadoop development for 5 years. Currently in the Netease Hangzhou Research Institute is responsible for the machine learning development team.
Sunil Govindan, Staff Software Engineer @Hortonworks. Contributing to Apache Hadoop project since 2013 in various roles as Hadoop Contributor, Hadoop Committer and a member Project Management Committee (PMC). Majorly working on YARN Scheduling improvements / Multiple Resource types support in YARN etc.
Quan Zhou @ Netease, Senior Big Data Engineer @NetEase, Focusing on Hadoop, yarn, and hive, worked at Cisco since 2013 and joined in NetEase in 2015
Zhankun Tang. Staff Software Engineer @Hortonworks. He’s interested in big data, cloud computing, and operating system. Now focus on contributing new features to Hadoop as well as customer engagement. Prior to Hortonworks, he works for Intel.
致謝
Thanks for inputs and contributions from Vinod Vavilapalli, Saumitra Buragohain, Yanbo Liang, Zian Chen, Weiwei Yang, Jeff Zhang ,Zhe Zhang (Linkedin), Jonathan Hung (Linkedin), Keiqiu Hu (Linkedin), Anthony Hsu.