大數據實驗室建設方案
大數據發展背景
國家政策
2017年1月
工業和信息化部正式發佈了《大數據產業發展規劃（2016－2020年）》，明確了“十三五”時期大數據產業的發展思路、原則和目標，將引導大數據產業持續健康發展，有力支撐製造強國和網絡強國建設。
2018年9月
工信部公示“2018年大數據產業發展試點示範項目名單”，公佈了包括大數據存儲管理、大數據分析挖掘、大數據安全保障、產業創新大數據應用、跨行業大數據融合應用、民生服務大數據應用、大數據測試評估、大數據重點標準研製及應用、政務數據共享開放平臺及公共數據共享開放平臺等10個方向200個項目。
2019年11月
爲進一步落實《國務院關於印發促進大數據發展行動綱要的通知》和《大數據產業發展規劃（2016~2020年）》，推進實施國家大數據戰略，務實推動大數據技術、產業創新發展，我國工業和信息化部將組織開展2020年大數據產業發展試點示範項目申報工作。
行業現狀
據相關資料顯示，隨着互聯網、移動互聯網、物聯網等信息通信技術及產業的不斷髮展，全球數據量呈爆發式增長態勢。至此，IDC研究報告指出，根據ZDNET的統計預計到2020年，中國產生的數據總量將超過8.5ZB，是2013年的10倍。
此外，值得一提的是，大數據市場空間巨大的同時，其產業規模也有望迎來快速增長。據前瞻產業研究院發佈的《中國大數據產業發展前景與投資戰略規劃分析報告》統計數據顯示，2015年我國大數據產業規模已達2800億元，截止至2017年我國大數據產業規模增長至4700億元，規模增速進一步提高至30.6%，初步測算2018年我國大數據產業規模將達6200億元左右，同比增長31.9%。並預測在2020年我國大數據產業規模增長突破萬億元，達到了10100億元，同比增長26.3%。
2015-2020年我國大數據產業規模統計及增長情況預測
數據來源：前瞻產業研究院整理
由此可知，隨着來自政策、技術以及市場等各方面的力量推進之下，大數據產業的發展潛力絕不能小覷。對此，業內人士還預期稱，我國大數據產業正在從起步階段步入黃金期，2020年中國有望成世界第一數據資源大國。
專業背景
大數據及相關專業是以計算機爲基礎，以挖掘、分析爲主，以搭建、工具使用爲輔，緊密面向行業應用的一門綜合性學科。其方向有數據科學與大數據技術、概率論與數理統計、數據挖掘與數據分析、數據運維與開發、算法與數據結構、計算機網絡、並行計算等多個專業方向。目前全國各類院校已陸續開始圍繞大數據專業建設展開研究並申報大數據專業。
2016年，教育部批准北京大學、對外經貿大學、中南大學率先開設“數據科學與大數據技術”專業；2017年，教育部批准包括中國人民大學、北京郵電大學、復旦大學在內的共計32所高校獲批“數據科學與大數據技術專業”；2018年3月，教育部發布《2017年度普通高等學校本科專業備案和審批結果》，共計255所高校獲批開設“數據科學與大數據技術專業”及“大數據管理與應用專業”；2019年3月，教育部發布《2018年度普通高等學校本科專業備案和審批結果》，共計228所高校獲批開設“數據科學與大數據技術專業” 及“大數據管理與應用專業”。
“大數據技術與應用”專業是2016年教育部公佈的新增專業。2017年共有62所職業院校獲批“大數據技術與應用”專業，2018年共有148所職業院校獲批“大數據技術與應用”專業，2019年度新增195所高職院校獲批“大數據技術與應用”專業。截止目前，總計405所高職院校成功申請該專業。
專業現狀
從大的範圍看，大數據人才培養就是學位培養和應用培訓兩類。學位培養需要設置完整的培養體系，包括：培養方案、課程體系、師資力量、實驗條件等；應用培訓相對比較簡單，主要注重的是技能培訓，掌握大數據分析工具，例如Hadoop、MapReduce、Spark、Mahout等，熟悉大數據應用案例等。
大數據是一門交叉學科，除了計算機相關知識，還需要有統計學、數學基礎以及一定業務知識，結合院校優勢學科建設有特色的“大數據+”專業無疑是院校最好的選擇。然而，目前大數據專業的課程設置並沒有參考和標準，如何根據院校情況制定精準的人才培養方案，設置對應的課程體系並且與院校師資相契合，仍是大多數高校需要考慮的。
對於很多高校教師來說，大數據並不像很多傳統的理工科學科那樣有完善的教學資源，目前並沒有統一的大數據教材，並且缺乏與課程相契合的PPT、視頻等課件，老師準備相關的教學資源需要花費大量的時間與精力，並且由於不同課程由不同老師負責，無法保證整個大數據知識體系能夠完美銜接。
大數據專業的學生需要從原理、技術與應用等不同的角度掌握大數據平臺搭建的方法與原理、挖掘的算法與技巧、分析的理論與分析知識、存儲的工具與要求。學生要很好地掌握這些課程，除了課堂學習之外，也需要通過實驗來加深理解和提高實際應用操作能力。調查表明，大數據的環境搭建方法、挖掘算法、分析知識、數據存儲、運算環境以及用於實驗的大數據生命週期類真實案例都無法在我國高校現有的實驗室中完成。
大數據是一門綜合性較強的學科，除了理論基礎知識以外，還需要接觸真實數據並學習一些項目案例來將理論知識與實際應用相結合，爲了訓練大數據人才，需要各種各樣的數據環境，在實踐中總結經驗，訓練發現問題和解決問題的能力。數據環境是要有來源多樣、類型多樣的數據集合，並且數據規模要足夠大。然而大多數高校都沒有相關的數據及大數據項目案例來讓學生學習。
在教學中如何掌握學生們的學習情況一直都是老師們非常關心的。通過傳統的課堂提問、實驗報告等方式去分析瞭解學生學習情況不僅不夠精準，而且會花費大量的時間，另老師無法將精力投入到教學內容及管理優化等方面，如此惡性循環不但無法掌握學生的準確情況，還會給老師帶來大量的不必要的教學壓力。
建設目標
針對理、工、商等不同專業結合院校優勢學科爲高校量身定製符合高校特色的個性化人才培養方案，以專業必修課爲基礎、以大數據專業知識爲核心、以大數據進階課爲方向、以數據及項目案例爲最終出口，包含大數據基礎、數據採集、數據存儲、數據處理、數據分析、數據挖掘、數據可視化、人工智能、大數據案例等完整的教學資源，讓學生通過實驗教學熟練掌握大數據相關技能，並且通過項目案例熟悉真實大數據處理流程，全面綜合提升學生能力。
根據院校情況制定短期、中期、長期培訓計劃。
使教師掌握大數據行業動態，瞭解行業發展，瞭解大數據基本組件與作用。
提供模塊能力拔高培訓，使教師在某一模塊達到工程師水平。
提供大數據生態系統的整體培訓，使教師掌握整體的使用與基本開發。
建立包括大數據基礎、大數據進階、人工智能等多種實驗分類及實驗模塊，包含從基礎到應用的一系列實驗資源並配備與課程配套的教材資料、視頻資源、PPT講義等課件資源，在滿足老師教學需求的同時，能夠節省時間，讓老師能夠將更多的時間和精力投入到教學管理中。
實驗室的設計全面落實“產、學、研、監、用、評”一體化的思想和模式，以課程爲根本，融入實操實訓，結合行業項目訓練，以崗位職業培養爲導向，同時支持競賽訓練、以賽促學；從空間、文化、課程、教務、智能五個維度建設實驗室，從教學、實踐、使用、科研、監控、評估等多方面培養人才，讓學生更好地完成專業課程學習及人才崗位對接實訓。
基於高校的教學場景，運用雲計算技術，集課程實驗、算法實戰、數據科研、考試於一體的大數據實訓平臺，系統課程學習模式包括課程模式、崗位模式和項目模式，滿足不同場景的教學需求。在教學管理方面，平臺自帶人工智能課程推薦功能，可爲學生提供個性化課程推薦及AI課程助手，幫助學生輕鬆搞定學業問題。還可以通過大數據分析，自動生成學業報告，爲學生就業提供橋樑，並作爲教師教學的得力助手，爲高校的學生能力培養及教師的工作提供強有力的支持。
基於高校大數據人工智能科研工作的各方面需求而研發一個綜合化服務平臺，可通過多種分析工具與接口支持大數據人工智能相關的全週期科研工作，內置靈活多樣的數量導入方式、數量衆多的科研算法、基於典型科研場景的處理模型以及可視化效果炫酷的圖標樣式，內置數量衆多的典型行業應用和真實數據，且整個平臺可靈活的選擇服務器數量與配置，用以滿足用戶的不同科研需求。
對於最終用戶：爲用戶提供一體化、自助式的大數據分析平臺，降低數據分析門檻，幫助用戶充分利用數據價值，促進“人人都是數據分析師”的數據文化建設，推動數據驅動轉型。
對於用戶單位：爲用戶單位提供的完善的數據應用開發工具與靈活的集成機制，大幅度降低數據應用開發的難度與複雜度，適應靈活多變的業務需求，降低用戶單位的研發成本。
紅亞教學平臺
紅亞大數據教學平臺基於高校的教學場景，運用雲計算技術，集課程實驗、算法實戰、數據科研、考試於一體的實訓平臺，平臺課程共計800多個任務。學生可通過瀏覽器訪問使用，可在學校任何一個網絡可達的場所進行學習。
系統課程學習模式包括實驗平臺、項目路徑和職業路徑，滿足不同場景的教學需求。在教學管理方面，平臺自帶人工智能課程推薦功能，可爲學生提供個性化課程推薦及AI課程助手，助力學生定向就業。還可以通過大數據分析，自動生成學業報告，爲學生就業提供橋樑，並作爲教師教學的得力助手，爲高校的學生能力培養及教師的工作提供強有力的支持。
學習模式
該模式以知識體系爲核心，將大數據內容按照不同類型的知識模塊進行分類。如大數據基礎體系下包含了：Linux基礎、編程基礎、數學基礎、數據庫基礎等課程；大數據進階體系包含了：Hadoop、Spark數據處理、R語言、Python數據處理、SAS數據分析等課程；該模式圍繞一個內容展開了多方面知識的學習，與現在教育方式一致，保留了師生們傳統的學習授課方法。不僅如此，爲滿足學校的已有的課程教學資源，老師可以自定義實驗內容及實驗鏡像，將文本類、實操類、視頻類課件上傳到教學平臺上滿足教學需求。
該模式以職業崗位需求爲核心，綜合分析國內衆多企業的大數據相關人才崗位需求，如大數據運維工程師、大數據研發工程師、大數據架構工程師，經過採集、篩選、對比、定模等一系列的流程，將崗位技能需求落實到具體的知識點，圍繞一個崗位展開多方面相關技術的學習。
教師在後臺可以將實驗按照所需知識點的難易程度設計成一套流程體系。學生按照流程開始實驗，將每一模塊的技能牢牢掌握後，到最後具備勝任該職業的能力，可爲自身職業發展提供有效幫助。
項目路徑學習模式是以還原企業的真實項目完成過程爲設計思路，將大數據技能知識點與實際項目案例相結合，讓學生能夠真實的體會到每個知識點在實際項目中的具體作用。
將一個項目拆分成多個實驗，多個實驗間共同使用同一實驗環境，以實現項目的連貫性和真實性。項目提供整套的實驗環境及配套工具，用戶在切換實驗時對應的實驗環境不會改變，在下一個實驗會繼續使用上一實驗的實驗環境，並最終完成該項目。具體項目案例包括大數據集羣運維項目、圖書館管理系統的設計與實現、IBM離職率分析等。
練習算法
算法集提供了一個環境，用戶可以在裏面寫代碼、運行代碼、查看結果，並在其中可視化數據，並與平臺中的數據集功能進行交互式使用，可直接調用平臺當中的數據集用於算法在實際數據中的實踐測試。鑑於這些優點，它能幫助他們便捷地執行各種端到端任務，如數據清洗、統計建模、構建/訓練機器學習模型等。
算法集的一個特色是允許把代碼寫入獨立的cell中，然後單獨執行。這樣做意味着用戶可以在測試項目時單獨測試特定代碼塊，無需從頭開始執行代碼。雖然其他的IDE環境（如RStudio）也提供了這種功能，但就個人使用情況來看，算法集的單元結構是設計的最好的。
算法集的優勢還體現在靈活性和交互性上，除了最基礎的Python，它還允許用戶在上面運行R語言。由於它比IDE平臺更具交互性，教師也更樂於在各種教程中用它來展示代碼。
數據集功能提供數量衆多的大數據數據集，包括互聯網、零售、電商、醫療等相關數據集，數據集中的數據可直接與算法集中的算法進行交互使用，爲算法提供所需數據的調用支撐。
教師可根據數據集的內容、格式、數量等爲學生設定開放式課題，使用真實的數據集進行大數據項目案例處理分析，深度理解掌握大數據技術是如何處理這些數據的，例如，教師給定一份數據讓學生進行預測實驗，學生需設計算法進行清洗與預測等。
平臺提供開放式上傳功能，支持用戶將自己的數據上傳至平臺當中，並可設定是否與他人共用，可幫助用戶解決數據存放管理問題，實現用戶數據的開放式共享。
在線考試
理論考覈採用在線考覈模式，將單選題、多選題、判斷題、填空題、簡答題添加在試卷上，每一道題的題目、正選、分值等內容可由管理員自行設置，簡答題題採用關鍵詞進行自動判分，同時也可以由教師手動判分。
理論考覈
實踐測評考覈模式是以實驗操作過程爲考覈點，也稱之爲實操題考覈模式，由教師在管理端設置考覈步驟、分值權重，平臺提供配套的實驗考試環境。學生在實際操作過程中遇到的考覈點，需要根據實際結果去填寫，到最後統一彙總分數。該模式突破了傳統的考覈模式，通過實操的方式來加深印象，鞏固大數據知識。
智能教務
課程實驗具有核全局開關功能，打開全局考覈後，進行所有實驗時都必須完成實驗當中設定的每一步考覈才能查看下一步。接着，系統不僅自動檢測到正在進行實驗，也可以手動設定實驗狀態分析（也可以手動設置分析目標）。查看分析結果時可查看每個班級的學生在進行每個實驗時完成度，查看每個實驗的每個步驟的通過率、完成率、完成進度、實驗總結信息等。
教學進度分析功能可通過智能化的手段，有效幫助教師分析並掌握整個班級的學習情況，根據學生完成實驗的進度過程進行授課，選擇重點難點部分進行針對性講解，有效降低教師授課壓力，高效完成授課任務。
管理員在後臺可以一次性佈置全部的教學計劃，規定上課時間與學習課程，隨後學生通過在前端查看，即可瞭解到每一天的課程安排。
教師通過此功能查看學生的實驗報告，支持預覽和批閱等功能，後臺自動統計學生學習數據，展示出每個步驟的學習通過時間、成績正確率、班級排名等信息，並將實驗數據與學生的實驗報告有機結合，形成完成的實驗報告。此功能相較於傳統的實驗報告，增加了學生的學習數據統計功能，可大大的減輕教師的負擔，同時爲教師瞭解班級整體的學習狀況提供的有力的支持。
平臺管理
爲滿足教師方便的管理班級學院，平臺提供用戶組織管理功能。其中用戶管理顯示平臺用戶的信息列表，管理端可對平臺用戶信息進行編輯與刪除，根據信息進行用戶模糊篩選，便於管理平臺用戶；角色管理顯示平臺現有角色，用戶可編輯新的角色並賦予角色權限；組織結構管理顯示平臺現有的組織機構，管理端可以也可根據層級分步添加組織、學院、系別、專業、班級，對同級別下的機構進行排序。
用戶可以在此查看版本信息、用戶數量、實驗數量，資源監控及用戶虛擬機監控。同時後臺資源監控中心可查看平臺的用戶數量、實驗數量、職業路徑數量、項目路徑數量、算法集數量、數據集數量、用戶分佈、活躍用戶等數據；實時的CPU、內存、硬盤、實例的使用情況和該時刻學生實驗進行的狀態；可對虛擬機進行監控所處狀態。該功能的實現可便捷精準的反應出學生的問題所在，可對實驗平臺進行實時狀態的查看，又同時提高了老師的教學質量和效率。
