原创 身價1000億美元的巨鱷!-的崇拜者,講講什麼是大數據及一些拙見

身價1000億美元的巨鱷!-的崇拜者,講講什麼是大數據及一些拙見 關注道外大數據 -今日頭條 準備好了嗎2018年5月12日,天氣晴,今天本人先說說大數據究竟是什麼?大數據是什麼大數據(big data,mega data),或稱巨量資料,

原创 MapReduce的思想

項目實戰案例:搜狗日誌查詢分析 數據: 一、電商大數據平臺整體架構1、大數據(Hadoop、Spark、Hive)都是一種數據倉庫的實現方式核心問題:數據存儲、數據計算什麼是數據倉庫?傳統的解決大數據的方式,就是一個數據庫一般只做查詢 2、

原创 Apache Hadoop 入門教程第一章

Apache Hadoop 是一個由 Apache 基金會所開發的分佈式系統基礎架構。可以讓用戶在不瞭解分佈式底層細節的情況下,開發出可靠、可擴展的分佈式計算應用。 Apache Hadoop 框架,允許用戶使用簡單的編程模型來實現計算機集

原创 大數據之高可用Mongodb集羣部署

在這裏相信有許多想要學習大數據的同學,大家可以關注小編頭條號和轉發,關注私信【學習> 】即可免費領取一整套系統的大數據學習教程 另外,大數據初學者有什麼不懂的可以關注私信【學習】和轉發——我剛整理了一份大數據 2018最新的0基礎

原创 大數據現在是黃金髮展時期,誰先掌握,誰就領先別人一步

大數據未來趨勢比現在會更好,因爲我們是人口最多的國家,那麼產生的數據量也是最多的, 包括現在智慧城市,都是依託於大量的數據,這個就是時代的風口,那麼就看誰能提前站在風 口, 另外,大數據初學者有什麼不懂的可以加大數據學習交流羣763835

原创 讓我們一起走進大數據開源項目--第1節

最近大數據領域最火的消息莫過於Pivotal兌現了其年初對於開源其大數據核心產品GemFire,HAWQ,Greemplum DB的承諾 。這個消息也讓Pivotal在國內技術社區風風光光的火了一把,程序猿們可以看到真正的企業級數據倉庫是如

原创 讓我們一起走進大數據開源項目--第2節

看了上一節,這節我們來講解一下: 數據可視化 在大數據的海洋中,如何更直觀對數據進行探索和可視化也是目前最值得關注的方向,這類開源項目包括D3,Chart.js, Arbor, DC.js, Sigma.js, Zeppelin等,熟悉前端

原创 來學英文-大數據

Time/System Time 時間/系統時間 Date/System Date 日期/系統日期 Level 2 Cache 二級緩存 System Memory 系統內存 Video Controller 視頻控制器 Panel Typ

原创 身價1000億美元的巨鱷!-的崇拜者,講講什麼是大數據及一些拙見

身價1000億美元的巨鱷!-的崇拜者,講講什麼是大數據及一些拙見 關注道外大數據 -今日頭條 準備好了嗎2018年5月12日,天氣晴,今天本人先說說大數據究竟是什麼?大數據是什麼大數據(big data,mega data),或稱巨量資料,

原创 大數據MapReduce 編程實戰

MapReduce 編程實戰 一、大數據的起源1、舉例:(1)商品推薦 問題1:大量訂單如何存儲?問題2:大量訂單如何計算?(2)天氣預報: 問題1:大量的天氣數據如何存儲?問題2:大量的天氣數據如何計算? 2、大數據核心的問題:

原创 spark-使用總結-大數據基礎入門

1、partition數目 spark的輸入可能以多個文件的形式存儲在HDFS上,每個File都包含了很多塊,稱爲Block。 當Spark讀取這些文件作爲輸入時,會根據具體數據格式對應的InputFormat進行解析,一般是將若干個Blo

原创 大數據學習路線-甲骨文高級技術總監思維圖

最近有很多人問我如何學習大數據?我也是思考了很多時日才動筆寫下此文。一方面我自己還只是大數據學習中的一個小學生,貿然動筆怕貽笑大方;另一方面大數據本身領域博大精深,其涵蓋領域之廣技術種類之多確實很難用一篇文章囊括。怎奈“下雨天打孩子,閒着也

原创 Apache Hadoop 入門教程第三章

免密碼 ssh 設置 現在確認能否不輸入口令就用 ssh 登錄 localhost: $ ssh localhost1如果不輸入口令就無法用 ssh 登陸 localhost,執行下面的命令: $ ssh-keygen -t rsa -P

原创 Apache Hadoop 入門教程第四章

運行在單節點的 YARN 您可以通過設置幾個參數,另外運行 ResourceManager 的守護進程和 NodeManager 守護進程以僞分佈式模式在 YARN 上運行 MapReduce job。 以下是運行步驟。 (1)配置 etc

原创 Apache Hadoop 入門教程第二章

Apache Hadoop 單節點上的安裝配置 下面將演示快速完成在單節點上的 Hadoop 安裝與配置,以便你對 Hadoop HDFS 和 MapReduce 框架有所體會。 先決條件 支持平臺: GNU/Linux:已經證實了 H