原创 什麼叫大數據 大數據的概念
1、大數據定義對於“大數據”（Big data）研究機構Gartner給出了定義，“大數據”是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。大數據技術的戰略意義不在於掌握龐大的數據信息，而在
2019-02-22 18:15:22
原创 關於Kafka的其他一些內容，堆積情況，retention，auto.offset.reset
producer是線程安全的，多線程分享共用一個producer比用多個 producer整體上要快 如果你想了解大數據的學習路線，想學習大數據知識以及需要免費的學習資料可以加羣：784789432.歡迎你的加入。每天下午三點開直播分享基礎
2019-02-22 18:15:15
1
原创 要想月薪達到5萬，要必備以下9項技能,阿里前大數據工程師說的
現在已經進入了大數據時代，哈佛大學社會學教授加里·金說：“這是一場革命，龐大的數據資源使得各個領域開始了量化進程，無論學術界、商界還是政府，所有領域都將開始這種進程。” 目前很火，數據源頭，各種炫酷新技術，搭建hadoop、Hive、Spa
2019-02-22 18:15:14
1
原创 Yarn中的Map和Reduce的優化
通過Hive執行的批次任務處理失敗，Spark中報的錯誤日誌如下： [plain] view plain copyERROR : Failed to monitor Job[ 3] with exception 'java.lang.Ill
2019-02-22 18:15:11
1
原创 mysql與Oracle的區別
一、併發性 併發性是oltp數據庫最重要的特性，但併發涉及到資源的獲取、共享與鎖定。 mysql:mysql以表級鎖爲主，對資源鎖定的粒度很大，如果一個session對一個表加鎖時間過長，會讓其他session無法更新此表中的數據。雖然In
2019-02-22 18:15:02
原创 電競大數據平臺 FunData 的系統架構演進
電競大數據時代，數據對比賽的觀賞性和專業性都起到了至關重要的作用。同樣的，這也對電競數據的豐富性與實時性提出了越來越高的要求。 電競數據的豐富性從受衆角度來看，可分爲賽事、戰隊和玩家數據；從遊戲角度來看，維度可由英雄、戰鬥、道具以及技能等組
2018-09-11 07:45:42
原创 mysql與Oracle的區別
一、併發性 併發性是oltp數據庫最重要的特性，但併發涉及到資源的獲取、共享與鎖定。 mysql:mysql以表級鎖爲主，對資源鎖定的粒度很大，如果一個session對一個表加鎖時間過長，會讓其他session無法更新此表中的數據。雖然In
2018-09-11 07:45:42
原创 關於Kafka的其他一些內容，堆積情況，retention，auto.offset.reset
producer是線程安全的，多線程分享共用一個producer比用多個 producer整體上要快 如果你想了解大數據的學習路線，想學習大數據知識以及需要免費的學習資料可以加羣：784789432.歡迎你的加入。每天下午三點開直播分享基礎
2018-09-11 07:45:42
原创 如何選擇一家靠譜的大數據培訓機構？
大數據時代已經來臨，越來越多的人開始關注大數據，並且準備轉行大數據。但是，對於一個外行人或者小白來說，大數據是什麼？大數據需要學什麼？什麼樣的大數據培訓機構是靠譜的？這幾個簡單的問題就足可以殺死大量腦細胞。 如果你想了解大數據的學習路線，想
2018-09-11 07:45:41
原创 構建自己的Docker鏡像
Container 轉成Image（不推薦）通過centos的image創建一個容器，修改容器內的內容docker image lsdocker run -it centosyum install -y vimexit 如果你想了解大數據的
2018-09-11 07:45:41
原创 spark源碼系列之累加器實現機制及自定義累加器
一，基本概念 累加器是Spark的一種變量，顧名思義該變量只能增加。有以下特點： 1，累加器只能在Driver端構建及並只能是Driver讀取結果，Task只能累加。 2，累加器不會改變Spark Lazy計算的特點。只會在Job觸發的時候
2018-09-11 07:45:41
原创 大數據spark中ml與mllib 的區別你分清了嗎？
大數據學習過程中一個重要的環節就是spark，但是在spark中有很多的知識點，很多人都傻傻分不清楚，其中，最易搞混的就是ml與mllib的區別，所以我們不妨來詳細的瞭解一下二者的區別。 如果你想了解大數據的學習路線，想學習大數據知識
2018-09-11 07:45:41
原创 Yarn中的Map和Reduce的優化
通過Hive執行的批次任務處理失敗，Spark中報的錯誤日誌如下： [plain] view plain copyERROR : Failed to monitor Job[ 3] with exception 'java.lang.Ill
2018-09-11 07:45:41
5
原创 以MapReduce編程五步走爲基礎，說MapReduce工作原理
在之前的Hadoop是什麼中已經說過MapReduce採用了分而治之的思想，MapReduce主要分爲兩部分，一部分是Map——分，一部分是Reduce——合 MapReduce全過程的數據都是以鍵值對的形式存在的如果你想了解大數據的學習路
2018-09-11 07:45:40
原创 馬雲：未來幾年最賺錢的五個行業是什麼？其中就有大數據！
一、馬雲談2018年最賺錢的生意 傢俱行業、母嬰市場、大數據行業、新式茶業、計算機視覺行業，這五大領域是馬雲眼中2018年最賺錢的生意。如果你想了解大數據的學習路線，想學習大數據知識以及需要免費的學習資料可以加羣：784789432.歡迎
2018-09-11 07:45:39
3