原创 大數據全體系年終總結
到年底了，想着總結下所有知識點好了~今年應用的知識點還是很多的~ Hadoop生態圈： 1、文件存儲當然是選擇Hadoop的分佈式文件系統HDFS，當然因爲硬件的告訴發展，已經出現了內存分佈式系統Tachyon，不論是Hado
2020-05-30 17:13:29
原创 主流大數據技術全體系參數與搭建與後臺代碼工程框架的編寫（百分之70）
之前查閱源碼啊，性能測試啊調優啊。。基本告一段落，項目也接近尾聲，那麼整理下spark所有配置參數與優化策略，方便以後開發與配置： Spark安裝配置與代碼框架 spark-default.conf 配置 spark.executor
2020-05-30 17:13:29
1
原创 Spark 1.6以後的內存管理機制
Spark 內部管理機制 Spark的內存管理自從1.6開始改變。老的內存管理實現自自staticMemoryManager類，然而現在它被稱之爲”legacy”. “Legacy” 默認已經被廢棄掉了，它意味着相同的代碼在1.5版
2020-05-18 13:10:30
原创 Kafka集羣配置說明
#kafka數據的存放地址，多個地址的話用逗號分 log.dirs=/tmp/kafka-logs #broker server服務端口 port=9092 #這個參數會在日誌segment沒有達到log.segment.bytes
2020-05-18 13:09:50
原创 項目中Zookeeper配置參數筆記
ZooKeeper是以Fast Paxos算法爲基礎的，Paxos 算法存在活鎖的問題，即當有多個proposer交錯提交時，有可能互相排斥導致沒有一個proposer能提交成功，而Fast Paxos作了一些優化，通過選舉產生一個lea
2020-05-18 13:09:50
原创 Spark shuffle詳細過程
有許多場景下，我們需要進行跨服務器的數據整合，比如兩個表之間，通過Id進行join操作，你必須確保所有具有相同id的數據整合到相同的塊文件中。那麼我們先說一下mapreduce的shuffle過程。 Mapreduce的shuffle的
2020-05-18 13:09:50
原创 靈魂重塑
又過了兩個月，這兩個月可以說是整個人生的覆盤與顛覆。想想看，從2014年實習到現在將近五年，五年期間，經歷過開心、幸福、痛苦、難過、迷茫、焦慮等等百感交集，也有過奮不顧身，有過絕望重生。意識中將這些全部清空，將每一份情緒、表達、經歷、背
2019-07-15 13:44:51
原创 2018年終總結--向死而生，唯一不變的是變化 （未完）
好久沒有更新啦，一方面是工作較爲忙碌，一方面經歷了同時幾個項目的生命週期。突然意識到，2018年，似乎沒有做過什麼年終總結，同時近段時間經歷了巨大壓力與困惑下的覺醒，突然想寫點什麼，那麼主題便是，向死而生，唯一不變的是變化。 記得上
2019-05-14 13:41:51
1
原创 第三人稱視角審視人生--成長
當人從呱呱落地的那一刻起，便是一個人的生命週期的開始。我們會在不同的背景及家庭環境下，首先接受來自父母的行爲、觀念、思想的影響。因爲那個時候的我們還處於無意識狀態，是一種潛在的意識模仿。成長過程中通過與家庭環境、人文、社會的影響，從而逐
2019-02-19 06:47:45
原创 《組織行爲學》--羣體行爲及個人感悟
個人感悟 我們上一節分析了個人維度的不同價值觀、行爲動機、態度、滿意度等相關因素，從而使我們能夠更好地理解他人，提高個人認知以及促進不同相關性的人之間達成合作關係。那麼從這一章開始，我們將各類的人，根據組織職能的劃分的再細分，就形成了特
2019-02-17 13:24:00
原创 《組織行爲學》--工作動機及個人感悟--工程師真實價值
個人感悟 我們研究個人工作動機的目的，是能夠更好地把握不同情境下的心態及情緒。同時，組織行爲學本身也是能夠幫助管理者對不同工作動機的成員有着激勵的作用。但是《組織行爲學》中，只是從工作效能和提高員工工作積極性的角度去分析及激發不同需求個
2019-02-17 13:24:00
原创 《組織行爲學》--情緒與工作壓力及個人感悟--緩解程序員焦慮
個人感悟 本人也是程序猿出身，曾經無限的癡迷過、瘋狂過、對於技術的熱情達到一種瘋狂狀態，一起探討技術、架構時那種無上的成就感，彷彿它便是愛情，即便隨着工作的深入，角色職能逐漸模糊，多角色的承擔也會跟隨技術的發展。 那麼從另一個角度，隨着
2019-02-15 13:22:15
原创 《組織行爲學》--態度、工作滿意度及個人感悟
一、態度 （1）什麼是態度？ 態度是根據經驗而系統化了一種心理和神經的準備狀態，它對個人的反應具有指導性的或動力性的影響。洛克奇指出：態度是一種具有結構和組織的複雜的認知體系。前一定義側重在態度是個人行爲的內在結構，或強調態度是
2019-02-14 13:44:07
原创 《組織行爲學》--個體行爲整理及個人感悟
一、能力 人的能力各有長短，這是不爭的事實。但是，個體能力的發展的不平衡未必就意味着孰優孰劣。人的能力是有差異的，應該善於根據人的能力特點去使用他們，儘量兼收幷蓄。而不要有所棄有所取。要不拘一格地使用人才。 那麼從管理的角度出發，瞭
2019-02-12 13:23:21
原创 《組織行爲學》--價值觀整理及個人感悟
一、價值觀 （1）價值觀的含義 價值觀是一個人關於生活的最基本的信念。對於個體而言，它是非常穩定的，一旦形成，就不容易發生變化。從更長遠的歷史長河來看，在人類一代又一代的傳承過程中，人類的價值觀又發生着變化。同時，價值觀不僅有個
2019-02-12 13:23:21