對軟件行業的理解
可以用需求、架構、工具和算法四個詞對軟件行業做一個整體的概括。
需求是推動軟件行業發展的源動力,需求的變化帶來了架構、工具和算法的進步。
架構這個層面上,主要涉及的是一種解決問題的思想和策略,好的架構的誕生源於對需求和技術的深入瞭解,但與具體的技術實現聯繫不是太緊密。
工具是有需求帶動的,工具的產生會受到架構的限制,不同的工具一般對某一領域更擅長。
算法的進步依賴於基礎學科,是對具體問題的優化處理。
總之,無論是需求、架構、工具,還是算法,很少出現跳躍性的進步和創新,大多是在以前的基礎上做改進。
對大數據的理解
大數據的HDFS(分佈式文件系統)實際上就是在Linux文件系統之上安照其文件系統的原理又實現了一遍文件系統,並且加入了網絡相關內容的處理。這也是爲什麼理解、熟悉Linux文件系統的實現細節對大數據的學習很有幫助的原因。
如果不考慮每個節點主機的運算能力的話,HDFS管理的就是一個磁盤陣列。加上並行運算技術以後,各個節點主機的運算能力利用起來了,就逐漸演變成了現在的Hadoop。
從以上來看,大數據沒有多少新東西,最關鍵的還是機器學習部分。這纔是在大數據領域保持向上發展的決定部分。
By印臣