領域知識層次

所謂的編程技能就是基本功,本身並不能產生太大的價值。但有太多的程序員浪費太多的時間在那些築基的層次上,這是不對的。

什麼是領域知識

計算機科學是一個面相當廣泛的學科,有很多領域知識需要和值得我們深入研究,我們才能寫出有價值的程序來。軟件必須要和行業結合起來,要落地才有價值。僅僅研究編程技巧,不懂領域知識是寫不出有價值的程序的。

計算機科學領域有很多,列舉一些如下:

存儲。塊設備,文件系統,集羣文件系統,分佈式文件系統,光纖SCSI,iSCSI,RAID等。

網絡。以太網,光纖網,蜂窩網絡,WIFI,VLAN等。

計算機體系結構。主要就是CPU指令集。x86,ARM等。

USB協議。需要知道URB包。

PCI協議,PCI-E協議。現代計算機的外設都是PCI協議和PCI-E協議的。顯卡現在全是通過 PCI-E協議連接到計算機上的。相對來說減少了很多需要學習的知識。搞虛擬化就需要深入掌握PCI協議。

圖像處理。圖像壓縮,視頻實時編碼等。

此外還有3D遊戲關係數據庫NoSQL數據庫操作系統分佈式操作系統編譯原理機器學習等。

瞭解領域知識的好處

瞭解這些領域知識,自然也會包括瞭解該領域現有的商用硬件、商用軟件和開源軟件。

很多時候,你要完成的工作,在業界已經有現成的工具了,這就意味着,你只要使用現成的工具就可以完成任務,並不需要進行開發。在這些時候,只需要組合現有的工具,寫一些腳本就可以完成任務。比如要實現一個雙向同步任務,只要找到了優秀的開源軟件Unison,編寫一下配置文件就圓滿地完成了任務。不需要編寫任何代碼;比如要做高可用,只要使用Python調用幾個開源軟件就能輕鬆實現了。再比如編寫安裝程序或定製操作系統,只要知道了操作系統的領域知識,寫幾行腳本就可以輕鬆搞定。

而不具備這些領域知識的人,就可能不得不進行大量無謂的開發,甚至開發很久之後才發現,這根本就是一條死路。 

另外,紮實的領域知識,可以大大提高編程調試、查錯的能力。知道編譯器和編程語言運行時工作原理,就能快速根據編譯錯誤和警告信息修改代碼。

領域知識的層次

領域知識隨着經驗的積累,會逐步提高。領域知識可以分爲一些層次,這些層次指的程序員對領域知識掌握程度的層級。

第0層——領域知識菜鳥

對領域知識沒有多少認知,通過搜索引擎找到一些該領域的軟件和硬件的介紹性文章,按照文章指示配置和使用軟件。勉強能夠使用現有軟硬件。

第1層——領域知識行家

瞭解領域內常用硬件,深入掌握領域內常用軟件的配置和使用技巧。能夠使用現有軟硬件熟練搭建解決方案,能夠解決實際工作中遇到的種種問題。

第2層——領域知識專家

當你不僅僅掌握了該領域的軟件和工具,知道怎麼用,還知道其原理(知其然,也知其所以然),你就是該領域的知識專家了。

比如你知道網絡協議的原理,你就能在網絡出現問題時知道是哪裏可能出現了問題,知道是mac衝突,ip衝突還是網絡環路導致的問題。

比如你知道存儲的原理,你就能知道爲什麼這種存儲方式不適合虛擬化,以及哪一種存儲方式適合虛擬化,另一種方式適合資料備份。

比如你知道PCI協議,你就能知道你怎樣才能虛擬化一個硬件設備。

比如你知道網卡硬件協議,你就能模擬出一個虛擬機能正常使用的虛擬網卡。

比如你知道視頻編碼格式和原理,你就能知道什麼視頻格式佔用帶寬最少,什麼視頻格式佔用CPU最少。

比如你瞭解IntelVT/Amd V指令集,你就能知道虛擬化是怎樣實現的。

再比如你明白工作流其實就是狀態機,在遇到複雜工作流程時,你就能知道怎樣設計滿足要求的工作流引擎。

第3層——科學家

你是領域知識專家,但你的知識都是來自於書本,來自於其他人的。如果你滿足於當領域知識專家,你只能拾人牙慧,永遠別想超越。別人的研究成果,未必願意告訴你。當別人告訴你的時候,它可能已經發現了更新的理論,並且新一代產品可能馬上就要發佈了。

而科學家則是探索未知,勇於創新的人,是推動人類社會進步的人。

比如,傳說思科的一位高管曾經半開玩笑地說過,如果思科停止了新技術的研發,華爲就會找不着方向。這是在嘲笑華爲只是處在領域知識專家的水平,只能山寨無法超越。我不知道華爲的實際情況,但希望現在的華爲已經走到了領跑者的位置。

比如,歐文·雅各布斯發現了CDMA碼分多址的原理,並發現它在通訊上大有可爲,組建了高通公司。高通公司主要以專利授權費爲生,它僱傭了大量科學家在通訊領域展開研究。有人說高通是專利流氓,這些人是不明白知識的價值。在他們眼裏,Windows的合理價格就應該是5元錢,一張光盤的價格。iPhone就應該是1000多元裸機的價格。高通是專利流氓,那你也流氓一個CDMA,LTE出來給我看看!

比如,X86芯片在設計上沒有考慮虛擬化,因此會有所謂的虛擬化漏洞出現。就是說,一些CPU特權指令執行時,在虛擬機環境下不會拋出異常,因此就無法切換到Host。這樣,X86芯片上就無法運行虛擬機。VmWare公司是由美國的幾位科學家在1998年創建的。他們發現可以使用二進制翻譯的技術,在X86計算機上運行虛擬機。Xen虛擬化軟件也是幾位科學家發明的。他們發現只要修改虛擬機操作系統和Host操作系統的內核,在需要執行虛擬化漏洞指令時直接調用Host的功能,就可以實現虛擬化,而且大大提高了虛擬機的運行性能。到後來,Intel爲自己的芯片添加了IntelVT指令集,Amd爲自己的芯片添加了AmdV指令集,彌補了虛擬化的漏洞,於是就有了KVM虛擬機軟件,它直接用CPU硬件指令實現虛擬化。 KVM在執行CPU指令時,是直接在物理CPU上運行的,因此效率極高。但是,虛擬機運行虛擬外設時,就必須用軟件模擬,因此虛擬機的IO訪問速度很慢。再後來,IBM科學家RustyRussell,借鑑了Xen的研發經驗,創建了VirtIO技術。就是在虛擬機中編寫一套PCI虛擬設備和驅動,這套虛擬PCI設備有一塊虛擬設備內存。這個虛擬設備內存Host是可以訪問的,虛擬機通過VirtIO驅動程序也可以訪問。也就是一塊內存在虛擬機和Host中共享,這就解決了虛擬機的IO性能問題。

再講一個搜索引擎的故事。Yahoo要給一個程序添加搜索功能,剛開始是使用SQL查詢來實現。但是發現這種方式實在太慢了,便找了開源的Lucene項目,這個項目使用反向索引技術,通過在文件中創建反向索引,大大提高了搜索速度。而Google的兩位創始人發現可以通過html頁面的link關係來爲每一個html頁面設置權重,並創造了PageRank算法,於是Google的自動搜索引擎擊敗了Yahoo的人工分類搜索引擎。OK,利用反向索引技術和PageRank,以及一個簡單的html爬蟲機器人,一個搜索引擎就能被構建出來了。但是互聯網很大,每天產生大量新網頁,要爲整個互聯網建立反向索引是很困難的。於是,在若干年後Google又公開了三篇論文,分別是Googlefs、Mapreduce和Bigtable。Lucene項目的開發者根據Google的Mapreduce論文開發了Hadoop項目。MapReduce就是使用大量計算機存儲數據並計算,最後彙總結果。使用Hadoop+反向索引+PageRank,就可以創建搜索引擎了。Yahoo和Baidu等公司紛紛基於Hadoop開發了自己的搜索引擎。但是,其他公司的搜索引擎效果還是沒法和Google相比。這一點我們程序員最清楚,很多程序員就喜歡FQ出去,只爲了Google一下。再到後來,Google黑板報上發表了吳軍博士的一些文章,其中介紹了很多機器學習方面的知識。從文中可以知道,Google其實使用機器學習來分析蒐集到的頁面。但是Google顯然不會把這個公式公開出來。即使有一天Google真的公開了這個公式,那麼可以想見Google肯定是又研發出了更加犀利的祕籍,山寨貨的搜索引擎效果還是比不上Google的。

因此可以說山寨是通向創新的必由之路。在成爲領域的領頭羊和領導者之前,必然要經過學習,模仿的階段。但要成爲行業的老大,成爲Champion,必須勇於彎道超車,勇敢地走上創新之路,成爲真正的科學家,真正的大牛!

總結

有些程序員特別喜歡鑽研編程語言,每有一種新的編程語言出來或者舊語言被熱炒,就會投入精力進去研究。比如我覺得C++語言是一個特別大的坑。剛開始是作爲面向對象的C被開發的。後來發現了模板編程,就大力鼓吹模板編程和進一步的模板元編程。然後又推出了C++11,C++14等新標準,進一步添加了很多新東西,函數式編程,類型推斷等。C++過分複雜,太多的坑消耗了大量程序員的大量精力。

這樣就可能會導致這些程序員把精力都花在提升編程技能上了,對領域知識知之甚少,這其實在日常工作中也是極其有害的。因爲有些需求可能早已經有了現成、開源免費的解決方案,或者只需要組合幾個現有軟件就可以快速搞定,而他們卻不得不自己花大量時間去開發。絕大多數場景下,重複造輪子並不是一件好事。

另外,缺少領域知識,在程序出現非預期狀況時,很難快速定位到問題的根源,很難解決bug。

 

"你所看到的美好,都是有人曾經不遺餘力的付出。"

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章