談企業應用項目的軟件開發過程
——一個PRM系統實施的經驗與教訓
本文以一個PRM項目爲例， 探討了目前國內軟件開發企業在軟件開發過程中，尤其是企業應用系統項目開發中，面臨的問題以及如何利用敏捷軟件開發方法的解決方案。
一、 項目與公司背景
該項目是一個PRM (Partner Relationship Management)系統，爲世界著名的快速消費品品牌在中國大陸的合作伙伴提供訂單管理以及其它輔助功能。該系統原來是基於PHP實現的，已經運行將近2年的時間，但是由於系統功能問題，需要對系統進行重新開發，新的系統基於J2EE框架實現。
項目預期情況如下：
項目開始時間： 2002年7月1日
預期交付時間： 2002年9月1日
項目金額： 70萬RMB
項目開發商是亞洲領先的電子商務解決方案供應商，在J2EE架構的項目執行方面有豐富的經驗，結合RUP與Web Software Engineering形成了自己的一套電子商務項目實施方法論，並在多個項目中成功進行實施。
二、 項目實施情況
項目由於客戶預算等原因，原有的軟、硬件系統繼續使用，同時，應用系統平臺也採用開源項目。
項目部署時的系統情況如下：
硬件：
操作系統： Solaris
主頻： 400M
內存： 1G
硬盤： 20G
應用平臺：
Web服務器： Apache 1.3.21
應用服務器： Tomcat 4.0.6
數據庫服務器： Oracle 8.1.7
項目人員配置與項目規模：
項目團隊
項目經理： 1
技術經理： 1（兼）
客戶經理： 1
開發人員： 4
測試人員： 2
HTML人員： 1（兼）
項目規模
Use Case： 32
代碼行數： 65000
JSP頁面： 198
項目真實執行情況：
開始日期： 2002/7/1
交付日期： 2002/9/2
驗收日期： 2003/5/8
維護時間： 230 人小時
目前項目盈利： 20000
目前，項目由於性能問題，仍然沒有驗收，維護時間日益增長，目前仍然有30萬左右的尾款沒有收到；更爲嚴重的是，目前項目開發商正在投標的另一快速消費品行業著名客戶的合作伙伴與該客戶有很大的重疊，因此，對於潛在項目的招標造成一定的影響。
三、 經驗與教訓
從項目規模中可以看出，該項目的時間還是比較緊張的；另外一方面，項目交付是在合同規定日期之前完成，而且通過了所有的功能測試。從一定意義上的講，項目的開發是取得了一定的成功的。
3.1 經驗
在項目開發前，項目開發商已經通過其它項目，實施了以XP爲代表的敏捷軟件開發方法的部分最佳實踐，並取得了很大的成功。因此，在該項目的執行過程中，項目開發商繼續採用了XP的部分實踐以及其它軟件開發方法中的推薦做法[1][2]：
每日晨會：在項目實施過程中，每天早晨開發小組都要參加一個持續15分鐘左右的會議，由項目經理主持，聽取每個成員的進度，並根據進展情況，對於進度和資源進行調整。
由於會議是每天進行的，PM很容易從中獲得真實的項目情況－"掀開地毯下面的東西"[4]，從而對風險有了較好的控制。
交叉審覈：項目組在最初的時候原本是想採取"成對編程"的實踐，但是沒有獲得物理和管理上的支持，因此，只能採取交叉審覈的方式進行。
需求獲取：由PM和一名對於原有系統較熟悉的開發人員進行需求獲取和SRS (Software Requirement Specification) 的撰寫。技術經理和其它開發人員進行需求的審覈。
分析與設計：由一名開發人員進行系統框架的設計，其它人員進行審覈；在系統框架設計進行過程中，由於系統去除訂單處理以外的其它部分比較獨立，因此，將其它模塊分配給開發人員，而將核心部分交與技術經理進行分析與設計。開發人員在每個迭代週期內，都會在分析與設計做完後，每2人一組進行審覈。
編碼：每天下班前，2人一組，對對方的代碼進行Review，發現問題及時解決。代碼Review的時候，語法與規則的檢查，通過Check Style的工具進行；開發人員將審查的重點放在功能實現與性能優化等方面。
測試：在需求文檔形成以後，2個測試人員分佈編寫分配模塊的Test Case；而在具體測試的時候，兩人交叉測試對方的模塊和更新文檔。
在系統開發Verification的各個階段，都有Check List，詳細的信息請查看參考文獻[3]。
測試先行：測試在軟件開發中的重要作用已經得到了越來越多的重視，但是，由於習慣勢力的影響和對於"Test-Driven Development"的不熟悉，開發小組並沒有實施完全意義上的測試先行。
對於系統框架的核心類設計過程中，項目小組採取了TDD的方式進行開發。在後續的系統開發中，每個開發人員在進行開發前，首先要完成一個功能測試 ( Function Test ) 列表，將要完成的Use Case中的主要業務邏輯以及關聯邏輯都要羅列出來，在提交測試人員進行集成測試之前，開發人員需要保證完成Function List中的所有選項。
在每個開發人員的模塊完成並通過個人的功能測試後，測試人員進行集成測試，同時編寫測試腳本，並通過自動測試工具 (Rational Robot) 進行記錄。每天下班之前，測試人員會啓動測試工具，進行迴歸測試。在第二天向PM和技術經理提交測試報告並將Bug提交至Bug Trace系統（Rational Clear Quest），由PM進行Bug的分發。每個開發人員需要在下一個迭代週期完成前，修正前一個迭代內分配的Bug。
持續集成：在測試先行的基礎上，開發一組平均每天都會進行已經完成模塊與以後系統的集成。集成由專門的人員，在開發人員將已經通過功能測試的源碼Check in到源碼控制系統 (ClearCase) 中以後進行，在部署應用結束以後，通知測試人員進行集成測試。
小步發佈：項目有專門的測試與發佈服務器，每天都有集成的系統在運行和接受測試。由於沒有現場客戶，對於已經發布的系統，是由"客戶領域專家"（這個項目是由Business Development人員來充當這個角色）來進行審查的。他對於系統的意見和發現的問題，在經過PM和技術經理審覈後，進入ClearQuest，分配給開發人員進行修改。
由於項目一開始就注意組織內部以及與客戶的溝通和交流，同時採用了很多敏捷軟件開發過程的實踐，項目如期交付使用。
3.2 教訓
項目在交付以後，最初的兩個訂貨季節沒有出現功能與性能上的問題。但是，由於合同中有數據遷移的條款，在項目交付2月後，項目開發商將舊應用系統中的數據導入新系統以後，在下一個大的訂貨季節中，持續的出現性能上的問題。在代碼修改和硬件環境提高以後，系統性能目前獲得了一定的改善。
從項目驗收日期的日益推遲中，我們可以看出，該項目還是有很多地方做的不夠，例如：
系統二次開發效應："第二個系統效應"是Brooks在《人月神話》中提出的一個普遍的問題，一般而言，第二個系統會傾向於過分設計[4]。
對於這個項目而言，沒有犯這個錯誤，卻發生了另外一種情況：舊系統中，對於訂單信息以及產品信息的展示，不管是多是少（系統頁面最多顯示上千條記錄），都是在一個頁面中顯示。這對於沒有明顯的層次結構，直接在Script中調用數據庫記錄的PHP來說，性能還是可以接受的。但是，新系統的設計中客戶提出考慮系統用戶習慣一致性的問題，就照搬了舊系統的頁面設計；同時，在架構設計上，對於這種頁面顯示大量數據的情況，也沒有給予充分的考慮，爲後來的性能問題，埋下了伏筆。
教訓一：沒有考慮新平臺的影響，照搬舊系統的功能以及頁面設計。
非功能性需求：項目合同中主要描述的是系統功能性的需求，而沒有非功能性需求的規定；同時，在需求獲取解決，也沒有明確的瞭解系統的性能指標等非功能性需求。主要原因在於項目開發商之前沒有大規模業務系統開發的經驗，對於非功能性需求沒有足夠的重視；同時，在測試階段，也沒有對於系統負載和性能做過測試。
因此，在項目交付以後，由於舊系統數據遷移後，數據量有了很大的增長，同時，在秋季的定購高峯中，有大量的併發用戶訪問，出現了下列問題：
數據庫死鎖；
大量數據計算與顯示頁面速度很慢，頁面要經過5～10分鐘才能夠完全顯示；
上述兩種情況在少量負載的單元測試和集成測試中是不可能出現的。
教訓二：對於企業應用系統，尤其是業務系統，沒有切實注意負載、性能等非功能性需求。
效率與設計：在J2EE中，已經成功的運用了很多設計模式的思想，爲系統的開發提供了一個很好框架。但是，在項目的架構設計中，除了考慮可維護性、可複用性等問題以外，還要考慮代碼執行效率的問題[5]。
隨着計算機硬件技術的發展，"莫爾定律"被一再的驗證，系統硬件的價格逐漸降低。對於很多使用J2EE架構或者JAVA技術的項目來說，解決性能與效率問題的解決方案就是增加硬件方面的投入。而實際上，軟件開發過程中優劣算法之間的差距是靠硬件的投入平衡不了的。
該項目在系統維護期間，對代碼進行走查，修改了很多對於性能有影響的語句；同時，在框架設計中，尤其是數據庫操作方法，利用Cache原理，從一定程度上解決了性能的問題。
教訓三：系統框架設計只考慮面向對象和可維護性，沒有在完美的設計與高效率的代碼之間做出權衡。
數據庫設計：JAVA是純粹的面嚮對象語言，利用J2EE開發的項目，也強調首先進行OOAD的分析，首先有對象，然後再有數據庫的設計。DBA在項目中的作用，已經遠遠沒有傳統的結構性編程中重要。而實際情況卻是遠非如此：大部分的業務系統，如果要對系統的性能做出優化，對數據庫層或者SQL語句進行優化是關鍵的步驟之一。
對於這個PRM系統，在數據庫的設計上並沒有經過DBA的審查就開始進行開發；而在性能問題出現以後，客戶增加了512M的內存，也沒有請求DBA對Oracle的參數做相應的調整，造成了很大的資源浪費。
在項目維護過程中，依靠DBA的幫助，開發商對於數據庫系統參數、索引、存儲過程和SQL語句都做了一定的調整，這對於系統性能的提高起了很大的作用。
教訓四：在面向對象的軟件系統構建中，忽視數據庫設計以及DBA的重要作用。
客戶參與：在傳統的軟件開發過程中，一般情況下，客戶在簽訂合同後，項目交付前是很少有機會看到系統的，這樣就造成了系統交付後，客戶抱怨很多的情況；而在以XP爲代表的敏捷軟件開發方法中，強化了客戶在軟件開發中的重要作用，XP更是提出了"現場客戶"的實踐，將客戶作爲項目小組的一員，客戶對於項目的發佈計劃、內容和優先級等方面有絕對的控制權。
對於這個PRM項目，由於客戶的原因，不可能採取"現場客戶"的實踐，但是，開發商的BD對於該客戶十分熟悉，完全可以作爲客戶代表參與到項目中來，因此，開發商將客戶經理作爲項目組的一員。
實際情況是：開發過程中，客戶經理由於業務拓展的原因，並沒有在項目上分配多少時間進行審查；而客戶在交付前也沒有花費很多的時間研究系統，也沒有提交很多的反饋報告。在系統交付出現性能等問題後，客戶經理與開發人員一起對於系統需求進行審查，提出了很多有參考性的意見。如果從一開始，就強化"現場客戶"的最佳實踐，就可以很早發現問題。
教訓五：客戶或者客戶經理對於項目的參與力度不夠。
四、 結論
在基於J2EE的企業應用項目開發中，要注意以下問題：
權衡系統設計與性能指標，關注非功能性需求；
採取敏捷軟件開發過程，關注人（客戶和開發人員）在項目實施中的重要作用，如果可以的話，聯合實施XP的所有實踐；
五、 參考文獻
[1] Agile Software Development Alistair Cockburn
[2] Extreme Programming Explained - Embrace Change Kent Beck
[3] Software Verification and Validation for Practitioners and Managers Steven R. Rakitin
[4] The Mythical Man-Month Frederick P. Brooks Jr.
[5] Expert One-To-One J2EE Design and Development Rod Johnson