商業智能BI資源彙總

商業智能也稱作BI是英文單詞Business Intelligence的縮寫。商業智能通常被理解爲將企業中現有的數據轉化爲知識，幫助企業做出明智的業務經營決策的工具。這裏所談的數據包括來自企業業務系統的訂單、庫存、交易賬目、客戶和供應商等來自企業所處行業和競爭對手的數據以及來自企業所處的其他外部環境中的各種數據。而商業智能能夠輔助的業務經營決策，既可以是操作層的，也可以是戰術層和戰略層的決策。爲了將數據轉化爲知識，需要利用數據倉庫、聯機分析處理（OLAP）工具和數據挖掘等技術。因此，從技術層面上講，商業智能不是什麼新技術，它只是數據倉庫、OLAP和數據挖掘等技術的綜合運用。
  商業智能的概念最早在1996年提出。當時將商業智能定義爲一類由數據倉庫（或數據集市）、查詢報表、數據分析、數據挖掘、數據備份和恢復等部分組成的、以幫助企業決策爲目的技術及其應用。目前，商業智能通常被理解爲將企業中現有的數據轉化爲知識，幫助企業做出明智的業務經營決策的工具。這裏所談的數據包括來自企業業務系統的訂單、庫存、交易賬目、客戶和供應商資料及來自企業所處行業和競爭對手的數據，以及來自企業所處的其他外部環境中的各種數據。而商業智能能夠輔助的業務經營決策既可以是操作層的，也可以是戰術層和戰略層的決策。爲了將數據轉化爲知識，需要利用數據倉庫、聯機分析處理（OLAP）工具和數據挖掘等技術。因此，從技術層面上講，商業智能不是什麼新技術，它只是數據倉庫、OLAP和數據挖掘等技術的綜合運用。
  因此，把商業智能看成是一種解決方案應該比較恰當。商業智能的關鍵是從許多來自不同的企業運作系統的數據中提取出有用的數據並進行清理，以保證數據的正確性，然後經過抽取（Extraction）、轉換（Transformation）和裝載（Load），即ETL過程，合併到一個企業級的數據倉庫裏，從而得到企業數據的一個全局視圖，在此基礎上利用合適的查詢和分析工具、數據挖掘工具、OLAP工具等對其進行分析和處理（這時信息變爲輔助決策的知識），最後將知識呈現給管理者，爲管理者的決策過程提供支持。
  目前，商業智能產品及解決方案大致可分爲數據倉庫產品、數據抽取產品、OLAP產品、展示產品、和集成以上幾種產品的針對某個應用的整體解決方案等。

一、商業智能應具有的功能      
      目前，很多廠商活躍在商業智能（下面稱BI）領域。事實上，能夠滿足用戶需要的BI產品和方案必須建立在穩定、整合的平臺之上，該平臺需要提供用戶管理、安全性控制、連接數據源以及訪問、分析和共享信息的功能。BI平臺的標準化也非常重要，因爲這關係到與企業多種應用系統的兼容問題，解決不了兼容問題，BI系統就不能發揮出應有效果。這裏我們通過對一個實驗室的BI系統模型（我們將其稱爲D系統）進行功能解剖，來介紹BI系統。
   D系統是一個面向終端使用者，直接訪問業務數據，能夠使管理者從各個角度出發分析利用商業數據，及時地掌握組織的運營現狀，作出科學的經營決策的系統。D系統可實現從簡單的標準報表瀏覽到高級的數據分析，滿足組織內部人員的需求。D系統涵蓋了常規意義上商業智能

（BI）系統的功能，主要構架包括以下幾個方面。

D系統可讀取多種格式（如Excel、Access、以Tab分割的txt和固定長的txt等）的文件，同時可讀取關係型數據庫 (對應ODBC)中的數據。在讀取文本和數據的基礎上，D系統還可以完成：
    連接文本 把2個CSV文件中的共同項目作爲鍵（Key），將所需的數據合併到一個文件，這樣可以象操作數據庫一樣方便，但無須用戶編程即可實現。
設置項目類型 作爲數據的項目類型，除按鈕(button)（文字項目）、數值項目以外，還可以設置日期表示形式的日期數據項目、多媒體項目和不需要生成按鈕但在列表顯示中能夠瀏覽的參照項目。
期間設置 日期項目數據可以根據年度或季度等組合後生成新的期間項目。同樣，時間項目數據可以根據上午、下午或時間帶等組合後生成新的時間項目。
設置等級 對於數值項目，可以任意設置等級，生成與之相對應的按鈕。例如，可以生成與年齡項目中的20歲年齡段、30歲年齡段的等級相對應的按鈕。

      分析功能

      關聯/限定 關聯分析主要用於發現不同事件之間的關聯性，即一個事件發生的同時，另一個事件也經常發生。關聯分析的重點在於快速發現那些有實用價值的關聯發生的事件。其主要依據是，事件發生的概率和條件概率應該符合一定的統計意義。D系統把這種關聯的分析設計成按鈕的形式，通過選擇有/無關聯，同時/相反的關聯。對於結構化的數據，以客戶的購買習慣數據爲例，利用D系統的關聯分析，可以發現客戶的關聯購買需要。例如，一個開設儲蓄賬戶的客戶很可能同時進行債券交易和股票交易。利用這種知識可以採取積極的營銷策略，擴展客戶購買的產品範圍，吸引更多的客戶。
   顯示數值比例/指示顯示順序 D系統可使數值項目的數據之間的比例關係通過按鈕的大小來呈現，並顯示其構成比，還可以改變數值項目數據的排列順序等。選擇按鈕後，動態顯示不斷髮生變化。這樣能夠獲得直觀的數據比較效果，並能夠凸顯差異，便於深入分析現象背後的本質。
   監視功能 預先設置條件，使符合條件的按鈕顯示報警（紅）、注意（黃）信號，使問題所在一目瞭然。比如說：上季度營業額少於100萬元的店警告（黃色標出），少於50萬元的報警（紅色標出）。執行後，D系統就把以店名命名的按鈕用相應的顏色表示出來。
    按鈕增值功能 可將多個按鈕組合，形成新的按鈕。比如：把[4月]、[5月]、[6月]三個按鈕組合後得到新的按鈕[第2季度]。
      記錄選擇功能 從大量數據中選擇按鈕，取出必要的數據。挑出來的數據可重新構成同樣的操作環境。這樣用戶可以把精力集中在所關心的數據上。
      多媒體情報表示功能 由數碼相機拍攝的照片或影像文件、通過掃描儀輸入的圖形等多媒體文件、文字處理或者電子表格軟件做成的報告書、HTML等標準形式保存的文件等，可以通過按鈕進行查找。
      分割按鈕功能 在分割特定按鈕類的情況下，只需切換被分割的個別按鈕，便可連接不斷實行已登錄過的定型處理。
      程序調用功能 把通過按鈕查找抽取出的數據，傳給其他的軟件或用戶原有的程序，並執行這些程序。

      查找按鈕名稱功能 通過按鈕名查找按鈕，可以指定精確和模糊兩種查找方法。另外，其他的按鈕類也可以對查找結果相關的數據進行限定。

      豐富的畫面
      列表畫面 可以用and/or改變查找條件，可以進行統計/排序。統計對象只針對數值項目，統計方法分三種：合計、件數、平均，而且可以按照12種方式改變數值的顯示格式。
      視圖畫面 提供切換視角和變換視圖功能，通過變換與設置條件相應的數值（單元格）的顏色表示強調。依次變換視角可進行多方面的數據分析。視圖的統計對象只針對數值項目，統計方法有合計、平均、構成比（縱向、橫向）、累計(縱向、橫向)、加權平均、最大、最小、最新和絕對值等12種。
      數值項目切換 通過按鈕類的階層化（行和列最多可分別設置8層），由整體到局部，一邊分層向下挖掘，一邊分析數據，可以更加明確探討問題所在。

      圖表畫面 D系統使用自己開發的圖形庫，提供柱形圖、折線圖、餅圖、面積圖、柱形+折線五大類35種。在圖表畫面上，也可以像在階層視圖一樣，自由地對層次進行挖掘和返回等操作。

      數據輸出功能

      打印統計列表和圖表畫面等，可將統計分析好的數據輸出給其他的應用程序使用，或者以HTML格式保存。

      定型處理

      所需要的輸出被顯示出來時，進行定型登錄，可以自動生成定型處理按鈕。以後，只需按此按鈕，即使很複雜的操作，也都可以將所要的列表、視圖和圖表顯示出來。

      D系統應用範圍

      商業智能系統可輔助建立信息中心，如產生各種工作報表和分析報表。用作以下分析：

      銷售分析 主要分析各項銷售指標，例如毛利、毛利率、交叉比、銷進比、盈利能力、週轉率、同比、環比等等；而分析維又可從管理架構、類別品牌、日期、時段等角度觀察，這些分析維又採用多級鑽取，從而獲得相當透徹的分析思路；同時根據海量數據產生預測信息、報警信息等分析數據；還可根據各種銷售指標產生新的透視表。

      商品分析 商品分析的主要數據來自銷售數據和商品基礎數據，從而產生以分析結構爲主線的分析思路。主要分析數據有商品的類別結構、品牌結構、價格結構、毛利結構、結算方式結構、產地結構等，從而產生商品廣度、商品深度、商品淘汰率、商品引進率、商品置換率、重點商品、暢銷商品、滯銷商品、季節商品等多種指標。通過D系統對這些指標的分析來指導企業商品結構的調整，加強所營商品的競爭能力和合理配置。

      人員分析 通過D系統對公司的人員指標進行分析，特別是對銷售人員指標（銷售指標爲主，毛利指標爲輔）和採購人員指標（銷售額、毛利、供應商更換、購銷商品數、代銷商品數、資金佔用、資金週轉等）的分析，以達到考覈員工業績，提高員工積極性，併爲人力資源的合理利用提供科學依據。主要分析的主題有，員工的人員構成、銷售人員的人均銷售額、對於銷售的個人銷售業績、各管理架構的人均銷售額、毛利貢獻、採購人員分管商品的進貨多少、購銷代銷的比例、引進的商品銷量如何等等。

二、商業智能定義爲下列軟件工具的集合

      終端用戶查詢和報告工具。專門用來支持初級用戶的原始數據訪問，不包括適應於專業人士的成品報告生成工具。

      OLAP工具。提供多維數據管理環境，其典型的應用是對商業問題的建模與商業數據分析。OLAP也被稱爲多維分析。

      數據挖掘（Data Mining）軟件。使用諸如神經網絡、規則歸納等技術，用來發現數據之間的關係，做出基於數據的推斷。

      數據倉庫（Data Warehouse）和數據集市（Data Mart）產品。包括數據轉換、管理和存取等方面的預配置軟件，通常還包括一些業務模型，如財務分析模型。

      聯機分析處理 (OLAP) 的概念最早是由關係數據庫之父E.F.Codd於1993年提出的，他同時提出了關於OLAP的12條準則。OLAP的提出引起了很大的反響，OLAP作爲一類產品同聯機事務處理 (OLTP) 明顯區分開來。

      當今的數據處理大致可以分成兩大類：聯機事務處理OLTP（On-Line Transaction Processing）、聯機分析處理OLAP（On-Line Analytical Processing）。OLTP是傳統的關係型數據庫的主要應用，主要是基本的、日常的事務處理，例如銀行交易。OLAP是數據倉庫系統的主要應用，支持複雜的分析操作，側重決策支持，並且提供直觀易懂的查詢結果。

      OLAP是使分析人員、管理人員或執行人員能夠從多角度對信息進行快速、一致、交互地存取，從而獲得對數據的更深入瞭解的一類軟件技術。OLAP的目標是滿足決策支持或者滿足在多維環境下特定的查詢和報表需求，它的技術核心是"維"這個概念。

      “維”是人們觀察客觀世界的角度，是一種高層次的類型劃分。“維”一般包含着層次關係,這種層次關係有時會相當複雜。通過把一個實體的多項重要的屬性定義爲多個維(dimension)，使用戶能對不同維上的數據進行比較。因此OLAP也可以說是多維數據分析工具的集合。

      OLAP的基本多維分析操作有鑽取（roll up和drill down）、切片（slice）和切塊（dice）、以及旋轉（pivot）、drill across、drill through等。

      鑽取是改變維的層次，變換分析的粒度。它包括向上鑽取（roll up）和向下鑽取（drill down）。roll up是在某一維上將低層次的細節數據概括到高層次的彙總數據，或者減少維數；而drill down則相反，它從彙總數據深入到細節數據進行觀察或增加新維。

      切片和切塊是在一部分維上選定值後，關心度量數據在剩餘維上的分佈。如果剩餘的維只有兩個，則是切片；如果有三個，則是切塊。
旋轉是變換維的方向，即在表格中重新安排維的放置（例如行列互換）。
OLAP有多種實現方法，根據存儲數據的方式不同可以分爲ROLAP、MOLAP、HOLAP。

      ROLAP表示基於關係數據庫的OLAP實現（Relational OLAP）。以關係數據庫爲核心，以關係型結構進行多維數據的表示和存儲。ROLAP將多維數據庫的多維結構劃分爲兩類表：一類是事實表，用來存儲數據和維關鍵字；另一類是維表，即對每個維至少使用一個表來存放維的層次、成員類別等維的描述信息。維表和事實表通過主關鍵字和外關鍵字聯繫在一起,形成了“星型模式”。對於層次複雜的維，爲避免冗餘數據佔用過大的存儲空間，可以使用多個表來描述，這種星型模式的擴展稱爲“雪花模式”。

      MOLAP表示基於多維數據組織的OLAP實現（Multidimensional OLAP）。以多維數據組織方式爲核心，也就是說，MOLAP使用多維數組存儲數據。多維數據在存儲中將形成“立方塊（Cube）”的結構，在MOLAP中對“立方塊”的“旋轉”、“切塊”、“切片”是產生多維數據報表的主要技術。

      HOLAP表示基於混合數據組織的OLAP實現（Hybrid OLAP）。如低層是關係型的，高層是多維矩陣型的。這種方式具有更好的靈活性。

      還有其他的一些實現OLAP的方法，如提供一個專用的SQL Server，對某些存儲模式（如星型、雪片型）提供對SQL查詢的特殊支持。

      OLAP工具是針對特定問題的聯機數據訪問與分析。它通過多維的方式對數據進行分析、查詢和報表。維是人們觀察數據的特定角度。例如，一個企業在考慮產品的銷售情況時，通常從時間、地區和產品的不同角度來深入觀察產品的銷售情況。這裏的時間、地區和產品就是維。而這些維的不同組合和所考察的度量指標構成的多維數組則是OLAP分析的基礎，可形式化表示爲（維1，維2，……，維n，度量指標），如（地區、時間、產品、銷售額）。多維分析是指對以多維形式組織起來的數據採取切片（Slice）、切塊（Dice）、鑽取（Drill-down和Roll-up）、旋轉（Pivot）等各種分析動作，以求剖析數據，使用戶能從多個角度、多側面地觀察數據庫中的數據，從而深入理解包含在數據中的信息。

      主流的商業智能工具包括BO、COGNOS、BRIO。一些國內的軟件工具平臺如KCOM（http://www.kcomsoft.com/）也集成了一些基本的商業智能工具。

      根據綜合性數據的組織方式的不同，目前常見的OLAP主要有基於多維數據庫的MOLAP及基於關係數據庫的ROLAP兩種。MOLAP是以多維的方式組織和存儲數據，ROLAP則利用現有的關係數據庫技術來模擬多維數據。在數據倉庫應用中，OLAP應用一般是數據倉庫應用的前端工具，同時OLAP工具還可以同數據挖掘工具、統計分析工具配合使用，增強決策分析功能。


三、商業智能的三個層次
來自：中國計算機報   

      經過幾年的積累，大部分中大型的企事業單位已經建立了比較完善的CRM、ERP、OA等基礎信息化系統。這些系統的統一特點都是:通過業務人員或者用戶的操作，最終對數據庫進行增加、修改、刪除等操作。上述系統可統一稱爲OLTP(Online Transaction Process，在線事務處理)，指的就是系統運行了一段時間以後，必然幫助企事業單位收集大量的歷史數據。但是，在數據庫中分散、獨立存在的大量數據對於業務人員來說，只是一些無法看懂的天書。業務人員所需要的是信息，是他們能夠看懂、理解並從中受益的抽象信息。此時，如何把數據轉化爲信息，使得業務人員(包括管理者)能夠充分掌握、利用這些信息，並且輔助決策，就是商業智能主要解決的問題。

  如何把數據庫中存在的數據轉變爲業務人員需要的信息?大部分的答案是報表系統。簡單說，報表系統已經可以稱作是BI了，它是BI的低端實現。

  現在國外的企業，大部分已經進入了中端BI，叫做數據分析。有一些企業已經開始進入高端BI，叫做數據挖掘。而我國的企業，目前大部分還停留在報表階段。

  數據報表不可取代

  傳統的報表系統技術上已經相當成熟，大家熟悉的Excel、水晶報表、Reporting Service等都已經被廣泛使用。但是，隨着數據的增多，需求的提高，傳統報表系統面臨的挑戰也越來越多。

  1. 數據太多，信息太少

  密密麻麻的表格堆砌了大量數據，到底有多少業務人員仔細看每一個數據?到底這些數據代表了什麼信息、什麼趨勢?級別越高的領導，越需要簡明的信息。如果我是董事長，我可能只需要一句話:目前我們的情況是好、中還是差?

  2. 難以交互分析、瞭解各種組合

  定製好的報表過於死板。例如，我們可以在一張表中列出不同地區、不同產品的銷量，另一張表中列出不同地區、不同年齡段顧客的銷量。但是，這兩張表無法回答諸如“華北地區中青年顧客購買數碼相機類型產品的情況”等問題。業務問題經常需要多個角度的交互分析。

  3. 難以挖掘出潛在的規則

  報表系統列出的往往是表面上的數據信息，但是海量數據深處潛在含有哪些規則呢?什麼客戶對我們價值最大，產品之間相互關聯的程度如何?越是深層的規則，對於決策支持的價值越大，但是，也越難挖掘出來。

  4. 難以追溯歷史，數據形成孤島

  業務系統很多，數據存在於不同地方。太舊的數據(例如一年前的數據)往往被業務系統備份出去，導致宏觀分析、長期歷史分析難度很大。

  因此，隨着時代的發展，傳統報表系統已經不能滿足日益增長的業務需求了，企業期待着新的技術。數據分析和數據挖掘的時代正在來臨。值得注意的是，數據分析和數據挖掘系統的目的是帶給我們更多的決策支持價值，並不是取代數據報表。報表系統依然有其不可取代的優勢，並且將會長期與數據分析、挖掘系統一起並存下去。

  八維以上的數據分析

  如果說OLTP側重於對數據庫進行增加、修改、刪除等日常事務操作，OLAP(Online Analytics Process，在線分析系統)則側重於針對宏觀問題，全面分析數據，獲得有價值的信息。

六、商業智能的發展趨勢

      與DSS、EIS系統相比，商業智能具有更美好的發展前景。近些年來，商業智能市場持續增長。IDC預測，到2005年，BI市場將達到118億＄，平均年增長率爲27%（Information Access Tools Market Fore_cast and Analysis: 2001-2005, IDC#24779, June 2001）。隨着企業CRM、ERP、SCM等應用系統的引入，企業不停留在事務處理過程而注重有效利用企業的數據爲準確和更快的決策提供支持的需求越來越強烈，由此帶動的對商業智能的需求將是巨大的。

      商業智能的發展趨勢可以歸納爲以下幾點：

      功能上具有可配置性、靈活性、可變化性
      BI系統的範圍從爲部門的特定用戶服務擴展到爲整個企業所有用戶服務。同時，由於企業用戶在職權、需求上的差異，BI系統提供廣泛的、具有針對性的功能。從簡單的數據獲取，到利用WEB和局域網、廣域網進行豐富的交互、決策信息和知識的分析和使用。

      解決方案更開放、可擴展、可按用戶定製，在保證核心技術的同時，提供客戶化的界面
      針對不同企業的獨特的需求，BI系統在提供核心技術的同時，使系統又具個性化，即在原有方案基礎上加入自己的代碼和解決方案，增強客戶化的接口和擴展特性；可爲企業提供基於商業智能平臺的定製的工具，使系統具有更大的靈活性和使用範圍。

      從單獨的商業智能向嵌入式商業智能發展
      這是目前商業智能應用的一大趨勢，即在企業現有的應用系統中，如財務、人力、銷售等系統中嵌入商業智能組件，使普遍意義上的事務處理系統具有商業智能的特性。考慮BI系統的某個組件而不是整個BI系統並非一件簡單的事，比如將OLAP技術應用到某一個應用系統，一個相對完整的商業智能開發過程，如企業問題分析、方案設計、原型系統開發、系統應用等過程是不可缺少的。
      從傳統功能向增強型功能轉變
      增強型的商業智能功能是相對於早期的用SQL工具實現查詢的商業智能功能。目前應用中的BI系統除實現傳統的BI系統功能之外，大多數已實現了圖2中數據分析層的功能。而數據挖掘、企業建模是BI系統應該加強的應用，以更好地提高系統性能。

七、商業智能市場分析——製造業是商業智能的重要市場
      Manufacturing Insights(IDC 公司附屬公司)的報告顯示，2004年亞太區(不含日本)製造業IT市場規模爲137億美元，預計該市場將以 11.4% 的年複合增長率平穩增長，到2008年市場規模將達210億美元。 2004年底，亞太區(不含日本)製造業IT支出共137億美元，其中離散製造佔78.6%，流程製造佔22.4% 。由於市場全球化和自由化帶來了更加激烈的競爭和複雜性，亞太區(不含日本)的許多製造商繼續對IT進行投資，以提高運營效率，更好地控制不斷增長的業務成本。隨着越來越多的製造商在華建立了生產基地，降低成本並佔領巨大的國內市場，這些製造商需要對主要的IT基礎架構 、應用和服務進行投資以使其運營能夠健康平穩地發展，並獲得領先優勢。這將繼續促進中國和海外製造商的製造業IT投資。在對基礎架構投入大量資金的同時，在中國和印度這樣的新興大型市場的許多製造商將繼續對企業資源管理(ERM)和商務智能(BI)解決方案進行投資，從而爲更好的內部協作和決策制定提供基礎平臺。
      IDC的報告顯示，2004年亞太區(不含日本)商務智能(BI)工具軟件市場規模爲2.332億美元，預計該市場將以12.3%的年複合增長率迅猛增長，到2009年市場規模將達4.173億美元，增長預計主要源於中國和印度日益發展的經濟。這兩國近幾年更加健康的經濟環境和不斷增多的應用系統部署爲未來5年BI工具的採用打下了基礎。有關專家指出，隨着互聯網的普及，在決策支持系統基礎上發展商業智能已成爲必然。隨着基於互聯網的各種信息系統在企業中的應用，企業將收集越來越多的關於客戶、產品及銷售情況在內的各種信息，這些信息能幫助企業更好地預測和把握未來。所以，電子商務的發展也推動了商業智能的進一步應用。
  從行業發展來看，商業智能作爲業務驅動的決策支持系統，其發展是以較爲完善企業的信息系統和穩定的業務系統爲基礎的。商業智能未來的應用與行業內信息化的基礎狀況密切相關，以製造型企業爲主，其次是流通企業，這兩個領域將是商業智能不可忽視的新市場。企業隨着信息化水平的提高，商業智能產品將會與ERP和CRM等管理軟件進一步融合，目前很多ERP廠商都把商業智能嵌入到相應的ERP系統內，比如SAP的ERP就嵌套了BO公司的商業智能產品，AD 也與和勤軟件進行了類似的合作。
  當然，商業智能如ERP一樣，實施中存在着一定的風險，企業首先要認清自身的需求情況，在選擇合作伙伴的同時也要進行充分的瞭解。各主流廠商都有各自的優勢，比如SAS的數據挖掘、Hyperion的預算與報表合併、BO的數據分析與報告等。而商業智能產品的發展趨勢必將是整合平臺基礎上的集成化應用。如何切實瞭解自身需求、選擇具有優勢的廠商產品，將是企業實施商業智能成功的關鍵。