在服務器上首先要安裝OS操作系統，不同的服務器需要的操作系統是不同的，主流的Unix服務器操作系統有AIX、Solaris和HP -un11，X86服務器的操作系統通常是Linux系統和Windows操作系統。
對於雲計算平臺通常需要安裝VMware FusionSphere或KVM等虛擬化系統。虛擬化系統可以將物理服務器模擬成多臺小的虛擬化服務器來使用。通過服務器虛擬化能提供更好的資源使用效率。自動部署和簡化管理。
在操作系統上可以安裝不同的數據庫、中間件、業務應用軟件等。
主流的數據庫軟件有Oracle、MySQL、IBM DB2、SQL Server以及國產的人大金倉等，如下圖：
中間件有Java、WebLogic、Tomcat等，中間件主要是爲上層應用軟件提供運行和開發環境，提供預製可複用的業務功能模塊、API接口等。幫助用戶靈活 高效地開發和集成複雜的應用系統。
業務應用層軟件是面向客戶的邏輯層軟件，比如ERP、 CRM 、HR等應用軟件，業務應用軟件通常是基於數據庫、中間件等基礎架構平臺之上。
服務器上層軟件架構與雲計算服務架構對應關係：
雲計算服務架構就是IaaS、PaaS、SaaS三層。