LVS架設的服務器集羣系統由3個部分組成：負載均衡層(Load Balancer)、中間的服務器羣組層(Server Array)、最底端的數據共享存儲層(Shared Storage).在用戶看來，所有的內部應用都是透明的，用戶只是在使用一個虛擬服務器提供的高性能服務。
負載均衡層(Load Balancer)：
LB層位於整個集羣系統的最前端，由一臺或者多臺負載調試器(Director Server)組成，LVS模塊就安裝在Director Server上。Director的主要作用類似於一個路由器，它含有完成LVS功能所設定的路由表，通過這些路由表把用戶的請求分發給Server Array層的應用服務器(Real Server)。同時，在Director Server上還要安裝對Real Server服務的監控模塊Ldirectord，此模塊用於監測各個Real Server服務的健康狀況。在Real Server不可用時把它從LVS跌幅表中剔除，恢復時重新加入。
Server Array層：
Server Array層由一組實際運行應用服務的機器組成，Real Server可以是Web服務器、Mail服務器、FTP服務器、DNS服務器和視頻服務器中的一個或者多個 ，每個Real Server之間通過調整的LAN或分佈在各地的WAN相連接。在實際應用中，Director Server也可以同時兼任Real Server的角色。
Shared Storage層：
Shared Storage層是爲所有Real Server提供共享存儲空間和內容一致性的存儲區域。在物理上，一般由磁盤陣列設備組成，爲了提供內容的一致性，一般可以通過NFS網絡文件系統共享數據，但是NFS在繁忙的業務系統中，性能並不是很好，此時可以採用集羣文件系統，例如RedHat的GFS文件系統、Oracle提供的OCFS2文件系統等。
從整個LVS結構可以看出，Director Server是整個LVS的核心，目前用於Director Server的操作系統只能是Linux和FreeBSD，Linux 2.6內核不用任何設爲就可以支持LVS功能。而FreeBS
從整個LVS結構可以看出，Director Server是整個LVS的核心，目前用於Director Server的操作系統只能是Linux和FreeBSD，Linux 2.6內核不用任何設爲就可以支持LVS功能。
對於Real Server，幾乎可以是所有的系統平臺，Linux、Windows、Solaris、AIX、BSD系統列都能很好的支持。