Splunk Stream是什麼
Splunk Stream是Splunk官方提供的免費App，可以捕獲，過濾，索引和分析網絡事件數據流，內置了大量的數據分析和可視化功能，並且能夠創建新的數據流分析和可視化界面。
是Splunk Enterprise Security和Splunk User Behavior Analisis的基礎，提供數據。
Stream"流"是由特定網絡協議和一組字段定義的事件分組。 當與日誌，指標和其他信息相結合時，可以通過Splunk Stream捕獲的流，洞察網絡基礎架構中的活動和可疑行爲。
支持NetFlow v5, v9, jFlow, sFlow, 和 IPFIX。
使用Splunk Stream：
- 被動地捕獲網絡事件數據的實況流。
- 捕獲多個網絡協議的元數據和完整數據包流。
- 收集NetFlow協議數據。
- 應用聚合方法對事件數據進行統計分析。
- 應用過濾器來最小化索引器要求。
- 從字符串中提取內容並生成散列。
- 從網絡流量中提取文件。
- 在預建的儀表板中監控網絡趨勢和應用程序性能。
- 部署獨立的Stream轉發器來捕獲遠程linux機器上的數據。
- 不需要標籤或儀器儀表即可迅速而不引人注意。
Splunk Stream 包含的組件
- splunk_app_stream
提供streamfwd的配置管理。 還提供流轉發器管理工具，捕獲數據的過濾，預定義流和儀表板，用於分析網絡事件和流數據。
- Splunk_TA_stream
提供數據抓取和轉發功能。 Splunk_TA_stream包括Stream轉發器（streamfwd）。 streamfwd是Splunk_TA_stream的核心組件，並提供被動捕獲的網絡數據。
- 獨立的Stream轉發器
Splunk Stream一個獨立的Stream轉發器安裝包（splunkstreamfwd.tgz），它不與splunk_app_stream和Splunk_TA_stream一起部署。 Splunk App for Stream生成一個curl命令，可以使用這個命令在任何兼容的Linux機器上安裝獨立的Stream轉發器。
Splunk Stream內置的分析功能
分析總覽
應用分析
流量可視化
HTTP總覽
Http活動
數據庫活動
DNS總覽
DNS活動
SSL 活動
Splunk Stream支持哪些協議
網絡數據收集架構
本地收集
本地收集架構需要在要監視的網絡或網段上的每個主機上安裝通用轉發器和Splunk_TA_stream。 本地收集在例如用於從各個網絡節點捕獲數據的子網環境（例如多層網站）中是有用的。
SPAN 或 TAP 方式
從網絡設備鏡像流量出來到專用設備上，在專用設備上分析數據流量。
SPAN 架構的考慮點
- 捕獲的數據流量是否超過了NIC(網卡)的接收能力？例如1G的NIC肯定無法處理10GB端口鏡像出來的流量。
- SPAN鏡像端口是否包含了所有端口的出、入流量？如果是的話，NIC需要更大的帶寬。
- 鏡像設備是否生成了NAT數據（即包含了內部網絡也包含了互聯網的數據流量）？
- 網絡數據流量有多大？根據流量的不同，可能需要進行一些性能調整，以確保系統按預期方式運行。
網絡收集部署架構的比較
類型 | 優點 | 缺點 |
本地 |
|
|
SPAN |
|
|
TAP |
|
|
部署架構
Search Head搜索服務器
Search Head上必須要部署splunk_app_stream 和 Splunk_TA_stream 。
Indexers索引服務器
索引服務器上必須要部署Splunk_TA_stream 。
Universal forwarders通用轉發器
在捕獲網絡數據的通用轉發器上需要部署Splunk_TA_stream 。
性能情況
FAQ
- 是否可以添加自定義的協議？
不可以
- 是否可以添加自定義的協議？
不可以。
- 能否將數據按照協議發送到指定的索引中？
不行。現在Splunk Stream不支持。但是可以使用props.conf 和 transforms.conf來配置。詳細的方法參見 Route specific events to a different index.
- 是否可以配置終端監聽某一個協議？Can I configure endpoints to listen for specific protocols?
可以。可以配置Stream過濾器監聽某一個協議的流量。例如，可以使用source_ip(網絡流中的常見字段)在DNS服務器上過濾DNS流量。不支持按照主機名過濾。
警告:此配置是高度自定義的配置，需要非常小心和熟悉如何配置。
- Stream可以讀取PCAP文件嗎？
可以。使用Stream的streamfwd命令可以讀取PCAP文件，並將結構化的數據發送到索引中。
./streamfwd -r foo.pcap -s <host><server>.
參見 Stream command line options.
- Stream可以解密數據包和應用數據嗎？
可以。可以使用SSL私鑰解密 streamfwd 捕獲的數據，前提是使用RSA加密算法。
- Stream可以解密Diffie-Hellman（SSL key） 流量嗎？
不可以。沒有辦法捕獲Diffie-Hellman流量, 無論streamfwd 使用 TAP還是本地模式.
商業轉載請聯繫作者獲得授權，非商業轉載請註明出處。