【威雲電子報 Issue #119】將日誌訊息從 syslog-ng 轉發到 Splunk (下)

用於 Splunk 的 syslog-ng™ 使用場景 (下)

Use case 4:syslog-ng PE 日誌來源端擁有很高的訊息率

路由器、交換機、防火牆和入侵檢測系統 (IDS) 等網路和安全設備,可以生成大量日誌訊息。根據其配置,syslog-ng™ 可以從單一來源端收集超過 100,000 筆訊息,並透過多線程處理從多個來源擴展到每秒 650,000 筆訊息。由於這種可擴展性,syslog-ng™ 可以滿足最大流量環境的需求。
syslog-ng™ 應用程式還提供了多項有助於管理大量日誌訊息的功能。使用限流和流量控制功能,使用者可以設置由 syslog-ng™ 發送和接收的訊息的限制。如果目標無法處理發送的消息,syslog-ng™ 應用程式可以停止從其來源讀取訊息。此功能稱為流量控制。限流功能可設置每秒發送到目標的最大訊息數。
 
範例:以高速率接收訊息
在此範例中,syslog-ng 以高速率接收日誌訊息。磁碟緩沖和限流功能兩種方法可以幫助您降低在這種情況下遺失日誌的風險
圖 5:以高速率接收訊息

此範例修改“範例:從 UDP 接收日誌“,使用 TCP 目標而不是平面檔從 UDP接收日誌。目標配置為使用磁碟緩衝區以避免遺失日誌。它還將傳出訊息速率限制為每秒 20,000 條消息,以避免接收端出現高峰。

Use case 5:syslog-ng Store Box (SSB)

在典型的安裝中,syslog-ng™ 從客戶端設備收集所有日誌訊息,但只將其中的一小部分轉發到 Splunk。例如,與身分驗證相關的訊息將被轉發用於安全監控、路由器日誌到另一個 Splunk 模組等。但是,在日常操作中,卻是沒有明確的界限,因為在某種程度上,所有的一切都息息相關。
這就是 syslog-ng Store Box (SSB) 派上用場的地方:它提供了一個易於使用的Web界面來存取所有日誌訊息。雖然不同部門 (例如資安部門) 可以使用Splunk提供的專門報表,但需要存取所有資料的人員可以輕鬆瀏覽任何日誌。
使用 SSB 還具有其他優勢,您不必自己整合組件和手動編輯配置,相反,您可以將完整的日誌生命週期管理整合到一個易於使用的設備中。使用 Web 界面,您還可以輕鬆配置日誌收集、處理、過濾、儲存和日誌保留。
當 SSB 儲存日誌訊息時,同時也會將它們建立索引,這使得搜尋效率更高。對數十 GB 的日誌訊息使用簡單的 grep 命令需要花費大量時間和資源。對索引的日誌訊息進行相同的搜索只需幾分之一秒 (這意味著您可以非常快速地將搜索範圍縮小到相關的日誌訊息)。
您可以透過多種方式將日誌從 SSB 轉發到 Splunk。如果您的訊息速率非常低,您可以使用 syslog 協定將日誌從 SSB 發送到 Splunk。但是,這種方法不是特別推薦。
SSB 還可以透過 SMB 和 NFS 協定匯出日誌。在這種情況下,一台機器安裝這些目錄,在上面運行的 Splunk 轉發器會讀取日誌訊息並將它們發送到 Splunk。
另一種選擇是將日誌從 SSB 轉發到運行 syslog-ng™ 的機器,將日誌保存到 Splunk 轉發器所期望的目錄結構中,或者直接將訊息轉發到 Splunk HTTP 事件收集器。
更多 One Identity syslog-ng相關參考資訊
台北市內湖區瑞光路335號5樓
Tel. 02-7721-8168 
返回上一頁