【威雲電子報 Issue #118】將日誌訊息從 syslog-ng 轉發到 Splunk (中)

用於 Splunk 的 syslog-ng™ 使用場景 (中)

Use case 2：長期日誌儲存

根據收集的日誌類型，組織為遵循法規合規需要將檔案儲存。許多資料保留政策和法規規定日誌訊息以其原始格式儲存數月甚至數年。如果組織不需要分析這些日誌訊息而只是必須安全地儲存，syslog-ng PE 提供了一種高經濟效益且方便的解決方案。
使用者可以指定歸檔目的地的類型：純文字檔案、二進位日誌儲存或 SQL 資料庫。可以根據特定條件將輸出訊息寫入特定檔案 (或檔案集)。使用 syslog-ng PE 日誌庫有助於日誌的機密性和長期儲存。透過壓縮來節省空間，同時使用時間戳記和加密來確保儲存的日誌被篡改。
預設情況下，syslog-ng™ 解析所有傳入的訊息、建立名稱-值對 (name-value pairs) 並在模板的幫助下重整並儲存。對於不符合標準的訊息，儲存的內容可能與原始的略有不同。藉由輸入上的 store-raw-message 標註，syslog-ng PE 將從客戶端收到的原始訊息保存在名為 $ {RAWMSG} 的名稱-值對中。如果需要未經修改的原始訊息，您可以將此巨集長期儲存或轉發到 Splunk。
 
範例：將日誌儲存在壓縮檔中
此範例展示如何在日誌儲存檔中儲存日誌以供長期保留。
圖 3：將日誌儲存在壓縮檔中
以下設定檔範例擴展延伸了“範例：從 UDP 接收日誌“，透過將長期目標地址增加到名為 d_longterm 的配置。您可以在 Splunk 讀取平面檔案後定期刪除它們，而加密和壓縮的日誌儲存檔會根據合規性法規的要求保留。
Use case 3：用戶端的 syslog-ng PE 進階過濾功能減少資料傳輸負載

許多使用者透過 syslog-ng™ 過濾用戶端上的日誌訊息以減少網路負載。當遠端用戶端的網路頻寬有限時，syslog-ng™ 應用程式可以過濾掉不相關的內容。在定義日誌路徑時，使用者可以新增過濾器，根據預先定義的標準對訊息進行路由。來自日誌敘述句中列出的來源並與所有過濾器符合的訊息將發送到列出的目的地。要定義日誌路徑，請使用以下語法將日誌敘述句添加到 syslog-ng™ 設定檔：
syslog-ng™ 應用程式可以處理嵌入式日誌敘述句 (也稱為日誌管道)。嵌入式日誌敘述句對於建立具有多個目的地的複雜多層級日誌路徑，以及使用過濾器、解析器和重寫規則非常有用。舉例來說，如果您想根據工具參數過濾傳入的訊息，然後使用進階過濾器將來自不同主機的訊息發送到不同的目的地，則可以使用嵌入式日誌敘述句。這種進階過濾讓使用者能夠調整發送到 Splunk 實例的訊息的數量和類型以進行索引 (從而降低網路容量要求)。
範例：過濾日誌訊息
此範例說明如果您希望使用各種過濾器來控制轉發到 Splunk 的訊息的類型和數量，該如何配置您的 syslog-ng™。
圖 4：過濾日誌訊息
以下設定檔範例擴展延伸了“範例：從 UDP 接收日誌“，並在配置中增加過濾器。第一個過濾器為 f_proftpd 並過濾來自名為 proftpd 的應用程式的任何訊息。第二個過濾器為 f_nodebug，此過濾器會過濾日誌中僅在非常特殊情況下才需要但會明顯增加日誌量的除錯訊息。
另一個不同的配置改變是我們在這裡使用syslog-ng PE 的 splunk_hec() 目標。如您所見，與直接使用 http() 目標相比，強制性配置選項要少得多。如需完整的選項列表，請查看 syslog-ng PE 參考資料。有更多的可能性來擴展和保護您的日誌記錄基礎設施。例如，您可以使用磁碟緩衝器、多個 Splunk 索引器之間的負載平衡資料等實現額外的可靠性。
《to be continued…》
台北市內湖區瑞光路335號5樓
Tel. 02-7721-8168 
返回上一頁