Logmanager log flow

Tato část dokumentace zjednodušeně popisuje log flow, tedy způsob, jakým jsou logy/události na straně Logmanager zpracovávány. Popisuje se zde, kde například vznikají meta data, nebo kde msg data.

---
title: Logmanager
---

%%{
  init: {
    'theme': 'base',
    'themeVariables': {
      'primaryColor': '#fff',
      'primaryTextColor': '#0F0FD7',
      'primaryBorderColor': '#0F0FD7',
      'lineColor': '#0F0FD7',
      'secondaryColor': '#fff',
      'tertiaryColor': '#fff'
    }
  }
}%%

  flowchart 

  A[|borders:no|"Odeslání logu na Logmanager"]   ~~~ 
  B[|borders:no|"Log uložen do databáse v raw, vzniká @timestamp a _id"]  ~~~ 
  C[|borders:no|" "] ~~~
  E[|borders:no|"Vznikaií meta data"] ~~~ 
  D[|borders:no|"Vznikají msg data"] ~~~ 
  F[|borders:no|"Korelace. odesláni emailu"] ~~~ 
  G[|borders:no|"Uloženi do datábaze"] 

  A1([Log])-->B1(Buffer)
  B1(Buffer)-->C1(Klasifikace)
  C1(Klasifikace)-->D1(Parsování)
  C1(Klasifikace)--Ne-->E1(Klasifikacní sablony)
  E1(Klasifikacní sablony)--Ano-->D1(Parsování)
  E1(Klasifikacní sablony)--Ne-->F1(Upozorneni, korelace)
  D1(Parsování)-->F1(Upozorneni, korelace)
  F1(Upozorneni, korelace)-->G1[(Database)]
  F1(Upozorneni, korelace)-->H1(Syslog Output)

• Log Přijetí logu na Logmanager.
• Buffer Log je uložen do bufferu (mezipaměti), kde je mu vytvořeno časové razítko (@timestamp) a unikátní ID (_id). Log je zároveň uložen v raw formátu tak, jak přišel. Dochází-li k zaplňování bufferu, je operátorovi odeslán email. V praxi to může značit přetěžovaný Logmanager.
• Klasifikace Při klasifikaci vznikají meta data, jako například meta.src.ip, která určuje z jaké IP adresy zařízení log pochází, nebo meta.parser - kterým parserem bude log zpracován v dalším kroku. Meta data vznikají automaticky, určují původ logu, jaké zařízení jej a jak poslalon Neobsahují data o události jako takové. Konfigurací klasifikace určujete, jak bude s logy naloženo. Neexistuje-li pro log klasifikace, je předán do klasifikačních šablon. Více o klasifikaci naleznete zde - Klasifikátory.
• Klasifikační šablony Pokud log neprošel klasifikací, propadne do klasifikačních šablon, které definuje výrobce. Zde se například využívají přednastavené IP Preflix listy - IP Prefix listy a dochází k dodatečné identifikaci zdroje. Pokud ani v klasifikačních šablonách nedojde k identifikaci zdroje a nemá tedy přiřazený parser, pokračuje do upozornění, korelací. Jinak je zpracován parserem. Více o klasifikačních šablonách naleznete zde - Klasifikační šablona.
• Parsování V tomto kroku se logy zpracovávají parserem, kde vznikají msg data. Ta obsahují informace o události v logu. Vznikají pouze v případě, že je log v rámci klasifikace směrován na některý z dostupných parserů. Msg data mohou obsahovat například msg.device_id. Msg data vznikají v závislosti na použitém parseru, mohou se tak v praxi lišit. Obecně platí pravidlo: nemají-li logy v Logmanager msg data, pravděpodobně nebyly poslány do parseru (může zde být problém špatné klasifikace). To ověříte tak, že při nahlédnutí do logu uvidíte meta.parser=unknown. Více o parsování naleznete zde - Parsery.
• Upozornění, korelace V této části jsou spuštěna korelační pravidla a upozornění. Tato část lze pomocí upozornění využít i pro obohacení logů, kde můžete vytvořit nová msg data, bez editace parseru. Je-li na upozornění odeslán email, automaticky je k němu vnitřně přiřazena systémová značka notified, která je využita k zobrazení všech odeslaných upozornění v dashboardu Alerted events. Více o upozornění naleznete zde - Upozornění.
• Syslog output V tomto kroku zároveň dochází k přeposlání logu na další syslog server, máte-li nějaký nastavený pomocí funkce Přesměrování syslogu. Formát odeslaného logu definuje operátor v nastavení - Přesměrování syslogu.
• Databáze Log je nakonec uložen do databáze a připraven k další analýze a vizualizaci. V databázi je každý log, rozložený na meta data, msg data a raw data, uložen v JSON formátu.

• Každý log je bez ohledu na klasifikaci/parsování uložen do databáze v raw podobě.
• Databáze je navržena tak, aby nebylo možné uložené logy modifikovat či mazat.
• @timestamp vzniká podle času přijetí na Logmanager, z důvodu věrohodnosti dat se Logmanager nespoléhá na případný čas uvedený v hlavičce logu.