Logmanager log flow

Tato část dokumentace zjednodušeně popisuje log flow, tedy způsob, jakým jsou logy/události na straně Logmanager zpracovávány. Popisuje se zde, kde například vznikají meta data, nebo kde msg data.

• Log Přijetí logu na Logmanager.
• Buffer Log je uložen do bufferu (mezipaměti), kde je mu vytvořeno časové razítko (@timestamp) a unikátní ID (_id). Log je zároveň uložen v raw formátu tak, jak přišel. Dochází-li k zaplňování bufferu, je operátorovi odeslán email. V praxi to může značit přetěžovaný Logmanager.
• Klasifikace Při klasifikaci vznikají meta data, jako například meta.src.ip, která určuje z jaké IP adresy zařízení log pochází, nebo meta.parser - kterým parserem bude log zpracován v dalším kroku. Meta data vznikají automaticky, určují původ logu, jaké zařízení jej a jak poslalon Neobsahují data o události jako takové. Konfigurací klasifikace určujete, jak bude s logy naloženo. Neexistuje-li pro log klasifikace, je předán do klasifikačních šablon. Více o klasifikaci naleznete zde - Klasifikátory.
• Klasifikační šablony Pokud log neprošel klasifikací, propadne do klasifikačních šablon, které definuje výrobce. Zde se například využívají přednastavené IP Preflix listy - IP Prefix listy a dochází k dodatečné identifikaci zdroje. Pokud ani v klasifikačních šablonách nedojde k identifikaci zdroje a nemá tedy přiřazený parser, pokračuje do upozornění, korelací. Jinak je zpracován parserem. Více o klasifikačních šablonách naleznete zde - Klasifikační šablona.
• Parsování V tomto kroku se logy zpracovávají parserem, kde vznikají msg data. Ta obsahují informace o události v logu. Vznikají pouze v případě, že je log v rámci klasifikace směrován na některý z dostupných parserů. Msg data mohou obsahovat například msg.device_id. Msg data vznikají v závislosti na použitém parseru, mohou se tak v praxi lišit. Obecně platí pravidlo: nemají-li logy v Logmanager msg data, pravděpodobně nebyly poslány do parseru (může zde být problém špatné klasifikace). To ověříte tak, že při nahlédnutí do logu uvidíte meta.parser=unknown. Více o parsování naleznete zde - Parsery.
• Upozornění, korelace V této části jsou spuštěna korelační pravidla a upozornění. Tato část lze pomocí upozornění využít i pro obohacení logů, kde můžete vytvořit nová msg data, bez editace parseru. Je-li na upozornění odeslán email, automaticky je k němu vnitřně přiřazena systémová značka notified, která je využita k zobrazení všech odeslaných upozornění v dashboardu Alerted events. Více o upozornění naleznete zde - Upozornění.
• Syslog output V tomto kroku zároveň dochází k přeposlání logu na další syslog server, máte-li nějaký nastavený pomocí funkce Přesměrování syslogu. Formát odeslaného logu definuje operátor v nastavení - Přesměrování syslogu.
• Databáze Log je nakonec uložen do databáze a připraven k další analýze a vizualizaci. V databázi je každý log, rozložený na meta data, msg data a raw data, uložen v JSON formátu.

• Každý log je bez ohledu na klasifikaci/parsování uložen do databáze v raw podobě.
• Databáze je navržena tak, aby nebylo možné uložené logy modifikovat či mazat.
• @timestamp vzniká podle času přijetí na Logmanager, z důvodu věrohodnosti dat se Logmanager nespoléhá na případný čas uvedený v hlavičce logu.