Dashboardy

Tato sekce se používá pro práci s daty dostupnými v databázi: prohlížet, analyzovat, korelovat atd. Je založena na Kibaně, která poskytuje intuitivní rozhraní a robustní nástroje pro flexibilní analýzu, vizualizaci, souhrny v reálném čase a grafy streamovaných dat. Můžete vytvářet grafy různých typů (sloupcový, koláčový, tabulkový), histogramy pro prezentaci událostí v čase, výpočet trendů, zobrazení IP adres na mapě světa a další.

Jediný řídicí panel obsahuje kolekci grafů, které zobrazují data na základě vstupních dotazů a filtrů. Můžete vytvářet různé řídicí panely podle svých potřeb.

Úvodní panel je výchozí vstupní stránkou nabídky panelů/dashboardů. Zobrazuje sadu výchozích panelů:

• univerzální dashboardy
• Windows
• Fortigate
• Office 365
• ISO 27001:2013.
• a mnoho dalších.

Můžete si vybrat použití jiné vstupní stránky tak, že přejdete na panel podle svého výběru a nastavíte jej jako „domov“.

Panel přehledu logování poskytuje rychlý přehled o všech dostupných datech. Spustí dotaz „*“, který dá databázi pokyn vrátit vše, co má v daném časovém intervalu (který je standardně nastaven na 1 hodinu). Na závěr tento pohled zobrazí všechna přihlášení uložená v databázi za poslední hodinu.

Obsahuje několik různých grafů:

• Události v průběhů času - informace o čase příjmu události a celkovém počtu událostí v daném intervalu.
• Název zařízení - top 25 hodnot v poli meta.src.host.raw.
• IP adresa zařízení - top 25 hodnot v poli meta.src.ip.
• Tagy - top 25 hodnot v poli meta.tags.
• Název parseru - top 25 hodnot v poli meta.parser.
• Název programu syslog - top 25 hodnot v poli meta.src.program.
• Závažnost syslogu - top 25 hodnot v poli meta.src.severity.
• and Všechny události - úplné zprávy (odbdržené logy) seřazené od nejnovějších po nejstarší.

Dotazy se dají spouštět přes vstupní pole dotaz (query) v horní části stránky.

Příklad jednoduchého dotazu:

to be or not to be

Ve skutečnosti proběhne vyhledávání slov: to NEBO be NEBO or NEBO not NEBO to NEBO be.

Můžeme take hledat celou frázi:

"to be or not to be"

Nebo v konkrétních proměnných:

line_id:86169

Můžeme také vyjádřit složitější dotazy pomocí AND/OR. Tato slova musí být velkými písmeny:

food AND love

Nebo pomocí závorek:

("played upon" OR "every man") AND stage

Číselné rozsahy mohou být snadno vyhledány pomocí:

line_id:[30000 TO 80000] AND havoc

A samozřejmě vyhledání všeho:

*

V případě, že proměnná status obsahuje active:

status:active

Výsledky, kdy proměnná „title“ obsahuje quick nebo brown. Pokud vynecháte operátor OR, bude použit defaultní:

title:(quick OR brown)
title:(quick brown)

Vyhledání všech výsledků kde proměnná book.title, book.content nebo book.date obsahují quick nebo brown (všimněte si, že je nutné speciální znak „*“ ošetřit pomocí zpětného lomítka):

book.\*:(quick brown)

Výsledky hledání, kde proměnná nemá žádnou hodnotu (nebo chybí):

_missing_:title

Výsledky hledání, kde proměnná má nenulovou hodnotu (není prázdná):

_exists_:title

Řetěžové dotzování je rozebráno do řady termínů a operátorů. Termín může být jedno slovo (quick nebo brown) nebo fráze obklopená dvojitými uvozovkami (quick brown), která vyhledává všechna slova ve větě, ve stejném pořadí.

Operátoři vám umožňují přizpůsobit vyhledávání. Dostupné možnosti jsou vysvětleny níže. explained below.

Hledaný výraz je vyhledáván v default_field, ale v řetězovém dotazování je možné zadat i další pole pro vyhledávání:

Kde pole status obsahuje active:

status:active

Kde pole title obsahuje quick nebo brown. Pokud vynecháte operátora OR, použije se výchozí operátor:

title:(quick OR brown)
title:(quick brown)

Kde pole author obsahuje přesnou frázi „john smith“:

author:"John Smith"

Kde jakékoliv pole book.title, book.content nebo book.date obsahuje quick nebo brown (všimněte si, jak potřebujeme uniknout * se zpětným lomítkem):

book.\*:(quick brown)

Kde pole title nemá žádnou hodnotu (nebo zcela chybí):

_missing_:title

Kde pole title má libovolnou nenulovou hodnotu:

_exists_:title

Prohledávání zástupných znaků lze provádět podle jednotlivých termínů pomocí znaku „?„ pro nahrazení jednoho znaku a nebo znaku „*“ pro nahrazení nula nebo více znaků:

qu?ck bro*

Nezapomeňte, že zástupné dotazy mohou využívat obrovské množství paměti a vyhledávat velmi špatně. Stačí si představit, kolik pojmů je třeba dotazovat, aby odpovídaly řetězci dotazu “a* b* c*” .

Povolení zástupného znaku na začátku slova (např. *ing) je obzvláště těžké, protože všechny výrazy v indexu je třeba prozkoumat, pro případ, že se shodují. Hlavní zástupné znaky lze zakázat nastavením falešného povolení allow_leading_wildcard.

Ve výchozím nastavení nejsou zástupné výrazy analyzovány. Jsou převedeny na malá písmena (výchozí hodnota lowcase_expanded_terms se nastaví do true), ale neprobíhá zde žádná další analýza, hlavně proto, že není možné přesně analyzovat slovo, ve kterém chybí některá z jeho písmen.

Pokud však nastavíte analy_wildcard na true, bude proveden pokus o analýzu zástupných slov před vyhledáním odpovídajících výrazů v seznamu termínů.

Pomocí operátoru fuzzy můžeme hledat výrazy, které jsou podobné, ale ne přesně jako naše hledané výrazy:

quikc~ brwn~ foks~

Toto používá metrika https://en.wikipedia.org/wiki/Damerau-Levenshtein_distance k nalezení všech termínů s maximálně dvěma změnami, kde změna je vložení, odstranění nebo nahrazení jednoho znaku, nebo transpozice dvou sousedních znaků.

Výchozí vzdálenost pro úpravy je 2, ale vzdálenost pro editaci 1 by měla být dostatečná k zachycení 80% všech chybných pravopisů. Lze ji zadat jako:

quikc~1

Zatímco dotaz na frázi (např. john smith) vyhledává všechny výrazy ve stejném pořadí, proximitní (blízké) vyhledávání umožňuje, aby byla zadaná slova dále od sebe nebo v jiném pořadí. Stejným způsobem blízké vyhledávání může specifikovat maximální délku editace znaků ve slově, hledání vzdáleností nám umožňuje určit maximální editovací vzdálenost slov ve frázi:

"fox quick"~5

Čím blíže je text v poli původnímu pořadí zadanému v řetězci dotazu, tím relevantnější je dokument. Ve srovnání s výše uvedeným příkladem dotazu by se věta rychlá liška považovala za relevantnější než rychlá hnědá liška.

Rozsahy mohou být pro datum, čísla nebo řetězce. Inkluzivní rozsahy jsou specifikovány hranatými závorkami [min TO max] a exkluzivní rozsahy složenými závorkami {min TO max}.

Všechny dny v roce 2012:

date:[2012-01-01 TO 2012-12-31]

Čísla 1..5:

count:[1 TO 5]

Znaky mezi alpha a omega, kromě alpha a omega:

tag:{alpha TO omega}

Čísla od 10 a výše:

count:[10 TO *]

Data před 2012:

date:{* TO 2012-01-01}

Rozsahy bez jedné strany mohou použít následující syntaxi:

age:>10
age:>=10
age:<10
age:<=10

Chcete-li kombinovat horní a dolní hranici se zjednodušenou syntaxí, musíte spojit dvě klauze s operátorem AND:

age:(>=10 AND <20)
age:(+>=10 +<20)

Analýza rozsahů v řetezovém vyhledávání může být složitá a náchylná k chybám. Je mnohem spolehlivější používat explicitní range filter.

Použijte operátor zesílení „^“, aby byl jeden termín relevantnější než druhý. Například pokud chceme najít všechny dokumenty o liškách, ale zvláště nás zajímají rychlé lišky:

quick^2 fox

Výchozí hodnota boost je 1, ale může to být libovolné kladné číslo s pohyblivou řádovou čárkou. Zvýšení mezi 0 a 1 snižuje relevanci.

Zesílení lze také použít na fráze nebo skupiny:

"john smith"^2   (foo bar)^4

Ve výchozím nastavení jsou všechny podmínky volitelné, pokud se shoduje jeden termín. Hledání výrazu foo bar baz najde jakýkoli dokument, který obsahuje jeden nebo více z foo nebo bar nebo baz. Jak jsme již diskutovali výše výraz default_operator, který vám umožňuje vynutit, aby byly všechny termíny vyhledány. Ale existují zde také booleovské operátory, které mohou být použity v samotném řetězci dotazu pro zajištění větší kontroly.

Preferovanými operátory jsou „+“ (tento termín musí být přítomen) a „-“ (tento termín nesmí být přítomen). Všechny ostatní podmínky jsou volitelné. Například tento dotaz:

quick brown +fox -news

• fox musí být přítomen.
• news nesmí být přítomen.
• quick a brown jsou volitelné — jejich přítomnost zvyšuje relevantnost (význam).

Zmiňované operátory AND, OR and NOT (také psáno &&, || a !) jsou také podporovány. Účinky těchto operátorů však mohou být složitější, než je zřejmé na první pohled. NOT je nadřazeno AND, které má přednost před OR. Zatímco + a - ovlivňují pouze výraz napravo od operátora, AND a OR mohou ovlivnit podmínky vlevo a vpravo.

Přepsání výše uvedeného dotazu pomocí AND, OR a NOT demonstruje složitost:

• quick OR brown AND fox AND NOT news
  Nesprávně, protože brown je nyní povinný termín.
• (quick OR brown) AND fox AND NOT news
  To je nesprávné, protože alespoň jeden z quick nebo brown je nyní povinné a vyhledávání těchto výrazů by bylo hodnoceno odlišně od původního dotazu.
• ((quick AND fox) OR (brown AND fox) OR fox) AND NOT news
  Tento formulář nyní replikuje logiku z původního dotazu správně, ale význam odráží malou podobnost s originálem.

Naproti tomu stejný dotaz byl přepsán pomocí match query by mohl vypadat následovně:

{
  "bool": {
    "must": { "match": "fox" },
    "should": { "match": "quick brown" },
    "must_not": { "match": "news" }
  }
}

Více termínů nebo klauzulí lze seskupit spolu s kulatými závorkami, aby se vytvořily dílčí dotazy:

(quick OR brown) AND fox

Skupiny lze použít k zacílení na konkrétní pole nebo k posílení výsledku dílčího dotazu:

status:(active OR pending) title:(full text search)^2

Pokud potřebujete použít některý ze znaků, které fungují jako operátory ve vašem dotazu samotném (a ne jako operátory), měli byste je doplnit zpětným lomítkem na začátku. Například budete hledat (1+1)=2, budete muset napsat svůj dotaz jako (1+1)=2.

Vyhrazené znaky jsou:

+ - = && || > < ! ( ) { } [ ] ^ " ~ * ? : \ /

Pokud tyto speciální znaky správně neuzavřete, může to vést k chybě syntaxe, která zabrání spuštění vašeho dotazu.

Sledujte tento prostor

Mezera může být také vyhrazeným znakem. Pokud máte například seznam synonym, který převádí „wi fi“ na „wifi“, hledání pomocí query_string by selhalo. Analyzátor řetězce dotazu interpretuje váš dotaz jako hledání „wi OR fi“, zatímco token uložený ve vašem indexu je ve skutečnosti „wifi“. Únik z prostoru jej ochrání před dotykem analyzátoru řetězce dotazu: „wifi“.

Pokud je řetězec dotazu prázdný nebo obsahuje pouze mezery, dotaz poskytne prázdnou sadu výsledků.

V některých případech můžete chtít porovnat výsledky dvou samostatných dotazů. Řídicí panely dokážou zpracovat více dotazů tak, že je spojí logickým OR a použijí vědomí, že by se s nimi mělo zacházet jako s oddělenými, aby ovlivnily vizualizace.

Klikněte na + na pravé straně pole query pro přidání dalšího dotazu.

Nyní byste měli mít následující:

Do levého zeleného pole, napište „to be“ a do pravého žlutého pole, napište „not to be“. Tyto dotazy vyhledají všechny dokumenty obsahující „to be“ OR „not to be“ a výsledky zobrazí na koláčovém grafu HITS. Takže se dostaneme z velkého zeleného kruhu ke koláčovému grafu:

Použití více dotazů je zvláště užitečné, když chcete prezentovat různé výsledky dotazů v různých grafech. Tuto funkci můžete použít například k prezentaci dat pocházejících ze dvou zdrojů zabezpečení (v tomto příkladu Flowmon a bod zvratu):

Prvně, green query, vrátí výsledky pro bod zvratu (field msg.device_vendor musí mít hodnotu Bod zvratu), a za druhé, yellow query, vrátí výsledky pro Flowmon (field meta.tags musí mít hodnotu Flowmon).

Poté můžete vybrat, který řídicí panel (dashboard) bude zobrazovat který výsledek dotazu. Zde grafy “Flowmon message” a “Flowmon status” ukazují výsledky yellow query, zatímco grafy “Zpráva bodu zvratu” a “Stav bodu zvratu” ukazují výsledky green query.

Takový pohled umožňuje vizuální korelaci – tu můžeme filtrovat na zvolenou zdrojovou/cílovou IP a analyzovat ji z pohledu dvou různých zdrojů.

Chcete-li vybrat, který graf bude zobrazovat který výsledek dotazu, musíte jej nakonfigurovat kliknutím na malou ikonu ozubeného kola:

Poté se přesuneme na panel „Dotazy“ a z rozevíracího seznamu vybereme „vybrané“. Poté stačí vybrat jakýkoli výsledek dotazu, který chcete zobrazit v tomto grafu.

Pro odstranění dotazu klikněte na ikonu křížku, která se objeví, když myší najedete nad vstupní pole dotazu:

Panely automaticky určí barvu, která se má použít pro vaše dotazy, ale pokud chcete, můžete barvu nastavit explicitně kliknutím na barevnou tečku spojenou s dotazem. Tím se otevře rozbalovací nabídka nastavení dotazu. Zde můžete změnit barvu dotazu nebo nastavit nový název dotazu (hodnotu legendy) pro histogram.

Mnoho grafů Dashboards je interaktivních a lze je použít k filtrování zobrazení vašich dat. Například kliknutím na zelenou tečku vedle hodnoty na sloupcovém grafu vygenerujete nový filtr.

Jak vidíte, z grafu se stal jeden velký zelený pruh. Důvodem je, že byl přidán filtr, který odpovídá hodnotě, na kterou jste klikli. V tomto případě to bylo DCW2K19 (název hostitele řadiče domény) v poli meta.src.host.raw.

Z panelu filtrování lze filtry přidávat, upravovat, přepínat a odstraňovat. Mnoho grafů poskytuje možnost přidat filtry kliknutím na danou hodnotu, včetně výrazů, tabulky, histogramu, mapy a dalších.

Filtry mohou být přidány také manuálně kliknutím na tlačítko +.

Filtr Querysting lze přidat pouze ručně. Je to jednoduchý dotaz, který se řídí stejnými pravidly jako standardní dotaz.

Filtr Pole/Hodnota se přidá kliknutím na hodnotu uvedenou v jednom z grafů.

Existující filtr se přidá kliknutím na ikonu zrcadla vedle názvu pole v grafu tabulky. Tento filtr znamená, že dané pole musí existovat v protokolu, aby se zobrazilo v grafu.

Pokud přidáte řadu filtrů, budou mít mezi sebou spojení AND.

Což znamená, že každý protokol prezentovaný na řídicím panelu musí splňovat všechny podmínky filtru. Je to skvělý způsob, jak se „provrtat“ ve svých protokolech a přejít od širokého k úzkému pohledu.

Sjednocení mezi filtry můžete změnit kliknutím na „podmínky“.

Tímto způsobem můžete nastavit, aby filtry sledovaly spojení OR.

V tomto příkladu musí protokoly odpovídat buď prvnímu nebo druhému filtru, takže meta.src.host.raw musí mít hodnotu DCW2K19 NEBO SRVW2K16.

Můžete také vybrat logiku NOT.

V tomto příkladu protokoly neodpovídají žádnému z filtrů, což znamená pouze protokoly, kde meta.src.host.raw NEobsahuje hodnotu DCW2K19 NEBO SRVW2K16.

Dashboardy jsou organizovány do systému řádků a panelů. Ty mohou být přidávány, mazány a přeskupovány, aby vyhovovaly vašim požadavkům.

Použijte prázdný dashboard, který obsahuje pouze sekce dotaz, filtr a definici časového období. Klikněte na tlačítko přidat řádek (Add) na pravé straně pro přidání prvního řádku.

Dejte řádku název a klikněte na Vytvořit řádek (Create Row). Uvidíte, že se řádek objeví v seznamu řádků nalevo. Klikněte na tlačítko Uložit (Save).

Nyní, když mate řádek vytvořený, uvidíte na svém dashboardu několik nových prvků.

Zejména tři jasně obarvené obdélníky vlevo. Najeďte na ně myší.

Tato tlačítka vám umožňují docílit tři věci:

• Sbalení řádků (modrá)
• Konfigurace řádků (oranžová)
• Přidání panelů (zelená)

Chcete-li přidat panel, klikněte na zelené tlačítko „plus“.

Zde můžete vybrat různé typy panelů (grafů). Výběrem jednoho z nich (například panel pojmů) se dostanete do této nabídky konfigurace grafu.

Nakonfigurováním grafu a jeho uložením se vygeneruje v dříve vybraném řádku.

Modré tlačítko schová uvedený řádek.

Panely ve sbalených řádcích neaktualizují data. Sbalené řádky jsou ideální pro data, která nepotřebujete vidět často. Klikněte znovu na modré tlačítko pro opětovné rozbalení řádku.

Sekce dotazu a filtru v horní části lze také sbalit. Kliknutím na barevný štítek jej sbalíte a rozbalíte.

Řádky mohou být přejmenovány, může být změněna jejich velikost a také mohou být editovány pomocí editoru řádků. Klikněte na oranžové tlačítko ozubeného kolečka pro otevření editoru.

Stejný dialog umožňuje měnit pořadí a velikost panelů, stejně tak jako je odstraňovat.

Panely mohou být přetahovány v rámci jejich řádku nebo mohou být přesunuty i do jiného řádku pomocí tažení za ikonu ve tvaru zaměřovacího kříže v pravé horní části panelu.

Klikněte na ikonu odstranit v pravé horní části panelu pro odstranění panelu z dashboardu. Panely mohou být také odstraněny pomocí editoru řádků.

Řádky lze přeskupit a odstranit pomocí konfigurační obrazovky řídicího panelu. Klikněte na ikonu ozubeného kola v levém horním rohu obrazovky a vyberte kartu Řádky, abyste provedli změny v rozložení řádků. Možná si tuto obrazovku pamatujete z doby, kdy jsme přidali naši první řadu.

Šipky nalevo umožňují měnit pořadí řádků na dashboardu. Tlačítko X se používá pro jejich odstranění.

Dashboard může uchovat nastavení přes save option a umožnit vám je vyvolat pomocí load option.

Uložení nového dashboardu je snadné - v pravém horním rolu naleznete ikonu diskety (save).

Pojmenujte váš dashboard a stiskněte klávesu Enter, nebo klikněte na ikonu diskety, tedy save. Váš dashboard je uložen

Pro načtení uloženého dashboardu klikněte na ikonu Load v pravé horní části. Odtud můžete načítat a mazat dashboardy.

Panely disponující ikonou export dat umožňují uložit zobrazené hodnoty ve formátu CSV.

Pro export dat postupujte následovně:

• ve vybraném panelu klikněte na ikonu export dat,
• zobrazí se nové okno, informující o přípravě dat k exportu,
• toto okno musí zůstat otevřené po celou dobu přípravy exportu,
• po dokončení přípravy se zobrazí okno pro stažení dat.

Formát exportovaných dat:

• Soubor je ve formátu GZ (GZIPovaný soubor).
• Archiv obsahuje CSV soubor s exportovanými daty.
• Data jsou uložena v UTF-8 kódování.

Pro správný export dat v prohlížeči Safari, je zapotřebí změnit pár nastavení prohlížeče, které blokují správné stažení souboru.

Pokračujte podle těchto kroků:

1. Vyberte: Safari > Nastavení (nebo Předvolby) > Obecné
2. Zde zakažte zaškrtávací políčko: “Bezpečné soubory po stažení otvírat”
3. Následně v nastavení vyberte kolonku Soukromí
4. Zde zakažte tyto zaškrtávací políčka: “Bránit ve sledování napříč stránkami” a “Zablokovat všechny cookies”

Nyní by měl prohlížeč správně stáhnout exportovaná data.

V případě importu CSV do Microsoft Excel zvolte v průvodci importu UTF-8 kódování.

Exportované soubory se automaticky odstraní z Logmanageru při jejich stažení. Pokud uživatel exportované soubory nestáhne, jsou automaticky smazány 12 hodin po dokončení exportování.

V případě dlouhotrvajících exportů je možné si zkopírovat URL daného exportu nově otevřeného okna a otevřít si ji znovu za několik hodin. Po znovuotevření URL tak lze zkontrolovat aktuální stav probíhajícího (nebo již proběhlého) exportu, aniž by došlo k přerušení exportu.

Systém má limitovaný počet procesů, které můžou exportovat data. Databázové zálohy (Zálohování/Obnova) v tuto chvíli sdílí tento limit s uživatelskýmy exporty. Toto může způsobit dlouhé čekací lhůty na uživatelské exporty v případě, že běží současně se zálohou databáze.