Logmanager Orchestrator

Zjednodušeně můžeme toto řešení rozdělit na dvě části, první je softwarová část, instalovaná na koncovém zařízení (počítač nebo server). Druhá část se kompletně odehrává na straně Logmanageru. V této dokumentaci budeme popisovat část první, tedy softwarovou.

Ta je nainstalována na koncovém zařízení a rozděluje se na tři komponenty:

• Elastic Filebeat – služba zodpovědná za sběr a odesílání logů ukládaných v prostých textových souborech.
• Elastic Winlogbeat – služba zodpovědná za sběr a odesílání nativních logů ukládaných do Windows Event Data úložiště.
• Logmanager Orchestrator – Služba zodpovědná za management agentů a reportování jejich stavu, komunikaci mezi agenty a Logmanagerem, distribuci konfigurací agentů a v neposlední řadě i jejich aktualizaci a registraci.

Všechny komponenty jsou implementovány jako služby systému Windows.

Více informací, jak fungují Beat agenti, naleznete zde (anglicky):

• Winlogbeat Overview | Winlogbeat Reference [7.16] | Elastic - https://www.elastic.co/guide/en/beats/winlogbeat/current/_winlogbeat_overview.html
• Winlogbeat Overview | Winlogbeat Reference [7.16] | Elastic - https://www.elastic.co/guide/en/beats/winlogbeat/current/_winlogbeat_overview.html

V současné době je k dispozici více Elastic Beat agentů (např Metricbeats, Auditbeats), Logmanager podporuje všechny, ale pouze Filebeat a Winlogbeat mohou být centrálně spravovány z GUI. V budoucích verzích Logmanager plánujeme přidat centrální správu i pro ostatní Beat agenty.

Elastic Beat je open-source software, který je licencovaný pod Apache License 2.0. Díky této skutečnosti můžeme využít Elastic Beat kód pro komerční účely.

Jedná se o velice povedený software, který nabízí skutečně velké množství funkcí, které jsou vyvíjeny a ověřeny dlouhá léta díky implementacím po celém světě. Přesně proto jsme se rozhodli nevymýšlet něco, co je už dávno vymyšlené a jen jsme to zdokonalili. Hlavní, a vlastně i jediný, problém Beat agentů je jejich centrální správa – tu totiž neobsahují a je poměrně složité je konfigurovat. Právě díky Logmanager orchestratoru tento problém mizí, centrální správu jsme přidali a konfiguraci maximálně zjednodušili.

Nezapomněli jsme ani na filtrování událostí, které je integrované do Logmanageru v podobě nástroje Blockly. Díky tomu můžete jednoduše filtrovat nežádoucí data rovnou na koncových zařízeních bez nutnosti je posílat na Logmanager.

Přidali jsme také podporu automatické aktualizace, ověřování agentů pomocí certifikátu a silné šifrování komunikace.

Všechny tyto funkce jsou jednoduše „zabalené“ do jednoho instalačního MSI balíčku, který můžete distribuovat pomocí GPO nebo SCCM.

Architektura Orchestrator agenta:

• Winlogbeat provádí sběr logů z Windows úložiště událostí (Event Store), aplikuje filtry a odesílá logy do Logmanageru přes TCP/5044 TLS 1.3.
• Filebeat provádí sběr logů z plochých souborů z Windows operačního systému, aplikuje filtry a odesílá logy do Logmanageru přes TCP/5044 TLS 1.3.
• Logmanager Orchestrator komunikuje s Logmanagerem skrze HTTP/443 TLS 1.2, 1.3. a zajišťuje následující:
  • Registraci Orchestratoru po instalaci v Logmanageru.
  • Stahování konfigurace z Logmanageru aplikované do Beatagenta. (například filtry).
  • Aktualizaci Beat agentů, pokud tuto možnost máme zapnutou v nastavení.
  • Validaci certifikátu, pokud je zapnutá.
• Změnu stavu Beat agentů (zapnutí, zastavení).
• Logmanager nabízí centrální správu Beat agentů a Orchestratoru přímo z GUI (změny konfigurace, filtrování, přehled o agentech apod.).

Architektura DNS a registru Windows:

• DNS je využíváno k získávání DNS SRV záznamu pro překlad na IP adresu Logmanageru. To umožňuje:
  • Agent ve výchozím nastavení používá k nalezení serveru Logmanager DNS vyhledání.
  • Jednoduchý failover: DNS Failover
  • Změna IP Logmanageru: namísto změny konfigurace všech agentů v případě změny primární IP adresy Logmanageru můžete jednoduše upravit A záznam na DNS.
• Windows registry jsou využity k ukládání konfigurace a možné změně různých nastavení:
  • dns_override_host: DNS SRV override
  • dns_prefix: DNS SRV prefix override
  • log_level: Klíče registru Windows

Pokud provedete jakoukoliv změnu nastavení přes registry, je potřeba služby logmanager-orchestrator-service restartovat.

• Windows 10
• Windows 11
• Windows Server 2012 R2
• Windows Server 2016
• Windows Server 2019
• Windows Server 2022

Podporovány jsou pouze operační systémy Windows založené na 64bitové architektuře.

Zde nejsou specifické požadavky pro chod aplikace, kromě splnění základního předpokladu, a to otevřené komunikace mezi agenty a Logmanagerem. Nahlédněte do komunikační matice Logmanager v oficiální dokumentaci: Komunikační matice Logmanageru

DNS SRV záznamy byste měli mít nastavené, nicméně jejich konfiguraci můžete přeskočit a pokračovat konfigurací pomocí změn hodnot v registrech operačního systému, vice zde: DNS SRV override

Pro zajištění co nejjednodušší konfigurace koncových stanic/serverů Orchestrator agent zjišťuje adresu Logmanageru pomocí DNS.

IP adresa Logmanager serveru je automaticky zjišťována pomocí DNS SRV dotazu v následujícím formátu:

_logmanager._tcp.<example-domain>

K tomuto nastavení použijte pouze hostname (A záznam). Pokud nakonfigurujete SRV záznam s IP adresou namísto s hostname, agent nebude schopný zahájit komunikaci s Logmanagerem. Ujistěte se tedy, že váš Logmanager má správně nastavené hostname, které je ze sítě dosažitelné.

Pro přidání A záznamu jděte do vašeho Windows DNS serveru a otevřete DNS manager:

1. V levém seznamu vyberte Server ‣ Forward Lookup Zones.
2. Klikněte pravým na <Your_Domain_Name>
3. Klikněte na New Host (A or AAAA)…
4. Vyplňte pole Name
5. Vyplňte IP Address IP adresou Logmanageru.
6. Klikněte na Add Host.

SRV záznam musí mít následující cestu:

_logmanager._tcp.<example-domain>

Pro přidání SRV záznamu jděte do vašeho Windows DNS serveru a otevřete DNS manager.

1. V levém seznamu vyberte Server ‣ Forward Lookup Zones ‣ Název vaší domény.
2. Klikněte pravým na _tcp.
3. Klikněte na Other New Records ‣ Service Location (SRV) ‣ Create Record.

Vyplňte tabulku s následujícími hodnotami:

• service: _logmanager
• protocol: _tcp
• priority, více informací zde: DNS Failover
• port number: podívejte se na poznámky uvedené níže
• host offering this service: <hostname (A záznam) vašeho Logmanageru končící “.”(tečkou)!>

Případné číslo portu v SRV záznamu nebude mít efekt na komunikace agenta. Ten je naprogramovaný tak, aby ke komunikaci s Logmanagerem používal výhradně port 5044. Pro starého (WES) agenta můžete port změnit na 20514 nebo 20515 (pro SSL), ale pokud neplánujete využívat starou verzi, nemusíte port nastavovat.

Spusťte následující příkazy v příkazovém řádku Windows:

nslookup
set type=srv
_logmanager._tcp.<name of your AD domain>

Ukázka příkazu s odpovědí:

> set type=srv
> _logmanager._tcp.example.ad
Server: Unknown
Address: 192.0.2.40

_logmanager._tcp.example.ad
  SRV service location:
   priority       = 0
   weight         = 0
   port           = 20514
   srv hostname   = logmanager.example.ad

“SRV hostname” je IP adresa, na kterou budou zasílány logy + adresa, proti které bude prováděna kontrola na novější verze Logmanager Orchestratoru.

Pomocí DNS SRV záznamu můžeme také nakonfigurovat DNS failover pro agenta. V případě, že bude primární Logmanager nedostupný, může být využitý Logmanager sekundární. Toto řešení pochopitelně dává smysl tam, kde provozujete minimálně 2 instance Logmanager severu.

Pro nastavení DNS failoveru jednoduše přidejte další SRV záznam s příslušnou prioritou a váhou (priority, weight).

• Nižší priorita = lepší
• Vyšší váha = lepší

Pro příklad, správně nastavený DNS failover vypadá následovně:

• Primární SRV záznam. Hostname: logmanager.example.ad, priority: 0, weight: 100.
• Sekundární SRV záznam. Hostname: logmanager2.example.ad, priority: 0, weight: 0.

Primární záznam SRV bude kontaktován jako první – priority jsou stejné, ale primární záznam SRV má vyšší váhu než sekundární.

Ve specifických případech možná budete chtít oddělit API komunikaci Orchestratoru od webové rozhraní Logmanageru. Orchestrator API standardně používá port 443, který je stejný jako webové rozhraní Logmanageru, z tohoto důvodu budou mít koncové body s nainstalovaným Orchestratorem také přístup k webové rozhraní Logmanageru. Pokud potřebujete omezit přístup k webové rozhraní Logmanageru, můžete použít alternativní Orchestrator API port 8444, ke kterému mají přístup pouze koncové Orchestratory.

Nebo manuálně pomocí nástroje Windows Registry (regedit) - Klíče registru Windows

Stažení instalačního souboru je dostupné v menu Zdroje ‣ Beat globální konfigurace. Zde můžete stáhnout aktuální verzi Logmanager Orchestratoru. Více informací naleznete zde: Beat globální konfigurace

Orchestrator může být nainstalovaný mnoha způsoby, níže jsou popsány.

1. Na libovolném File serveru vytvoříme složku (např. D:\Logmanager) a zapneme na ní sdílení (např. pod názvem LM$).
   • Práva pro zabezpečení složky i pravidla pro sdílení je nutné nastavit na read pro authenticated users nebo pro everyone.
   • Do vytvořené složky nakopírujeme instalační MSI balíček Orchestrator agenta.
2. Na DC Vytvoříme Group Policy Objekt s názvem Instalace Logmanager a nalinkujeme jej na OU, které obsahuje počítače, na kterých má být Orchestrator agent nainstalován.
   • Na nově vytvořenou GPO klikneme pravým tlačítkem myši a zvolíme Edit.
   • V editaci GPO najdeme složku Computer Configuration\Policies\Software Settings\Software Installation.
   • Klikneme pravým tlačítkem a vybereme možnost “New > Package”, zadáme cestu k MSI balíčku v UNC formátu. (e.g. \\servername\LM$\Logmanager-orchestrator-installator.msi).

     Název souboru nesmí obsahovat mezery!!!

   • Možnost Deploy Software v následném dialogu nastavíme na Assigned.
3. Po správném nastavení GPO politik by měl být agent nainstalován na příslušné stanice/servery. Instalaci můžete vyvolat ručně pomocí příkazu gpupdate /force – tento příkaz vynutí na klientském zařízení Windows aktualizaci GPO politik.

Pokud z nějakých důvodů nejste schopni nainstalovat agenta standardní cestou, zkuste spustit instalaci skrze CMD (příkazový řádek) s administrátorskými právy:

1. Spusťte příkazový řádek Windows s administrátorskými právy:
   • Vyhledejte CMD.exe ‣ Klik pravým tlačítkem myši ‣ Spustit jako správce
2. Jděte do složky, kde máte MSI balíček:
   • cd <cesta_k_balíčku>
   • Příklad: C:\Instalační:adresář\Agent\Logmanager-orchestrator-service-installer.msi
3. Spusťte MSI balíček vypsáním celého jména balíčku, včetně přípony a potvrďte klávesou enter.
4. Pokračujte v instalačním procesu.

Pokud chcete balíček MSI nainstalovat tiše (bez uživatelského rozhraní), můžete postupovat následovně:

1. Otevřete příkazový řádek s právy správce:
   • Vyhledejte CMD.exe ‣ kliknout pravým tlačítkem myši ‣ spustit jako správce.
2. Run:
   • Bez přihlášení: msiexec /i <cesta_k_msi_souboru> /quiet
   • S přihlášením: msiexec /i <cesta_k_msi_souboru> /quiet /l*v <cesta_a_název_log_souboru>

Příklad:

cd C:\Installation_Dir\Agent\
msiexec /i logmanager-orchestrator-service-installer.msi /quiet /l*v log.txt

Spuštěním tohoto příkazu nainstalujete Orchestrator bez updateru, přičemž instalační protokol bude vytvořen ve složce C:\Installation_Dir\Agent\.

Chcete-li přepsat výchozí parametry instalace, vytvořte soubor parameters.ini ve stejné složce jako MSI.

Příklad obsahu souboru parameters.ini:

[DNS]
; Use Hostname in case network name resolution is not working.
; Using this parameter during MSI install will set dns_override_host with corresponding value in registry.
; Provided hostname will be checked to make sure it is valid DNS name or IP address.
dns_override_host = logmanager.example.com

; Provide different prefix for SRV record.
; Using this parameter during MSI install will set dns_prefix with corresponding value in registry.
; Provided prefix will be checked to make sure it is valid DNS name.
dns_prefix = logmanager

[Updates]
; Enable or disable Orchestrator auto updates.
; Accepts following values: enabled, disabled
auto_update = enabled

[Network]
; Enable or disable Orchestrator alternative API port 8444.
; Accepts following values: enabled, disabled
alternative_api_port = disabled

Výše je uvedený pouze ukázkový příklad. Při slepém zkopírovíní hodnot pravděpodobně dojde k chybě. Používejte tak jen parametry, které skutečně potřebujete.

Několik vysvětlení týkajících se souboru parameters.ini:

• Musí být ve stejné složce jako MSI - pokud není přítomen, MSI použije výchozí hodnoty.
• Lze jej použít pouze u následujících typů instalace: tichá a GPO.
• Komentáře začínají ; (středník).
• Parametry se zadávají ve formátu key = value nebo key=value (bez mezer).
• Jsou povoleny pouze tyto parametry:
• • dns_override_host - odkaz na: DNS SRV override
• • dns_prefix - odkaz na: DNS SRV prefix override
• • auto_update - odkaz na: Auto Updates
• • alternative_api_port - přejděte na: Alternative API Port
• Jakýkoli další parametr, který přidáte do tohoto souboru, bude přeskočen.

Soubor parameters.ini nebude při instalaci uživatelského rozhraní fungovat! Chcete-li jej využít, zvolte buď tichou (Quiet Installation), nebo GPO instalaci (GPO Installation).

C:\ProgramFiles\Logmanager\
	- logmanager-orchestrator-service.exe
	- logmanager-orchestrator-updater.exe
	- beats\
		- filebeat\
			- data\
			- logs\
				- Filebeat
				- Filebeat.1
			- LICENSE
			- filebeat.exe
			- filebeat.yml
		- winlogbeat\
			- data\
			- logs\
				- winlogbeat
				- winlogbeat.1
			- LICENSE
			- winlogbeat.exe
			- winlogbeat.yml

Logmanager Orchestrator využívá Windows registry k ukládání konfigurace.

Cesta ve Windows registrech: HKEY_LOCAL_MACHINE\SOFTWARE\Sirwisa\Logmanager Orchestrator

• uuid: Klientem vygenerované ID.

• assigned_id: Serverem vygenerované ID – toto ID je v budoucnu použito pro API komunikaci.

• agent_check_inverval: Serverem stanovený časový interval, určující, jak často se klient bude synchronizovat s Logmanagerem. Výchozí hodnota je 3600 vteřin (1 hodina).

• log_level: Určuje, jakou úroveň logování agent použije: debug ‣ info ‣ warning ‣ error. Ve výchozím stavu je nastavené info.

• validate_server_certificate: Určuje, zda má Orchestrator ověřovat ceritifkát na straně Logmanageru. Tuto možnost můžeme nastavit i z GUI: Beat globální konfigurace

• (Optional) alternative_api_port: Nastavte na “enabled” pro použití alternativního API portu 8444 (výchozí hodnota: “disabled”).

• (Optional) dns_override_host: Specifikace jména či adresy Logmanageru, kam bude klient odesílat logy (výchozí: _logmanager._tcp.<example-domain).

• (Optional) dns_prefix: Jaká služba by měla být vyhledána při zjišťování DNS (výchozí: logmanager).

Pouze následující hodnoty mohou být změněny uživatelem: log:level, dns_override_host, dns_prefix.

Výchozí úroveň logování (info) je dostatečná pro většinu nasazení a diagnostické účely. S nastavením na úroveň Debug buďte opatrní – jeho aplikace způsobí sběr a odesílání velkého množství logů, které pro vás nemusí být ani relevantní.

Pokud provedete jakoukoliv změnu nastavení přes registry, je potřeba služby logmanager-orchestrator-service restartovat.

Pokud z nějakého důvodu nechcete (nebo nemůžete), aby klient IP adresu Logmanageru zjišťoval pomocí DNS SRV záznamu, můžete přepsat výchozí chování agenta nastavením příslušného klíče registru.

Ve výchozím stavu se agent pokusí získat DNS SRV záznam následujícím: _logmanager._tcp.<example-doména>.

Změnu provedete tak, že přidáte dns_override_host hodnotu s A záznamem Logmanageru:

1. Spusťte Editor registru (regedit.exe).
2. Jděte do HKEY_LOCAL_MACHINE\SOFTWARE\Sirwisa\Logmanager Orchestrator.
3. Pravý klik ‣ Nový ‣ Řetězcová hodnota:
   • Název klíče: dns_override_host
   • Údaj hodnoty: <Hostname A record>
4. Restartujte službu logmanager-orchestrator-service.

Nastavení dns_override_host přinutí agenta komunikovat s vámi preferovaným Logmanagerem, namísto zjištění adresy/jména pomocí DSN SRV záznamu.

Pomocí klíčů registrů systému Windows také můžete nakonfigurovat výchozí DNS SRV prefix.

Jak je uvedeno v DNS SRV override, ve výchozím nastavení se agent pokusí přeložit záznam DNS SRV s předponou: _logmanager. Toto chování můžete změnit:

1. Spusťte Editor registru (regedit.exe).
2. Jděte do HKEY_LOCAL_MACHINE\SOFTWARE\Sirwisa\Logmanager Orchestrator.
3. Pravý klik ‣ Nový ‣ Řetězcová hodnota:
   • Název klíče: dns_prefix
   • Údaj hodnoty: <nové prefix jméno, bez podtržítka “_”>
4. Restartujte službu logmanager-orchestrator-service.

Tato změna přinutí agenta provést překlad DNS SRV s novou předponou. Například:

Výchozí: _logmanager._tcp.example.ad
Nový: _prefix-logmanager._tcp.example.ad

Informace týkající se agenta jsou logovány do kanálu aplikace (Prohlížeč událostí ‣ Protokoly systému Windows ‣ Aplikace) s ID události 1 a Zdrojem Logmanager Orchestrator. Nejčastější problémy jsou:

• Nedaří se registrovat agenta – nejčastěji způsobeno chybou v komunikaci, například špatně nakonfigurovaný DNS SRV záznam. Zkontrolujte, zda máte otevřenou komunikaci mezi klienty a Logmanagerem - Komunikační matice Logmanageru a zda je DNS SRV záznam zjistitelný přes DNS, nebo zda je nastavena hodnota dns_override_host.
• Services installation failure – Zkuste spustit instalační balíček ručně pomocí CMD. Více naleznete zde: Manuální instalace
• Logy specifické pro agenta jsou k dispozici v následující složce: C:\ProgramFiles\Logmanager\Beats<agent_name>\Logs.

Pokud nebyla instalace úspěšná, zkontrolujte prosím systémový log v Prohlížeči událostí konkrétního serveru/počítače.

Pokud instalace selže s chybou 1274 nebo 1612, má server/počítač problém s přístupem na sdílenou složku:

• To může být způsobeno nesprávným nastavením přístupových práv. Instalace software pomocí GPO je prováděna uživatelem SYSTEM, ujistěte se, že je složka pro něj dostupná.
• Ke spuštění instalace může dojít v době, kdy není dostupná síť – v takovém případě nelze získat instalační balíček. Pro předejití této komplikace nastavte následující GPO politiku: Konfigurace počítače/Šablony pro správu/Systém/Přihlášení/Při spouštění a přihlašování počítače vždy počkat na síť. (Computer Configuration/Administrative Templates/System/Logon/Always wait for network).
• Také byste se měli přesvědčit, že má server/počítač dostatek času při bootování pro instalaci pomocí GPO. Nastavte následující politiku v GPO: Konfigurace počítače/Šablony pro správu/Systém/Zásady skupiny/Zadat dobu pro čekání pro zpracování zásad při spuštění + přiměřené množství času (např. 45 vteřin).

Pokud instalace skončí s chybou 1001, je nezbytné jí spustit s administrátorským oprávněním.

Pokud máte problémy se síťovým připojením mezi svým agentem a LM, můžete použít následující příkaz k otestování konektivity.

logmanager-orchestrator-service.exe ping <host>:port

Port musí být specifikován, ale Host je volitelný - v případě, že není poskytnut, Ping získá IP adresu LM záznamem DNS SRV nebo ji vezme z registru, pokud je nastaven klíč dns_override_host.

Příklad:

C:\Program Files\LOGmanager>logmanager-orchestrator-service.exe ping 8443
2023/08/21 14:13:15 Info: Resolving logmanager host - using host from registry: 192.168.0.192
Port is OPENED

Pokud zadaný host nebo port není dostupný, příkaz Ping se pokusí zjistit a vypsat možný důvod.

Od verze 3.9.8 jsme sloučili dva soubory MSI, které jsme měli dříve (standardní Logmanager Orchestrator a Logmanager Orchestrator bez automatické aktualizace), do jednoho. Nyní namísto výběru jednoho nebo druhého MSI v závislosti na použití, budete během instalace vyzváni, zda chcete z instalace vyloučit binární soubor updateru - například pokud si přejete zakázat automatické aktualizace na konkrétním počítači/serveru, na který Logmanager Orchestrator instalujete.