5 ievērojamākie atklātā pirmkoda centralizētie žurnālu pārvaldības rīki


Centralizētā mežizstrāde, tāpat kā drošība, ir galvenais IT infrastruktūras, tostarp tīmekļa lietojumprogrammu un aparatūras ierīču, galveno resursu uzraudzības un pareizas pārvaldības aspekts. Kompetentām operāciju komandām vienmēr ir izveidota žurnāla uzraudzības un pārvaldības sistēma, kas izrādās izdevīga, jo īpaši, ja rodas sistēmas kļūme vai lietojumprogramma rīkojas dīvaini.

Kad sistēmas avārijas vai lietojumprogrammu darbības traucējumi, kā tas dažreiz notiks, jums ir jāiet pie lietas būtības un jāatklāj kļūmes cēlonis. Žurnālfaili reģistrē sistēmas darbību un sniedz ieskatu par iespējamiem kļūdu un turpmāku kļūmju avotiem. Tie sniedz sarežģītu notikumu secību, ieskaitot detalizētu laika zīmogu, kas izraisīja vai izraisīja incidentu.

Neatļautas pieteikšanās, kas norāda uz drošības pārkāpumu. Tas var palīdzēt datu bāzes administratoriem pielāgot savu datu bāzi optimālai veiktspējai, kā arī palīdzēt izstrādātājiem novērst ar lietojumprogrammām saistītas problēmas un uzrakstīt labāku kodu.

Žurnālfailu pārvaldīšana un analizēšana no viena vai diviem serveriem varētu būt vienkāršs uzdevums. To nevar teikt par uzņēmuma vidi ar desmitiem serveru. Šī iemesla dēļ visvairāk ieteicams veikt centralizētu mežizstrādi. Centralizēta reģistrēšana apvieno žurnālu failus no visām sistēmām vienā veltītā serverī, lai ērti pārvaldītu žurnālus. Tas ietaupa laiku un enerģiju, kas būtu izmantota, reģistrējoties un analizējot atsevišķu sistēmu žurnālfailus.

Šajā ceļvedī mēs piedāvājam dažas no ievērojamākajām atvērtā koda centralizētajām mežizstrādes pārvaldības sistēmām Linux.

1. Elastīgā kaudze (Elasticsearch Logstash & Kibana)

Elastīgā kaudze, ko parasti saīsina kā ELK, ir populārs trīs vienā žurnālu centralizācijas, parsēšanas un vizualizācijas rīks, kas vienā serverī centralizē lielas datu kopas un žurnālus no vairākiem serveriem.

ELK kaudze sastāv no 3 dažādiem produktiem:

Logstash ir bezmaksas un atvērtā koda datu cauruļvads, kas apkopo žurnālus un notikumu datus un pat apstrādā un pārveido datus vēlamajā izvadā. Dati tiek nosūtīti uz logstash no attāliem serveriem, izmantojot aģentus, kurus sauc par “beats”. ‘Beats’ nogādā milzīgu daudzumu sistēmas metrikas un žurnālu uz Logstash, pēc tam tie tiek apstrādāti. Pēc tam dati tiek padoti Elasticsearch.

Pamatojoties uz Apache Lucene, Elasticsearch ir atvērtā koda un izplatīts meklēšanas un analīzes dzinējs gandrīz visu veidu datiem - gan strukturētiem, gan nestrukturētiem. Tas ietver tekstuālos, skaitliskos un ģeotelpiskos datus.

Tas pirmo reizi tika izlaists 2010. gadā. Elasticsearch ir ELK kaudzes centrālā sastāvdaļa, un tā ir slavena ar ātrumu, mērogojamību un REST API. Tajā tiek glabāti, indeksēti un analizēti milzīgi datu apjomi, kas pārsūtīti no Logstash.

Dati beidzot tiek pārsūtīti uz Kibana, kas ir WebUI vizualizācijas platforma, kas darbojas līdzās Elasticsearch. Kibana ļauj jums izpētīt un vizualizēt laika rindu datus un žurnālus no elasticsearch. Tas vizualizē datus un žurnālus intuitīvajos informācijas paneļos, kas izpaužas dažādos veidos, piemēram, joslu diagrammās, sektoru diagrammās, histogrammās utt.

2. Graylog

Graylog ir vēl viens populārs un spēcīgs centralizēts žurnālu pārvaldības rīks, kas nāk gan ar atvērtā koda, gan uzņēmuma plāniem. Tas pieņem datus no klientiem, kas instalēti vairākos mezglos, un, tāpat kā Kibana, vizualizē datus tīmekļa paneļa paneļos.

Graylogs spēlē monumentālu lomu uzņēmējdarbības lēmumu pieņemšanā, pieskaroties tīmekļa lietojumprogrammas lietotāju mijiedarbībai. Tas apkopo svarīgu analīzi par lietotņu darbību un vizualizē datus dažādos grafikos, piemēram, joslu diagrammās, sektoru diagrammās un histogrammās, lai pieminētu dažus. Apkopotie dati informē par galvenajiem biznesa lēmumiem.

Piemēram, jūs varat noteikt pīķa stundas, kad klienti veic pasūtījumus, izmantojot jūsu tīmekļa lietojumprogrammu. Ar šādu ieskatu vadība var pieņemt apzinātus biznesa lēmumus, lai palielinātu ieņēmumus.

Atšķirībā no elastīgās meklēšanas, Graylog piedāvā vienas lietojumprogrammas risinājumu datu vākšanā, parsēšanā un vizualizācijā. Tas atbrīvo nepieciešamību instalēt vairākus komponentus, atšķirībā no ELK kaudzes, kur atsevišķi jāinstalē atsevišķi komponenti. Graylog apkopo un glabā datus MongoDB, kas pēc tam tiek vizualizēts lietotājam draudzīgos un intuitīvajos informācijas paneļos.

Izstrādātāji dažādās lietotņu izvietošanas fāzēs plaši izmanto Graylog, izsekojot tīmekļa lietojumprogrammu stāvokli un iegūstot tādu informāciju kā pieprasījumu laiks, kļūdas utt. Tas viņiem palīdz pārveidot kodu un uzlabot veiktspēju.

3. Fluentd

Rakstīts C, Fluentd ir starpplatformu un opensource žurnālu uzraudzības rīks, kas apvieno žurnālu un datu vākšanu no vairākiem datu avotiem. Tas ir pilnībā atvērts resurss un licencēts saskaņā ar Apache 2.0 licenci. Uzņēmumam ir arī abonēšanas modelis.

Fluentd apstrādā gan strukturētas, gan daļēji strukturētas datu kopas. Tas analizē lietojumprogrammu žurnālus, notikumu žurnālus, klikšķu plūsmas un mēģina būt vienojošs slānis starp dažāda veida žurnālu ievadiem un izvadiem.

Tas strukturē datus JSON formātā, ļaujot nevainojami apvienot visus datu reģistrēšanas aspektus, tostarp žurnālu apkopošanu, filtrēšanu, parsēšanu un izvadīšanu vairākos mezglos.

Fluentd nāk ar nelielu nospiedumu un ir draudzīgs resursiem, tāpēc jums nebūs jāuztraucas par atmiņas trūkumu vai CPU pārmērīgu izmantošanu. Turklāt tā lepojas ar elastīgu spraudņu arhitektūru, kur lietotāji var izmantot vairāk nekā 500 kopienā izstrādātu spraudņu priekšrocības, lai paplašinātu tā funkcionalitāti.

4. LOGalize

tīkla uzraudzības un žurnālu pārvaldības rīks, kas apkopo un parsē žurnālus no tīkla ierīcēm, Linux un Windows saimniekiem. Sākotnēji tas bija komerciāls, bet tagad to var bez maksas lejupielādēt un instalēt bez ierobežojumiem.

LOGalyze ir ideāli piemērots serveru un lietojumprogrammu žurnālu analīzei un parāda tos dažādos pārskatu formātos, piemēram, PDF, CSV un HTML. Tas nodrošina arī plašas meklēšanas iespējas un pakalpojumu reāllaika atklāšanu vairākos mezglos.

Tāpat kā iepriekšminētie žurnāla uzraudzības rīki, LOGalyze nodrošina arī ērtu un vienkāršu tīmekļa saskarni, kas ļauj lietotājiem pieteikties un uzraudzīt dažādus datu avotus un analizēt žurnālfailus.

5. NXlog

NXlog ir vēl viens spēcīgs un daudzpusīgs žurnālu vākšanas un centralizācijas rīks. Tā ir daudzplatformu žurnālu pārvaldības utilīta, kas ir pielāgota politikas pārkāpumu novēršanai, drošības risku identificēšanai un sistēmas, lietojumprogrammu un serveru žurnālu problēmu analizēšanai.

NXlog spēj apkopot notikumu žurnālus no daudziem galapunktiem dažādos formātos, ieskaitot Syslog un Windows notikumu žurnālus. Tas var veikt virkni ar žurnālu saistītu uzdevumu, piemēram, žurnāla pagriešana, žurnāla pārrakstīšana. žurnāla saspiešana un to var konfigurēt arī brīdinājumu sūtīšanai.

NXlog var lejupielādēt divos izdevumos: kopienas izdevumā, kuru var lejupielādēt un izmantot bez maksas, un uzņēmuma izdevumā, kura pamatā ir abonēšana.