Petiti - atvērtā koda žurnālu analīzes rīks Linux SysAdmins


Petit ir bezmaksas un atvērtā koda Cygwin sistēmas, kas paredzētas, lai ātri analizētu žurnāla failus uzņēmuma vidēs.

Tas ir paredzēts, lai ievērotu Unix filozofiju par mazu ātri un viegli lietojamu, un to var izmantot, lai pārbaudītu/atbalstītu dažādus žurnāla failu formātus, tostarp syslog un Apache žurnālfailus.

  • Atbalsta žurnālu analīzi.
  • Automātiski atrod un atbalsta dažādus žurnāla failu formātus (piemēram, Syslog, Apache Access, Apache Error, Snort Log, Linux Secure Log un raw žurnālfailus).
  • Atbalsta žurnāla jaukšanu.
  • Atbalsta komandrindu grafiku.
  • Atbalsta vārdu atrašanu un uzskaiti ar kopējiem pieturas vārdiem žurnāla datos.
  • Atbalsta žurnāla samazināšanu ērtākai lasīšanai.
  • nodrošina dažādus noklusējuma un īpaši izgatavotus filtrus.
  • Atbalsta pirkstu nospiedumus, kas noder, lai identificētu un izslēgtu atsāknēšanas parakstus
  • Piedāvā vairākas izvades iespējas platekrāna spailēm un rakstzīmju izvēlei, kā arī daudz ko citu.

Šajā apmācībā mēs parādīsim, kā Linux instalēt un izmantot Petit žurnālu analīzes rīku, lai dažādos veidos izvilktu noderīgu informāciju no sistēmas žurnāliem.

Kā Linux instalēt un izmantot Petit Log Analysis Tool

Petit var instalēt no noklusējuma Debian/Ubuntu un tā atvasinājumu krātuvēm, izmantojot apt pakotņu pārvaldības rīku, kā parādīts zemāk.

$ sudo apt install petit

RHEL/CentOS/Fedora sistēmās šādi lejupielādējiet un instalējiet .rpm pakotni.

# wget http://crunchtools.com/wp-content/files/petit/petit-current.rpm
# rpm -i petit-current.rpm

Pēc instalēšanas ir pienācis laiks redzēt Petit pamata lietojumu ar piemēriem.

Šī ir vienkārša neliela funkcija - tā apkopo žurnālfailā atklāto līniju skaitu. Tās izlaide sastāv no žurnālā atrasto līdzīgo rindu skaita un grupas kopumā, kā parādīts zemāk.

# petit --hash /var/log/yum.log
OR
# petit --hash --fingerprint /var/log/messages
2:	Mar 18 14:35:54 Installed: libiec61883-1.2.0-4.el6.x86_64
2:	Mar 18 15:25:18 Installed: xorg-x11-drv-i740-1.3.4-11.el6.x86_64
1:	Dec 16 12:36:23 Installed: 5:mutt-1.5.20-7.20091214hg736b6a.el6.x86_64
1:	Dec 16 12:36:22 Installed: mailcap-2.1.31-2.el6.noarch
1:	Dec 16 12:40:49 Installed: mailx-12.4-8.el6_6.x86_64
1:	Dec 16 12:40:20 Installed: man-1.6f-32.el6.x86_64
1:	Dec 16 12:43:33 Installed: sysstat-9.0.4-31.el6.x86_64
1:	Dec 16 12:36:22 Installed: tokyocabinet-1.4.33-6.el6.x86_64
1:	Dec 16 12:36:22 Installed: urlview-0.9-7.el6.x86_64
1:	Dec 16 12:40:19 Installed: xz-4.999.9-0.5.beta.20091007git.el6.x86_64
1:	Dec 16 12:40:19 Installed: xz-lzma-compat-4.999.9-0.5.beta.20091007git.el6.x86_64
1:	Dec 16 12:43:31 Updated: 2:tar-1.23-15.el6_8.x86_64
1:	Dec 16 12:43:31 Updated: procps-3.2.8-36.el6.x86_64
1:	Feb 18 12:40:27 Erased: mysql
1:	Feb 18 12:40:28 Erased: mysql-libs
1:	Feb 18 12:40:22 Installed: MariaDB-client-10.1.21-1.el6.x86_64
1:	Feb 18 12:40:12 Installed: MariaDB-common-10.1.21-1.el6.x86_64
1:	Feb 18 12:40:10 Installed: MariaDB-compat-10.1.21-1.el6.x86_64
1:	Feb 18 12:54:50 Installed: apr-1.3.9-5.el6_2.x86_64
......

Opcijas --daemon izmantošana palīdz izstrādāt pamata atskaiti par līnijām, kuras izveidojis konkrēts sistēmas dēmons, kā parādīts zemāk esošajā piemērā.

# petit --hash --daemon /var/log/syslog
847:	vmunix:
48:	CRON[#]:
30:	dhclient[#]:
26:	nm-dispatcher:
14:	rtkit-daemon[#]:
6:	smartd[#]:
5:	ntfs-#g[#]:
4:	udisksd[#]:
3:	mdm[#]:
2:	ag[#]:
2:	syslogd
1:	cinnamon-killer-daemon:
1:	cinnamon-session[#]:
1:	pulseaudio[#]:

Lai atrastu visu rindu skaitu, ko ģenerējis konkrēts resursdators, izmantojiet karodziņu --host , kā parādīts zemāk. Tas var būt noderīgi, analizējot vairāk nekā viena resursdatora žurnālfailus.

# petit --host /var/log/syslog

999:	tecmint

Šo funkciju izmanto, lai žurnālfailā meklētu un parādītu kvalitatīvi nozīmīgus vārdus.

# petit --wordcount /var/log/syslog
845:	[
97:	[mem
75:	ACPI:
64:	pci
62:	debian-sa#
62:	to
51:	USB
50:	of
49:	device
47:	&&
47:	(root)
47:	CMD
47:	usb
41:	systemd#
36:	ACPI
32:	>
32:	driver
32:	reserved
31:	(comm#
31:	-v

Tas darbojas atslēgu/vērtību joslu diagrammu formātā, lai salīdzinātu sadalījumus, kā parādīts tālāk sniegtajos piemēros.

Lai sistematizētu pirmās 60 sekundes grafikā, izmantojiet karodziņu --sgrapg šādi.

# petit --sgraph /var/log/syslog
#                                                           
#                                                           
#                                                           
#                                                           
#                                                           
############################################################
59                            29                           58 

Start Time:	2017-06-08 09:45:59 		Minimum Value: 0
End Time:	2017-06-08 09:46:58 		Maximum Value: 1
Duration:	60 seconds 			Scale: 0.166666666667

Šis piemērs parāda, kā reģistrēt konkrētu vārdu (piemēram, “dhcp” zemāk esošajā komandā) žurnāla failā.

# cat /var/log/messages | grep error | petit --mgraph
#                        #                          #       
#                        #                          #       
#                        #                          #       
#                        #                          #       
#                        #                          #       
############################################################
10                            40                           09 

Start Time:	2017-06-08 10:10:00 		Minimum Value: 0
End Time:	2017-06-08 11:09:00 		Maximum Value: 2
Duration:	60 minutes 			Scale: 0.333333333333

Turklāt, lai parādītu paraugus katram žurnāla faila ierakstam, izmantojiet šādu opciju –allamples.

# petit --hash --allsample /var/log/syslog

Svarīgi Petit faili:

  • /var/lib/petit/fingerprint_library - izmanto, lai izveidotu pielāgotus pirkstu nospiedumu failus.
  • /var/lib/petit/fingerprints (apkopoti pirkstu nospiedumu faili) - tiek izmantoti, lai filtrētu atkārtotas palaišanas un citus notikumus, kurus sistēmas administrators neuzskata par būtiskiem.
  • /var/lib/petit/filters/

Lai iegūtu papildinformāciju un lietošanas iespējas, izlasiet šo petit man lapu.

# man petit
OR
# petit -h

Petit mājas lapa: http://crunchtools.com/software/petit/

Izlasiet arī šīs noderīgās rokasgrāmatas par žurnāla uzraudzību un pārvaldību Linux:

  1. 4 labi Linux atvērtā pirmkoda žurnālu uzraudzības un pārvaldības rīki
  2. Kā pārvaldīt sistēmas žurnālus (konfigurēt, pagriezt un importēt datu bāzē) operētājsistēmā Linux
  3. Kā iestatīt un pārvaldīt žurnāla pagriešanu, izmantojot Linux programmu Logrotate
  4. Monitorējiet servera žurnālus reāllaikā, izmantojot “Log.io” rīku operētājsistēmā Linux

Jūs varat nosūtīt mums visus jautājumus, izmantojot zemāk esošo atsauksmju veidlapu, vai arī, iespējams, koplietot ar mums informāciju par noderīgiem Linux žurnālu analīzes rīkiem, par kuriem esat dzirdējis vai saskāries.