weiterleiten von logfiles, jedoch ohne Einträge in message

This is a German-language forum for those that prefer this language. For broader audience (and quicker replies) post to the English forums if you feel comfortable enough with that.

Dies ist ein deutschsprachiges rsyslog Forum. Hier gibt es keine weitere Unterteilung wie in den Englischen Foren. Wer sich bei Deutsch wohler fühlt, der Poste hier. Man bedanke aber, das Antworten hier ob der geringeren Teilnehmerzahl länger dauern können.

Google Ads


weiterleiten von logfiles, jedoch ohne Einträge in message

Postby StefanS » Mon Dec 09, 2013 2:23 pm

Hallo,
ich leite aktuell etliche logfiles zum zentralen logserver weiter.
Jedoch werden auch die selben Infos noch lokal in message.log eingebunden.

Beispiel einer Logdatei die weiter geleteit wird

# Suricata Serrig_intern http
$InputFileName /nsm/sensor_data/Serrig-intern/http.log
$InputFileTag suri-http:
$InputFileStateFile stat-dns-serrig-int
$InputRunFileMonitor

Wie kann ich verhindern das die Infos von http.log im lokalen message.log erscheinen ?

Danke für jede Hilfe
Stefan
StefanS
Avarage
 
Posts: 10
Joined: Mon Dec 09, 2013 10:36 am

Urgent Question?

  • Pulling out your Hair?
  • Wasting Time and Money?
  • Deadline Approaching?

Re: weiterleiten von logfiles, jedoch ohne Einträge in messa

Postby rgerhards » Mon Dec 09, 2013 2:26 pm

Beispielsweise die nachrichtnach dem weiterleiten Löschen. In den aktuellen versionen z.B. so

action(type="omfwd" target="..." ...)
stop
rgerhards
Site Admin
 
Posts: 3806
Joined: Thu Feb 13, 2003 11:57 am

Re: weiterleiten von logfiles, jedoch ohne Einträge in messa

Postby StefanS » Mon Dec 09, 2013 3:01 pm

und bei der 5er Version geht das auch so ?
StefanS
Avarage
 
Posts: 10
Joined: Mon Dec 09, 2013 10:36 am

Re: weiterleiten von logfiles, jedoch ohne Einträge in messa

Postby rgerhards » Mon Dec 09, 2013 3:02 pm

oh jeh, alter kram...

im prinzip aber ja,

*.* @@target
& ~

Das "& ~" ist eine Chain, die ein stop (hier: discard action) enthält.
rgerhards
Site Admin
 
Posts: 3806
Joined: Thu Feb 13, 2003 11:57 am

Re: weiterleiten von logfiles, jedoch ohne Einträge in messa

Postby StefanS » Mon Dec 09, 2013 3:41 pm

Irgendwie will mir das nicht richtig gelingen.
Kannst du bitte noch mal drüber schauen, danke.

# rsyslog v5 configuration file

# For more information see /usr/share/doc/rsyslog-*/rsyslog_conf.html
# If you experience problems, see http://www.rsyslog.com/doc/troubleshoot.html

#### MODULES ####

$ModLoad imuxsock # provides support for local system logging (e.g. via logger command)
$ModLoad imklog # provides kernel logging support (previously done by rklogd)
#$ModLoad immark # provides --MARK-- message capability
$ModLoad imfile # Load the imfile input module

# Provides UDP syslog reception
#$ModLoad imudp
#$UDPServerRun 514

# Provides TCP syslog reception
#$ModLoad imtcp
#$InputTCPServerRun 514


#### GLOBAL DIRECTIVES ####

# Use default timestamp format
$ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat

# File syncing capability is disabled by default. This feature is usually not required,
# not useful and an extreme performance hit
#$ActionFileEnableSync on

# Include all config files in /etc/rsyslog.d/
$IncludeConfig /etc/rsyslog.d/*.conf


#### RULES ####

# *.* @192.168.1.95

# Log all kernel messages to the console.
# Logging much else clutters up the screen.
#kern.* /dev/console

# Log anything (except mail) of level info or higher.
# Don't log private authentication messages!
*.info;mail.none;authpriv.none;cron.none /var/log/messages

# The authpriv file has restricted access.
authpriv.* /var/log/secure

# Log all the mail messages in one place.
mail.* -/var/log/maillog

# Log cron stuff
cron.* /var/log/cron

# Everybody gets emergency messages
*.emerg *

# Save news errors of level crit and higher in a special file.
uucp,news.crit /var/log/spooler

# Save boot messages also to boot.log
local7.* /var/log/boot.log

# ### begin forwarding rule ###
# The statement between the begin ... end define a SINGLE forwarding
# rule. They belong together, do NOT split them. If you create multiple
# forwarding rules, duplicate the whole block!
# Remote Logging (we use TCP for reliable delivery)
#
# An on-disk queue is created for this action. If the remote host is
# down, messages are spooled to disk and sent when it is up again.
#$WorkDirectory /var/lib/rsyslog # where to place spool files
#$ActionQueueFileName fwdRule1 # unique name prefix for spool files
#$ActionQueueMaxDiskSpace 1g # 1gb space limit (use as much as possible)
#$ActionQueueSaveOnShutdown on # save messages to disk on shutdown
#$ActionQueueType LinkedList # run asynchronously
#$ActionResumeRetryCount -1 # infinite retries if host is down
# remote host is: name/ip:port, e.g. 192.168.0.1:514, port optional
#*.* @@remote-host:514
# ### end of the forwarding rule ###

# Suricata Serrig_intern http
$InputFileName /nsm/sensor_data/Serrig-intern/http.log
$InputFileTag suri-http:
$InputFileStateFile stat-http-serrig-int
$InputFileSeverity info
$InputFileFacility local7
$InputFilePollInterval 1
$InputFilePersistStateInterval 1
$InputRunFileMonitor

# Suricata Serrig_intern dns
$InputFileName /nsm/sensor_data/Serrig-intern/http.log
$InputFileTag suri-dns:
$InputFileStateFile stat-dns-serrig-int
$InputFileSeverity info
$InputFileFacility local7
$InputFilePollInterval 1
$InputFilePersistStateInterval 1
$InputRunFileMonitor

# Suricata Serrig_DMZ http
$InputFileName /nsm/sensor_data/Serrig-DMZ/http.log
$InputFileTag suri-http:
$InputFileStateFile stat-http-serrig-dmz
$InputFileSeverity info
$InputFileFacility local7
$InputFilePollInterval 1
$InputFilePersistStateInterval 1
$InputRunFileMonitor

# Suricata Serrig_DMZ dns
$InputFileName /nsm/sensor_data/Serrig-DMZ/dns.log
$InputFileTag suri-dns:
$InputFileStateFile stat-dns-serrig-dmz
$InputFileSeverity info
$InputFileFacility local7
$InputFilePollInterval 1
$InputFilePersistStateInterval 1
$InputRunFileMonitor

*.* @192.168.1.95
& ~
StefanS
Avarage
 
Posts: 10
Joined: Mon Dec 09, 2013 10:36 am

Re: weiterleiten von logfiles, jedoch ohne Einträge in messa

Postby rgerhards » Mon Dec 09, 2013 3:51 pm

ach ok, das ist nicht in einem eigenen ruleset (vielleicth ging das bei der Version auch noch nicht). Hier ist erst mal die doc zu den rulesets:

http://www.rsyslog.com/doc/multi_ruleset.html

das ist die beste methode.

Ansonsten muss man die forward action GANZ NACH OBEN holen (denn sonst wird ja schon lokal geschrieben). Man muss dann aber beispielsweise das tag abfragen, so ähnlich:

:syslogtag, isequal, "mytag" @@target
& ~

(da können noch syntaxfehler drin sein). Damit läuft es dann auch in der alten version.
rgerhards
Site Admin
 
Posts: 3806
Joined: Thu Feb 13, 2003 11:57 am

Re: weiterleiten von logfiles, jedoch ohne Einträge in messa

Postby StefanS » Tue Dec 10, 2013 2:08 pm

Danke dir das hat prima funktioniert, habe nun ein anderes Problemchen.

# Suricata Serrig_DMZ dns
$InputFileName /nsm/sensor_data/Serrig-DMZ/dns.log
$InputFileTag suri-dns:
$InputFileStateFile stat-dns-serrig-dmz
$InputFileSeverity info
$InputFileFacility local7
$InputFilePollInterval 1
$InputFilePersistStateInterval 1
$InputRunFileMonitor

klappt soweit super jedoch nach dem restart vom Programm das z.B. dns.log generiert (neues wird dann erstellt),
werden vom rsyslog keine Daten mehr von diesen Files übertragen.

Was kann ich hier tun ?
StefanS
Avarage
 
Posts: 10
Joined: Mon Dec 09, 2013 10:36 am

Re: weiterleiten von logfiles, jedoch ohne Einträge in messa

Postby rgerhards » Tue Dec 10, 2013 3:02 pm

Ich befürchte, der erzeugt keine neue Datei, sondern überschreibt die alte. Dann kann man eigentlich nichts tun (oder: im Zuge des restart die Datei mittels script löschen). Ansonsten sollte es gehen, wobei Deine Version eben eine sehr alte ist...
rgerhards
Site Admin
 
Posts: 3806
Joined: Thu Feb 13, 2003 11:57 am

Re: weiterleiten von logfiles, jedoch ohne Einträge in messa

Postby StefanS » Tue Dec 10, 2013 3:07 pm

Deine befürchtungen sind richtig das die alte übeschrieben werden.
Werde mal als nächsten Schritt von v5.8 nach v7.x gehen ev. wird das verhalten dann besser, ansonsten lösche ich halt die Datei beim restart.

Danke noch ml für die Tipps
Last edited by StefanS on Tue Dec 10, 2013 3:10 pm, edited 1 time in total.
StefanS
Avarage
 
Posts: 10
Joined: Mon Dec 09, 2013 10:36 am

Re: weiterleiten von logfiles, jedoch ohne Einträge in messa

Postby rgerhards » Tue Dec 10, 2013 3:09 pm

überschreiben ist leider auch in v7 ein Problem. Da hatten wir mal massive Probleme mit, da gibt es sehr ungute Race-Bedingungen. Im Endeffekt waren wir gezwungen, den Support dafür raus zu nehmen -- weil es einfach nicht zuverlässig lief...
rgerhards
Site Admin
 
Posts: 3806
Joined: Thu Feb 13, 2003 11:57 am

Re: weiterleiten von logfiles, jedoch ohne Einträge in messa

Postby StefanS » Tue Dec 10, 2013 3:11 pm

OK, ist das überschreiben generell ein Problem oder habt ihr das mit v8 im Griff ?
StefanS
Avarage
 
Posts: 10
Joined: Mon Dec 09, 2013 10:36 am

Re: weiterleiten von logfiles, jedoch ohne Einträge in messa

Postby rgerhards » Tue Dec 10, 2013 3:32 pm

In v8 werde ich es evtl. nochmal versuchen, aber das Problem geht sehr tief ins Betriebssystem hinein. Ich bekomme nicht mit, wenn die Datei einfach wieder "zurück gesetzt wird" (also zum überschreiben). Also muss ich Dateigrößen vergleichen. Da kommte es aber aufs Scheduling im Kernel an, und oft genug geht das in die Hose. Wir hatten z.B. Fälle, wo die Datei gleich vielfach (nicht nur 2 mal) gesendet wurde, und das bei sehr großen Dateien :-(.

Ist also in der Tat recht problematisch. Löschen ist kein Problem, inode-change bekommen wir problemos und sicher mit...
rgerhards
Site Admin
 
Posts: 3806
Joined: Thu Feb 13, 2003 11:57 am

Re: weiterleiten von logfiles, jedoch ohne Einträge in messa

Postby StefanS » Wed Dec 11, 2013 4:18 pm

Hallo,
obwohl alle Dateien beim neustart glöscht werden, werden nur sporadisch änderungen aus diesen Dateien übetragen (es läuft letzte v7 stabel).

Sieht du hier einen Fehler ?
Danke für deine Hilfe

# Suricata Serrig_intern http
$InputFileName /nsm/sensor_data/Serrig-intern/http.log
$InputFileTag suricata-http:
$InputFileStateFile stat-http-serrig-int
$InputFileSeverity info
$InputFileFacility local7
$InputFilePollInterval 1
# $InputFilePersistStateInterval 1
$InputRunFileMonitor

# Suricata Serrig_intern dns
$InputFileName /nsm/sensor_data/Serrig-intern/dns.log
$InputFileTag suricata-dns:
$InputFileStateFile stat-dns-serrig-int
$InputFileSeverity info
$InputFileFacility local7
$InputFilePollInterval 1
$InputFilePersistStateInterval 1
$InputRunFileMonitor

# Suricata Serrig_intern alert
$InputFileName /nsm/sensor_data/Serrig-intern/fast.log
$InputFileTag suricata-alert:
$InputFileStateFile stat-alert-serrig-int
$InputFileSeverity info
$InputFileFacility local7
$InputFilePollInterval 1
$InputFilePersistStateInterval 1
$InputRunFileMonitor

# Suricata Serrig_DMZ http
$InputFileName /nsm/sensor_data/Serrig-DMZ/http.log
$InputFileTag suricata-http:
$InputFileStateFile stat-http-serrig-dmz
$InputFileSeverity info
$InputFileFacility local7
$InputFilePollInterval 1
$InputFilePersistStateInterval 1
$InputRunFileMonitor

# Suricata Serrig_DMZ dns
$InputFileName /nsm/sensor_data/Serrig-DMZ/dns.log
$InputFileTag suricata-dns:
$InputFileStateFile stat-dns-serrig-dmz
$InputFileSeverity info
$InputFileFacility local7
$InputFilePollInterval 1
$InputFilePersistStateInterval 1
$InputRunFileMonitor

# Suricata Serrig_DMZ alert
$InputFileName /nsm/sensor_data/Serrig-DMZ/fast.log
$InputFileTag suricata-alert:
$InputFileStateFile stat-alert-serrig-dmz
$InputFileSeverity info
$InputFileFacility local7
$InputFilePollInterval 1
$InputFilePersistStateInterval 1
$InputRunFileMonitor

if $syslogtag contains ['suricata-','snort['] then {
action(type="omfwd" target="192.168.1.95" Port="514" Protocol="udp")
stop
}
StefanS
Avarage
 
Posts: 10
Joined: Mon Dec 09, 2013 10:36 am

Re: weiterleiten von logfiles, jedoch ohne Einträge in messa

Postby StefanS » Wed Dec 11, 2013 5:03 pm

Was ich sagen kann ist das nach dem neustart vom rsyslog das verhalten besser wurde.
StefanS
Avarage
 
Posts: 10
Joined: Mon Dec 09, 2013 10:36 am

Google Ads



Return to Deutsches rsyslog Forum

Who is online

Users browsing this forum: No registered users and 0 guests

cron