...Apache e log su db...

ally · **Inviato:** mer nov 23, 2011 9:49 am

...ho la necessità di loggare alcune richieste fatte ad apache su database...avete qualche idea?...

TigerShark · **Inviato:** mer nov 23, 2011 9:51 am

http://lmgtfy.com/?q=apache+db+log

LilithSChild · **Inviato:** mer nov 23, 2011 10:47 am

Sicuro che non esista qualche plugin ad hoc?

ally · **Inviato:** mer nov 23, 2011 11:40 am

TigerShark @ ha scritto:

http://lmgtfy.com/?q=apache+db+log

...si chiaro...mi stavo guardando attorno...sopratutto se qualcuno aveva esperienze in merito...

LilithSChild · **Inviato:** mer nov 23, 2011 11:47 am

Ma i cari buoni vecchi file di log? magari con logrotation > 18 mesi ? :sisi:

ally · **Inviato:** mer nov 23, 2011 11:57 am

LilithSChild @ ha scritto:

Ma i cari buoni vecchi file di log? magari con logrotation > 18 mesi ? :sisi:

...c'è chi ha formattato il file di log in modo da renderlo pari ad una query di inserimento...ma questo implica periodicamente di caricarlo da file al db...con problemi di coerenza dei dati e con discrepanza temporale...preferirei qualcosa di immediato...

LilithSChild · **Inviato:** mer nov 23, 2011 12:03 pm

ally @ ha scritto:

LilithSChild @ ha scritto:

Ma i cari buoni vecchi file di log? magari con logrotation > 18 mesi ? :sisi:

...c'è chi ha formattato il file di log in modo da renderlo pari ad una query di inserimento...ma questo implica periodicamente di caricarlo da file al db...con problemi di coerenza dei dati e con discrepanza temporale...preferirei qualcosa di immediato...

boh più che formattazione del file di log come insert io lo imposterei a mò di file di spool
e poi fare un mini-servizio che prende e inserisce lo spool in tabella dedicata sul db.

così da renderlo indipendente da apache, anche se forse così sarebbe meno portabile.

LilithSChild · **Inviato:** mer nov 23, 2011 12:06 pm

Che poi cercando e trovando questo http://www.talkincode.com/apache-log-fi ... -1130.html

mi è venuto in mente che il nuovo mysql ha la funzione di evento, quindi potresti schedularti una procedura-evento
che ti gira ogni tot e si carica il file su mysql opportunamente formattato.

e poi la notte un job che ti archivia\pulisce i file di log sul web server :sisi:

LilithSChild · **Inviato:** gio nov 24, 2011 5:44 pm

Morto?

ally · **Inviato:** gio nov 24, 2011 5:53 pm

...ho aggiunto un modulo ad apache :

Codice:

libapache2-mod-log-sql-mysql

...creato il db e aggiunto i privilegi...

Codice:

create database apachelogs;
grant insert,create on apachelogs.* to loguser@localhost identified by 'loguser_password';
grant insert,create on apachelogs.* to loguser@localhost.localdomain identified by 'loguser_password';
FLUSH PRIVILEGES;

...e modificato il file /etc/apache2/sites-available/default ...

Codice:

LogSQLLoginInfo mysql://loguser:loguser_password@localhost/apachelogs
LogSQLCreateTables on
LogSQLDBParam socketfile /var/run/mysqld/mysqld.sock
LogSQLTransferLogFormat AbHhmRSsTUuvI

NameVirtualHost *
<VirtualHost *>
        ServerAdmin webmaster@localhost

        DocumentRoot /var/www/web1/web/
        <Directory /var/www/web1/web/>
                Options Indexes MultiViews
                AllowOverride None
                Order allow,deny
                allow from all
        </Directory>

        LogSQLTransferLogTable web1_access_log
</VirtualHost>

...done...

LilithSChild · **Inviato:** gio nov 24, 2011 5:55 pm

il mio metodo è più divertente :yaya:

ally · **Inviato:** gio nov 24, 2011 6:14 pm

LilithSChild @ ha scritto:

il mio metodo è più divertente :yaya:

...il mio è in tempo reale...

ally · **Inviato:** ven nov 25, 2011 3:10 pm

...dopo due giorni di attività posso dire che è meglio evitare...con una media di 20 request/s e punte di 50/60 request/s apache crolla inesroabilmente portando molte richieste in timeout... da attivare solo se necessario...considerando anche che in 24 ore mi ha inserito oltre 1M di row...è un bel giochino di tuning ma da evitare in produzione...

LilithSChild · **Inviato:** ven nov 25, 2011 3:13 pm

ally @ ha scritto:

...dopo due giorni di attività posso dire che è meglio evitare...con una media di 20 request/s e punte di 50/60 request/s apache crolla inesroabilmente portando molte richieste in timeout... da attivare solo se necessario...considerando anche che in 24 ore mi ha inserito oltre 1M di row...è un bel giochino di tuning ma da evitare in produzione...

Comprare macchine decenti

ally · **Inviato:** ven nov 25, 2011 3:32 pm

LilithSChild @ ha scritto:

ally @ ha scritto:

...dopo due giorni di attività posso dire che è meglio evitare...con una media di 20 request/s e punte di 50/60 request/s apache crolla inesroabilmente portando molte richieste in timeout... da attivare solo se necessario...considerando anche che in 24 ore mi ha inserito oltre 1M di row...è un bel giochino di tuning ma da evitare in produzione...

Comprare macchine decenti

...la macchina non è li a grattarsi gli zebedei...e la sua priorità non è loggare minuziosamente il traffico di apache...

LilithSChild · **Inviato:** ven nov 25, 2011 3:34 pm

ally @ ha scritto:

LilithSChild @ ha scritto:

Comprare macchine decenti

...la macchina non è li a grattarsi gli zebedei...e la sua priorità non è loggare minuziosamente il traffico di apache...

Sì ma stavo scherzando, comunque se da che mondo e mondo i log sono su file ci sarà un motivo

ally · **Inviato:** ven nov 25, 2011 3:38 pm

LilithSChild @ ha scritto:

ally @ ha scritto:

...la macchina non è li a grattarsi gli zebedei...e la sua priorità non è loggare minuziosamente il traffico di apache...

Sì ma stavo scherzando, comunque se da che mondo e mondo i log sono su file ci sarà un motivo

...chiaro...

ally · **Inviato:** lun nov 28, 2011 10:51 am

...ri update...modulo riattivato...i problemi di carico erano da imputare ad un altro strato che stava facendo casini inenarrabili...

The Dark Side of Hardware Upgrade Forum

...Apache e log su db...

Chi c’è in linea