[Server] Ottimizzare un server web con prestazioni critiche e che va in crash

[paolocerruti]

Ciao a tutti, mi presento è il mio primo post sul forum, spero di non sbagliare... ;-)
Innanzi tutto sono assolutamente un principiante e purtroppo mi trovo a dover risolvere un problema pur non essendo competente per farlo.
Abbiamo un server web in housing presso aruba per gestire il nostro business online circa 5 siti web, di cui 1 a seguito di alcune operazioni pubblicitarie sta incrementando visitatori...da li il server è instabile...ossia dopo alcune ore che lavora diventa lentissimo (via web) e non riesco più a raggiungerlo via ssh...è come se fosse occupato o freezato...chiedendo il riavvio manuale della macchina ad aruba il server di riavvia perfettamente e riparte con prestazioni normali.

Vi do qualche premessa sul server:

MAcchina HP Proliant ML350 G5, 1 XEON E5320 Quad Core 1.86 Ghz - 4Gb di RAM DDR 2-667 3 Dischi Raid 5 SAS146 Gb 10K rpm.
Il sistema operativo è Ubuntu Server 8.04.4, a bordo c'è apache 2.2.8 e Mysql 5.0.51
Free suggerisce questo quando il server è stabile...

            total      used      free    shared    buffers    cached
Mem:      4056224    3071756    984468          0      10448    146256
-/+ buffers/cache:    2915052    1141172
Swap:      3903784    605300    3298484


Io vi chiedo questo:
come posso iniziare un indagine per capire cosa pianta il server?

Devo capire quale servizio uccide la macchina...io penso a mysql ma solo a sensazione...ho qualche log che posso leggere con indicazione, devo installare qualche tools? Devo fare dei calcoli sulla banda?
lo so che è come chiedere come si costruisce un grattacielo con una chiave inglese...ma si dovrà partire da qualche punto....
grazie per l'attenzione....
Ciao
Paolo

[pieddu]

inizia a vedere "in diretta" come si comporta con

Codice: Seleziona tutto

top

[paolocerruti]

Il comando top mi indica questi parametri...
Qualcuno riesce ad aiutarmi meglio nell'interpretazione?
Ora i siti non sono velocissimi, ma non sono nello stato che vi ho descritto....ossia diciamo che ora sono quasi ok...
La RAM è poca vero? vedo che è quasi tutta utilizzata, e che un po' swappa è corretto?

Sarebbe bene portarla a 8 Gb?
Io non ho idea quali sono le caratteristiche ideali per un server web per un utilizzo "portale e-commerce" con 3000 visite al giorno...


top - 11:05:18 up 18:33,  2 users,  load average: 1.94, 1.17, 1.93
Tasks: 136 total,  2 running, 128 sleeping,  4 stopped,  2 zombie
Cpu(s): 12.9%us,  4.5%sy,  0.0%ni, 47.0%id, 35.4%wa,  0.0%hi,  0.2%si,  0.0%st
Mem:  4056224k total,  3272060k used,  784164k free,    3516k buffers
Swap:  3903784k total,  438648k used,  3465136k free,  179084k cached

[pieddu]

Riporta anche le righe che ci sono sotto..... quelle relative ad i singoli processi.

[paolocerruti]

Codice: Seleziona tutto

top - 11:31:09 up 18:59,  2 users,  load average: 8.19, 6.53, 4.30
Tasks: 181 total,   2 running, 174 sleeping,   5 stopped,   0 zombie
Cpu(s): 45.6%us, 17.8%sy,  0.0%ni, 19.3%id, 17.2%wa,  0.1%hi,  0.0%si,  0.0%st
Mem:   4056224k total,  3518792k used,   537432k free,    11524k buffers
Swap:  3903784k total,  1558260k used,  2345524k free,   164872k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
 5050 mysql     20   0 1461m 142m 3004 S  188  3.6 220:03.34 mysqld
25153 www-data  20   0  311m  82m 4472 S   24  2.1   0:00.80 apache2
24825 www-data  20   0  244m  23m 4652 S    8  0.6   0:01.57 apache2
25048 www-data  20   0  244m  22m 4560 S    8  0.6   0:00.57 apache2
25182 www-data  20   0  299m  70m 4516 S    8  1.8   0:00.99 apache2
23560 www-data  20   0  250m  26m 5192 S    6  0.7   0:01.88 apache2
17716 www-data  20   0  311m  44m 5316 S    6  1.1   0:06.46 apache2
17339 www-data  20   0  323m  83m 5000 S    5  2.1   0:08.23 apache2
25156 www-data  20   0  311m  82m 4504 S    2  2.1   0:01.01 apache2
17751 www-data  20   0  323m  23m 4920 S    0  0.6   0:08.32 apache2
25064 root      20   0 18992 1372  928 R    0  0.0   0:00.47 top
    1 root      20   0  4020  420  420 S    0  0.0   0:01.48 init
    2 root      15  -5     0    0    0 S    0  0.0   0:00.12 kthreadd
    3 root      RT  -5     0    0    0 S    0  0.0   0:00.16 migration/0
    4 root      15  -5     0    0    0 S    0  0.0   0:01.24 ksoftirqd/0
    5 root      RT  -5     0    0    0 S    0  0.0   0:00.01 watchdog/0
    6 root      RT  -5     0    0    0 S    0  0.0   0:00.16 migration/1
    7 root      15  -5     0    0    0 S    0  0.0   0:00.56 ksoftirqd/1
    8 root      RT  -5     0    0    0 S    0  0.0   0:00.05 watchdog/1
    9 root      RT  -5     0    0    0 S    0  0.0   0:00.14 migration/2
   10 root      15  -5     0    0    0 S    0  0.0   0:00.64 ksoftirqd/2
   11 root      RT  -5     0    0    0 S    0  0.0   0:00.01 watchdog/2
   12 root      RT  -5     0    0    0 S    0  0.0   0:00.14 migration/3
   13 root      15  -5     0    0    0 S    0  0.0   0:00.47 ksoftirqd/3
   14 root      RT  -5     0    0    0 S    0  0.0   0:00.01 watchdog/3
   15 root      15  -5     0    0    0 S    0  0.0   0:00.39 events/0
   16 root      15  -5     0    0    0 S    0  0.0   0:00.40 events/1
   17 root      15  -5     0    0    0 S    0  0.0   0:00.55 events/2
   18 root      15  -5     0    0    0 S    0  0.0   0:00.40 events/3
   19 root      15  -5     0    0    0 S    0  0.0   0:00.01 khelper
   54 root      15  -5     0    0    0 S    0  0.0   0:00.08 kblockd/0
   55 root      15  -5     0    0    0 S    0  0.0   0:00.16 kblockd/1
   56 root      15  -5     0    0    0 S    0  0.0   0:00.14 kblockd/2
   57 root      15  -5     0    0    0 S    0  0.0   0:00.12 kblockd/3
   60 root      15  -5     0    0    0 S    0  0.0   0:00.00 kacpid
   61 root      15  -5     0    0    0 S    0  0.0   0:00.00 kacpi_notify
  165 root      15  -5     0    0    0 S    0  0.0   0:00.00 kseriod
  225 root      15  -5     0    0    0 S    0  0.0  10:44.08 kswapd0
  268 root      15  -5     0    0    0 S    0  0.0   0:00.00 aio/0
  269 root      15  -5     0    0    0 S    0  0.0   0:00.00 aio/1
  270 root      15  -5     0    0    0 S    0  0.0   0:00.00 aio/2
  271 root      15  -5     0    0    0 S    0  0.0   0:00.00 aio/3
 1491 root      15  -5     0    0    0 S    0  0.0   0:00.00 ksuspend_usbd
 1493 root      15  -5     0    0    0 S    0  0.0   0:00.00 khubd
 1596 root      15  -5     0    0    0 S    0  0.0   0:00.00 ata/0
 1597 root      15  -5     0    0    0 S    0  0.0   0:00.00 ata/1
 1598 root      15  -5     0    0    0 S    0  0.0   0:00.00 ata/2
 1599 root      15  -5     0    0    0 S    0  0.0   0:00.00 ata/3
 1600 root      15  -5     0    0    0 S    0  0.0   0:00.00 ata_aux
 2289 root      20   0 20424 1156 1156 T    0  0.0   0:00.06 mytop
 2325 root      30  10 29680 1188 1188 T    0  0.0   0:00.07 mytop
 2340 root      30  10  8188  388  388 T    0  0.0   0:00.00 clear
 2343 root      15  -5     0    0    0 S    0  0.0   0:00.00 scsi_eh_0
 2345 root      15  -5     0    0    0 S    0  0.0   0:00.01 scsi_eh_1
 2571 root      15  -5     0    0    0 S    0  0.0   0:05.35 kjournald
 2727 root      16  -4 16856  336  336 S    0  0.0   0:00.72 udevd
 3067 root      20   0 68084 1496 1352 S    0  0.0   0:00.34 sshd

[pieddu]

Ecco chi si beve tutto....

Codice: Seleziona tutto

5050 mysql     20   0 1461m 142m 3004 S  188  3.6 220:03.34 mysqld

Fammi vedere anche

Codice: Seleziona tutto

cat /proc/cpu/info

[paolocerruti]

il demone di mysql..?

ecco il print di cpuinfo

Codice: Seleziona tutto

processor       : 0
vendor_id       : GenuineIntel
cpu family      : 6
model           : 15
model name      : Intel(R) Xeon(R) CPU           E5320  @ 1.86GHz
stepping        : 11
cpu MHz         : 1866.731
cache size      : 4096 KB
physical id     : 0
siblings        : 4
core id         : 0
cpu cores       : 4
fpu             : yes
fpu_exception   : yes
cpuid level     : 10
wp              : yes
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall lm constant_tsc arch_perfmon pebs bts rep_good pni monitor ds_cpl vmx est tm2 ssse3 cx16 xtpr dca lahf_lm
bogomips        : 3733.46
clflush size    : 64
cache_alignment : 64
address sizes   : 38 bits physical, 48 bits virtual
power management:

processor       : 1
vendor_id       : GenuineIntel
cpu family      : 6
model           : 15
model name      : Intel(R) Xeon(R) CPU           E5320  @ 1.86GHz
stepping        : 11
cpu MHz         : 1866.731
cache size      : 4096 KB
physical id     : 0
siblings        : 4
core id         : 2
cpu cores       : 4
fpu             : yes
fpu_exception   : yes
cpuid level     : 10
wp              : yes
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall lm constant_tsc arch_perfmon pebs bts rep_good pni monitor ds_cpl vmx est tm2 ssse3 cx16 xtpr dca lahf_lm
bogomips        : 3733.53
clflush size    : 64
cache_alignment : 64
address sizes   : 38 bits physical, 48 bits virtual
power management:

processor       : 2
vendor_id       : GenuineIntel
cpu family      : 6
model           : 15
model name      : Intel(R) Xeon(R) CPU           E5320  @ 1.86GHz
stepping        : 11
cpu MHz         : 1866.731
cache size      : 4096 KB
physical id     : 0
siblings        : 4
core id         : 1
cpu cores       : 4
fpu             : yes
fpu_exception   : yes
cpuid level     : 10
wp              : yes
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall lm constant_tsc arch_perfmon pebs bts rep_good pni monitor ds_cpl vmx est tm2 ssse3 cx16 xtpr dca lahf_lm
bogomips        : 3733.55
clflush size    : 64
cache_alignment : 64
address sizes   : 38 bits physical, 48 bits virtual
power management:

processor       : 3
vendor_id       : GenuineIntel
cpu family      : 6
model           : 15
model name      : Intel(R) Xeon(R) CPU           E5320  @ 1.86GHz
stepping        : 11
cpu MHz         : 1866.731
cache size      : 4096 KB
physical id     : 0
siblings        : 4
core id         : 3
cpu cores       : 4
fpu             : yes
fpu_exception   : yes
cpuid level     : 10
wp              : yes
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall lm constant_tsc arch_perfmon pebs bts rep_good pni monitor ds_cpl vmx est tm2 ssse3 cx16 xtpr dca lahf_lm
bogomips        : 3733.54
clflush size    : 64
cache_alignment : 64
address sizes   : 38 bits physical, 48 bits virtual
power management:

Grazie per l'aiuto...

[pieddu]

Vedo che la piastra supporta anche un altro processore oltre che la ram....
Effettivamente sembra arrancare un po'.

Il processore ha un supporto PAE, che kernel c'è?

Codice: Seleziona tutto

uname -r

[paolocerruti]

IL kernel è questo:
2.6.24-27-server

dici che l'ideale sarebbe aggiungere il secondo processore oltre che un aumento di RAM?
Non conoscendo il "mestiere" non so quali macchine ci vogliono per certe perfomence...o meglio, non so se le mia macchina sta già sfruttando al meglio le sue performance... i dubbi amletici sono se l'ottimizzazione sarà corretta? Che macchine usano gli amministratori di siti tipo eprice, bow, kelkoo etc.. per far girare i loro e-commerce?

[Stealth]

Quando posti output lunghi è preferibile usare i tags code (simbolo # sopra le faccine), ho corretto un paio di post 
ciao

[paolocerruti]

Pardon scusami, hai ragione, sono un po' inesperto...userò sempre i tag code per le prossime volte...

[_Reve_]

dipende tutto da quante query/richieste hai in un determinato arco di tempo...le proposte sono 2:
1) passi a un webserver più leggero (vedi nginx o lightppd) che ti toglie il pesante apache ma che non ti risolve il problema del demone mysql
2) ottimizzi mysql (vedi ottimizzazione delle tabelle o tuning del file di configurazione) oppure lo aggiorni alla versione 5.5 che da quello che ho sentito usando innodb aumenta le prestazioni del 300%

[pieddu]

Questa prima soluzione software sembra la più indolore....

[alesales]

Questa prima soluzione software sembra la più indolore....

Io ti consiglio di lavorare a livello di db/applicativo per cercare di snellire il tutto.

Come seconda soluzione tenterei l'upgrade di mysql alla 5.5 e, se ancora vi sono problemi di prestazioni andrei di upgrade HW.

Il cambiare server web non mi sembra una soluzione dato che il problema sta nel db e non nel frontend.

[paolocerruti]

Grazie ragazzi per i consigli...
Diciamo che dopo un ultimo crash di ieri sera intorno alle 18 e 50 ho definitivamente compreso che è il server di mysql a mandare tutto in palla...
Ora secondo voi quale situazione si potrebbe essere verificata:
1) la memoria a seguito di qualcosa è terminata e swappando a manetta ha poi mandato la cpu al 98% e quindi mi ha piantato la macchina?
oppure
2) la cpu per qualche calcolo astruso è andata al 98% e poi di conseguenza ha esaurito la memoria?

perchè ora il difficile è andare alla caccia di cosa genera sto caos.....

Migrare a mysql 5.5 immagino che non sarà del tutto indolore...posso migrare mantenendo le mie tristi tabelle MyISAM oppure devo perforza migrare a INNODB?

Io non avrei problemi a fare un'upgrade di RAM dagli attuali 4 Gb a 8 oppure 16... ma non vorrei che fosse un problema di CPU....

Se avessi piu stabilità hardware magari riuscirei a non farlo crollare e con il server ancora su capire quello che in quel momento sta accadendo....

c'è un sistema di logging che tracci im mysql le operazioni critiche? tipo il log delle query lente ma che si focalizzi sulle operazioni che lo affaticano di piu?

Se no non saprei proprio come anlizzare il problema o da dove partire per scoprirlo....

Grazie Ragazzi!
[img width=800 height=568]http://www.dgstore.it/crash.jpg[/img]

[paolocerruti]

Ho installato anche mysqltuner.pl

questo è l'output...

Codice: Seleziona tutto

-------- General Statistics --------------------------------------------------
[--] Skipped version check for MySQLTuner script
[OK] Currently running supported MySQL version 5.0.51a-3ubuntu5.5-log
[OK] Operating on 64-bit architecture

-------- Storage Engine Statistics -------------------------------------------
[--] Status: +Archive -BDB -Federated -InnoDB -ISAM -NDBCluster
[--] Data in MyISAM tables: 1G (Tables: 442)
[!!] Total fragmented tables: 50

-------- Performance Metrics -------------------------------------------------
[--] Up for: 14h 52m 0s (68M q [1K qps], 50K conn, TX: 47B, RX: 16B)
[--] Reads / Writes: 51% / 49%
[--] Total buffers: 1.3G global + 3.4M per thread (500 max threads)
[OK] Maximum possible memory usage: 3.0G (77% of installed RAM)
[OK] Slow queries: 0% (7K/68M)
[OK] Highest usage of available connections: 4% (22/500)
[OK] Key buffer size / total MyISAM indexes: 800.0M/1.4G
[OK] Key buffer hit rate: 100.0% (771M cached / 281K reads)
[OK] Query cache efficiency: 97.8% (65M cached / 66M selects)
[!!] Query cache prunes per day: 294352
[OK] Sorts requiring temporary tables: 0% (1K temp sorts / 445K sorts)
[!!] Temporary tables created on disk: 29% (189K on disk / 633K total)
[OK] Thread cache hit rate: 99% (22 created / 50K connections)
[OK] Table cache hit rate: 49% (612 open / 1K opened)
[OK] Open file limit used: 23% (981/4K)
[OK] Table locks acquired immediately: 99% (4M immediate / 4M locks)

-------- Recommendations -----------------------------------------------------
General recommendations:
    Run OPTIMIZE TABLE to defragment tables for better performance
    MySQL started within last 24 hours - recommendations may be inaccurate
    Temporary table size is already large - reduce result set size
    Reduce your SELECT DISTINCT queries without LIMIT clauses
Variables to adjust:
    query_cache_size (> 64M)

[kimj]

innodb è certamente meglio, ma a memoria è meno 'reattivo' di myisam.

riesci a ridurre le query dell'applicazione? prova ad usare un po' di cache... vedi memcached

[paolocerruti]

Le query sono un po' spesse... il sito è un e-commerce parecchio dinamico...ho lavorato per un bel periodo all'ottimizzazione delle query, studiando bene gli indici etc... ho inserito anche uno scriptino che ogni giorno di notte fa l'ottimizzazione di tutte le tabelle etc...
Ho intallato ora ora sotto tuo consiglio memcached, ora dovrò un po' studiarlo per intallarlo nelle pagine dl sito....
ho letto cose molto positive a riguardo....pare che siti colossali ne facciano ampio uso...(facebook , wikipedia, youtube etc...)
ah ho ordinato anche 16 gb di ram da sostituire agli attuali 4 istallati...
Oltre all'ottimizzione dei vari file di configurazione per sfuttare poi il nuovo assetto di ram, ci sono operazioni da fare sul server dopo averla installata?
Io la devo spedire e far installare direttamente dalla webfarm in quanto sono molto distante dal mio housing.... devo solo riavviare il server?
Viene riconosciuta automaticamente?

Ciao e grazie

[kimj]

sì, in automatico...

se usi myisam, che io sappia, nessun cambiamento, mentre se userai InnoDB dovrai cambiare un po' di cose per farlo funzionare al meglio con 16gb di ram (altrimenti sembrerà un pachiderma). si trovano informazioni in rete.

fossi in te non mi preoccuperei della ram, quanto della cpu

[paolocerruti]

Dici che mi devo preoccupare della CPU...sigh ora mi fai andare in crisi ;-)
Per ora ho ordinato la RAM, il server quando è tranquillo gira con un consumo di CPU bassino 20%...mentre in quelle condizioni la RAM è già al 77 % di quella disponibile solo per Mysql.... credo che la RAM bassa porti ad un aumento del carico della CPU...non pensi?
Tanto era cmq da incrementare...Se poi vediamo che è sempre ko aggiungeremo una CPU per portarlo ad 8 core...

VI farò sapere....ora lo lasciamo lavorare per il week end....
;-)
Ciao e Grazie a tutti...ci sentiamo lunedì!