Avvio ubuntu 10.04, defrag ext3, uso ext4 e ureadahead

[einstein1969]

Salve,

Premetto che mi sono fatto un giro sul forum e ho letto vari 3D sia sulla frammentazione e la non necessita' di deframmentare ext3.

Sto ottimizzando l'avvio della mia lucid 10.04 (per ora installata su ntfs su file loop e con upgrade da 8.04). Ho visto che ureadahead non mi permette di scendere di molto.

La situazione e' questa: con ureadahead 60 secondi, senza 67 secondi.

Visto che c'e' un overhead di ntfs e del fatto che sono con il supporto lupin non mi dovrei preoccupare piu' di tanto.
Ma volevo sapere se la frammentazione del filesystem (ext3) poteva influenzare piu' di tanto. E se ext4 mi permettera' di guadagnare altre manciate di secondi

Ho letto che ext4 comprendera' un defrag online.

Mi interesserebbe sapere se i problemi di ext4 sono stati risolti. Se esiste un modo per tornare indietro ad ext3 (da ext4) senza dover formattare e ricopiare il sistema.

Inoltre vorrei sapere se c'e' un modo per deframmentare il sistema ext3.

La mia e' piu' una curiosita'... So che ottimizzare il sistema e' solo una perdita di tempo, ma la curiosita' e' tanta!

Grazie.

[il_muflone]

il deframmentatore per ext4 non esiste ancora, è una leggenda

per deframmentare le ext3 è necessario degradarle temporaneamente a ext2, deframmentarle e riportarle a ext3.

si fa prima a copiare i files altrove e poi rimetterli al loro posto.

[einstein1969]

il deframmentatore per ext4 non esiste ancora, è una leggenda

per deframmentare le ext3 è necessario degradarle temporaneamente a ext2, deframmentarle e riportarle a ext3.

si fa prima a copiare i files altrove e poi rimetterli al loro posto.

grazie per la risposta e per il link. Ne approfitto per chiederti anche altre cose...

Per la copia su filesystem ext2 mi verrebbe di usare rsync ma forse potrei usare un cp -a (e quali altri parametri?)

Un'altra cosa che si potrebbe fare e' copiare solo i file relativi all'avvio all'inizio "sperando" che siano il piu' contigui possibile. Tu che dici?

Anche io sapevo che il defrag per ext4 non e' ancora finito ma in via di sviluppo. Tu pensi che qualcuno mai lo finira'?

Ho letto da una parte che riempire il filesystem fino al limite (copiando un file e poi cancellandolo) produce una deframmentazione "naturale" , ti torna?

Grazie! Sei grande Muflone!

[il_muflone]

per copia soltanto va benissimo cp -a
rsync serve a sincronizzare due fonti, quindi copiare le differenze o duplicare origine su destinazione e/o viceversa destinazione su origine.

Un'altra cosa che si potrebbe fare e' copiare solo i file relativi all'avvio all'inizio "sperando" che siano il piu' contigui possibile. Tu che dici?

era cio` che dicevo prima, non sara` uno o due frammenti a impensierire le prestazioni

Anche io sapevo che il defrag per ext4 non e' ancora finito ma in via di sviluppo. Tu pensi che qualcuno mai lo finira'?

sono convinto di no.
penso che ext4 tramontera` prima che si possa vedere questo fantomatico deframmentatore.

Ho letto da una parte che riempire il filesystem fino al limite (copiando un file e poi cancellandolo) produce una deframmentazione "naturale" , ti torna?

deframmentazione? assolutamente fasullo
per deframmentare in questo modo serve un deframmentatore online (ovvero mentre il file system e` in funzione) e trasparente (senza intervento dell'utente) e ad oggi non ne esistono.

[einstein1969]

Ho provato a deframmentare... (secondo me da sconsigliare, per i problemi di inode orfani che lascia il defrag di ext2... anche se il sistema sembra integro e funzionante, ma non ho potuto ancora verificare con una diff )

comunque sembra che non deframmenti alla perfezione...

Sono sceso da 60 secondi a 50 secondi. Questo mi fa capire che l'impatto del movimento della testina non e' trascurabile.

Secondo te e' possibile compattare i files di avvio in una partizione apposita?

Il codice del defrag per ext4 c'e'  ma pare che non c'e' nessuno che lo sviluppa... Forse deve solo essere testato...

Ho trovato un'opzione per ottimizzare le directory di un filesystem ext3 tramite :

Codice: Seleziona tutto

sudo fsck.ext3 -fv -D <device>

[il_muflone]

che throughput di disco hai all'avvio monitorato con bootchart?
non e` detto che il  problema sia la disposizione del file system

[einstein1969]

non l'ho ancora monitorato... come si fa'?

ps. il cp -a e' un po' ballerino sulla stessa partizione...

fra@fra-desktop:~$ filefrag unifont.ttf
unifont.ttf: 21 extents found, perfection would be 1 extent
fra@fra-desktop:~$ rm unifont.ttf
fra@fra-desktop:~$ cp -a /usr/share/fonts/truetype/unifont/unifont.ttf unifont.ttf
fra@fra-desktop:~$ filefrag unifont.ttf
unifont.ttf: 19 extents found, perfection would be 1 extent
fra@fra-desktop:~$ rm unifont.ttf
fra@fra-desktop:~$ cp -a /usr/share/fonts/truetype/unifont/unifont.ttf unifont.ttf
fra@fra-desktop:~$ filefrag unifont.ttf
unifont.ttf: 8 extents found, perfection would be 1 extent
fra@fra-desktop:~$ rm unifont.ttf
fra@fra-desktop:~$ cp -a /usr/share/fonts/truetype/unifont/unifont.ttf unifont.ttf
fra@fra-desktop:~$ filefrag unifont.ttf
unifont.ttf: 18 extents found, perfection would be 1 extent
fra@fra-desktop:~$ rm unifont.ttf
fra@fra-desktop:~$ cp -a /usr/share/fonts/truetype/unifont/unifont.ttf unifont.ttf
fra@fra-desktop:~$ filefrag unifont.ttf
unifont.ttf: 8 extents found, perfection would be 1 extent
fra@fra-desktop:~$ rm unifont.ttf

ora provo su una partizione vuota...

[il_muflone]

installa bootchart
riavvia due volte
e poi posta qui l'immagine che trovi su /var/log/bootchart

[einstein1969]

eccolo

[img width=128 height=600]http://img69.imageshack.us/img69/7042/fradesktoplucid20100518.png[/img]

[il_muflone]

non c'e` granche` da ottimizzare.
il sistema si avvia in 30 secondi circa
il troughput e` alto e la cpu impegnata al massimo

[einstein1969]

Beh, se leggo bene il grafico mi sembra che il disco non sia messo bene... E anche la cpu non e' proprio al massimo per tutto il tempo...

Sai se c'e' un modo per vedere i files che vengono caricati ?

[il_muflone]

ma che dici? fino al secondo 52 non si ferma praticamente nemmeno un istante

hai un sistema che si avvia in 30 secondi circa, il resto sono applicazioni che hai aggiunto tu: ubuntuwintv, tracker, hddtemp, postfix, mpd, stickynotes, deskbar-applet, mono, firefox

ovvero tutta roba che in un avvio normale non ci stanno.

[einstein1969]

Forse si riesce a prendere un'altra manciata di secondi operando sul disco...

C'e' un modo per vedere i files che sono caricati in fase di avvio e l'ordine?

[il_muflone]

i processi li vedi da bootchart
i files no, sono migliaia

[einstein1969]

i processi li vedi da bootchart
i files no, sono migliaia

ok.

Ma c'e' un modo per vedere comunque questi file e l'ordine in cui vengono letti?

Stavo pensando di creare una partizione ad ok in cui mettere i file per evitare il piu' possibile il movimento della testina del disco...

[il_muflone]

ad ok e` illeggibile! si scrive ad hoc (ovvero per questo)

non ha molto senso spostare i files, sono migliaia e sparsi ovunque, sia in /boot, in /bin, in /etc, in /lib. non puoi mica spostare i singoli files e lasciare il resto dei files altrove.

comunque sia non credo esista uno strumento che elenchi tutti i files interessati.
orientativamente puoi controllare i processi attivi e eseguire lsof su quelli. idem da fare sui moduli.

[einstein1969]

ad ok e` illeggibile! si scrive ad hoc (ovvero per questo)

non ha molto senso spostare i files, sono migliaia e sparsi ovunque, sia in /boot, in /bin, in /etc, in /lib. non puoi mica spostare i singoli files e lasciare il resto dei files altrove.

comunque sia non credo esista uno strumento che elenchi tutti i files interessati.
orientativamente puoi controllare i processi attivi e eseguire lsof su quelli. idem da fare sui moduli.

Si e' illegibile, ma non me ne sono proprio accorto

Spostare i file ha senso se voglio limitare il movimento della testina del disco. Anche se penso che quando ci sono molti file piccoli il troughtput potrebbe scendere.

Vorrei fare un tentativo , dei test senza arrivare a conclusioni teoriche. Almeno per verificare la mia tesi.

Inoltre non capisco come mai nel bootchart c'e' comunque un accesso del disco anche dopo l'esecuzione di ureadahead...

Altra cosa che noto e' che l'uso della CPU e' ridotto nella prima fase... Non si potrebbe ottimizzare anche questo? come mai e' li in attesa?

E' possibile che ureadahead sia "bloccante"?

Non viene eseguito in background?

[il_muflone]

la somma di disco + cpu fa sempre 100.
più aumenta l'utilizzo del disco, più aumenta l'IO wait.
meno usi il disco, più cpu sarà disponibile per il lavoro.
su quello non puoi spingere praticamente nulla.

ureadahead si occupa di caricare in una sola botta tutti i files necessari all'avvio fino alla partenza di upstart. tutta l'attività disco successiva è quella relativa all'avvio dei servizi da parte di upstart, sono singoli programmi, quindi con la loro parte di cpu e attività disco.

[einstein1969]

la somma di disco + cpu fa sempre 100.
più aumenta l'utilizzo del disco, più aumenta l'IO wait.
meno usi il disco, più cpu sarà disponibile per il lavoro.
su quello non puoi spingere praticamente nulla.

ureadahead si occupa di caricare in una sola botta tutti i files necessari all'avvio fino alla partenza di upstart. tutta l'attività disco successiva è quella relativa all'avvio dei servizi da parte di upstart, sono singoli programmi, quindi con la loro parte di cpu e attività disco.

vorrei ridurre l'IO wait...

e se possibile aumentare il parallelismo rendendo ureadahead non bloccante...

[il_muflone]

l'I/O wait è il tempo di attesa che finisca il disco, per diminuirlo devi aumentare la velocità del disco.

con un throughtput di picco di 72 MB non penso tu possa mai andar lontano, soprattutto nel caso di un notebook dotato di dischi lenti.