cercare più termini con grep

[l3on4rdo]

E infatti non avevo capito un tubo...
Pero` bisogna usare xargs altrimenti potrebbero venire fuori troppi parametri per il grep "esterno".

Codice: Seleziona tutto

grep -liwR PATTERN1 DIR | xargs grep -liw PATTERN2


bah, grep accetta una lista di file come input in cui cercare

SYNOPSIS
      grep [OPTIONS] PATTERN [FILE...]
      grep [OPTIONS] [-e PATTERN | -f FILE] [FILE...]

Se ho capito cosa intendi, al massimo il problema lo si ha se ti pesca mille milioni di file (ma non so se xargs lo risolva, perché uso davvero raramente quel comando)

In realtà un problemino lo dà quando viene trovato un risultato che corrisponde ai criteri di ricerca ma ci sono degli spazi nel nome del file o delle cartelle che lo contengono.

Sì, questo era implicito.
Lo si ha praticamente sempre, ma basta usare le solite precauzioni una volta trovato il comando che va bene
(leggi, quota le variabili... oppure cambia la variabile IFS)

@Zoff
Prendi con le pinze, perché non ricordo dove l'ho letto né se era documentazione "attendibile"... ma mi pare che con grep sia più  veloce  :-\

[Zoff]

Può essere vero che awk è meno performante di grep.
Ma se di grep ne devi usare piu' di uno e devi usare anche le pipe sono abbastanza certo che awk sia piu' veloce...

[l3on4rdo]

Può essere vero che awk è meno performante di grep.
Ma se di grep ne devi usare piu' di uno e devi usare anche le pipe sono abbastanza certo che awk sia piu' veloce...

Concordo, ma non ci stavo pensando

[toro2k]

@l3on4rdo
il problema e` proprio che il primo grep produca una lista di argomenti troppo lunga per il secondo.
Quanto puo` essere lunga la lista degli argomenti e` un parametro configurabile del kernel, normalmente su Linux e` di 128KiB, su Ubuntu 10.04 ho constatato che e` 2Mib, in effetti e` un limite abbastanza ampio.
Uso xargs in ossequio al principio "Se la soluzione e` semplice, risolvi anche i problemi che non ti sono ancora capitati ma che potrebbero capitarti".

@iononsbaLGiomai (e anche @l3on4rdo)
Un'altra ragione per usare xargs!

Codice: Seleziona tutto

grep -liwR PATTERN1 DIR | xargs -d'\n' grep -liw PATTERN2


@Zoff (e anche @l3on4rdo)
lo script awk che hai scritto verifica che le due parole siano presenti sulla stessa riga. Sarebbero comunque necessarie due invocazioni del comando.
Se poi si vuole metterla sul piano di "chi va piu` veloce", vi lascio a arrovellarvi!

[l3on4rdo]

And the winner is:

Codice: Seleziona tutto

grep -liwR PATTERN1 DIR | xargs -d'\n' grep -liw PATTERN2

ps: tanto per fare il punto

[crap0101]

Può essere vero che awk è meno performante di grep.
Ma se di grep ne devi usare piu' di uno e devi usare anche le pipe sono abbastanza certo che awk sia piu' veloce...

Concordo, ma non ci stavo pensando

più che altro il problema con grep è che (in questo caso) devi per forza leggere tutto il file, anche nell'ipotesi che si sappia per certo il risultato alla prima linea (i.e. `-m` non va bene).

Con AWK è invece più agevole fermarsi prima.
Esempio, con i seguenti file:

crap0101@crap0101-M:~/TEST$ cat /tmp/y.txt
miao
maio fef e
eef miao ef e
dfefe miao
bau
crap0101@crap0101-M:~/TEST$ cat /tmp/x.txt
miao
maio fef e
bau eef miao
dfefe miao bau
bau
crap0101@crap0101-M:~/TEST$ cat /tmp/z.txt
miaba ba u
umia fef ef mia o
mife fe
fe

Codice: Seleziona tutto

crap0101@crap0101-M:~/TEST$ awk '/miao/ {miao=1} /bau/ {bau=1} {if (bau && miao) { print FILENAME; miao=0; bau=0; nextfile } }' /tmp/*.txt
/tmp/x.txt
/tmp/y.txt

[l3on4rdo]

Se ho però capito il comando awk che hai postato, crap0101, con il comando grep in realtà si può usare l'opzione -m
... anzi io non ci avevo proprio pensato.
Per esempio, con questi file (che sono i "miei" più i tuoi):

Codice: Seleziona tutto

file1.txt
miao bau
miao pippo
foo miao
barabarabao miao
miao
bau

file2.txt
foo bar
miao
pippo

file3.txt
miao
maio fef e
eef miao ef e
dfefe miao
bau

file5.txt
miao
maio fef e
bau eef miao
dfefe miao bau
bau

file6.txt
miaba ba u
umia fef ef mia o
mife fe
fe


si ottengono gli stessi risultati:

Codice: Seleziona tutto

l3on4rdo@l3on4rdo-laptop:~/Scrivania/forum/agrep$ awk '/miao/ {miao=1} /bau/ {bau=1} {if (bau && miao) { print FILENAME; miao=0; bau=0; nextfile } }' *.txt
file1.txt
file3.txt
file5.txt


Codice: Seleziona tutto

l3on4rdo@l3on4rdo-laptop:~/Scrivania/forum/agrep$ grep -liwRm 1 miao . | xargs -d'\n' grep -liwm 1 bau
./file3.txt
./file5.txt
./file1.txt


Non comprendo perché dici che con grep non si può usare l'opzione -m (cui ripeto io non avevo pensato), per stoppare (se ho capito) la ricerca di grep al primo match trovato.
Con il primo grep, stampi i nomi dei file (-l) che hanno almeno 1 miao (-m 1) e tra questi poi stampi i nomi dei file che hanno almeno un bau.
Fai praticamente la stessa cosa che fai con awk.
No?

[crap0101]

Non comprendo perché dici che con grep non si può usare l'opzione -m (cui ripeto io non avevo pensato), per stoppare (se ho capito) la ricerca di grep al primo match trovato.

in effettti stavo pensando a una situazione da grep singolo in cui non si avrebbe modo di sapere quando fermarsi, in questo caso invece sì.

[l3on4rdo]

A ne le pippe sulle performance intrippano fino all'ordine del femtosecondo.
Però, non so... magari è necessario leggere il codice di questi comandi.

Per esempio, per un ciclo awk come lo hai impostato tu... mi chiedo.
Con il primo grep dai una prima filtrata ai file che contengano almeno il primo match.
Con il ciclo awk devi comunque leggerli tutti, no?
Poi però controllando con time... awk è più performante, di un'inezia, ma è più veloce...


ps: non facciamo più discorsi di performance... che mi si impicciano i neuroni.

[crap0101]

Per esempio, per un ciclo awk come lo hai impostato tu... mi chiedo.
Con il primo grep dai una prima filtrata ai file che contengano almeno il primo match.
Con il ciclo awk devi comunque leggerli tutti, no?
Poi però controllando con time... awk è più performante, di un'inezia, ma è più veloce...

con l'awk che ho scritto leggi il file linea per linea fino a che la condizione (ha trovato i 2 match) non è soddisfatta, a quel punto passi al file successivo.

Per la velocità, dipende molto da dove si trovano i pattern che matchano nel file. Usando grep con -m è sicuramente meglio di prima, ma con grep devi *comunque* leggere (almeno in parte) 2 volte i file.
Ipotizzando che in un file da 10000 linee i pattern matchanti si trovino alle linee 9998 e 9999, usando quel codice awk ti basta leggere 9999 linee, usando la soluzione con grep devi leggerne 9999 + 9998 (una volta per il primo pattern e una volta per il secondo).

[l3on4rdo]

Mamma mia quanto sono affascinanti le questioni sulle performance 

Ultima domanda, poi magari aspettiamo che si riaffacci l'apritore della discussione che mi sa che s'è spaventato
Per vedere il codice di questi programmi, c'è una strada "collaudata"... nel senso esiste un modo in cui si possono trovare (tutti) i codici dei comandi bash?
Magari un sito che li raccoglie tutti.
Può essere di qualche utilità? Dico ai fini di migliorare il proprio stile di programmazione.

Ciao