[Risolto] Script bash twitter

[asaki]

Ciao ti invio i database per informarti che anche ieri lo script ha fatto questa cosa ,si blocca e invia solamente il terremoto della croazia ,penso che il problema siano le parentesi quadre e l'unica differenza delle righe.
domani ti confermo con il nuovo database ,alle 24 lo cancello e vediamo con i nuovi dati cosa fà ,questa notte lo lascio acceso.
nb:è settato a a 2 secondi per velocizzare.

Codice: Seleziona tutto

dati_new.txt

#EventID|Time|Latitude|Longitude|Depth/Km|Author|Catalog|Contributor|ContributorID|MagType|Magnitude|MagAuthor|EventLocationName
26229291|2021-03-13T03:27:27.110000|41.6915|15.7345|18.7|SURVEY-INGV||||ML|2.0|--|2 km S San Giovanni Rotondo (FG)
26229351|2021-03-13T03:38:54.820000|38.3105|14.7243|125.4|SURVEY-INGV||||ML|2.0|--|Costa Siciliana nord-orientale (Messina)
26229601|2021-03-13T05:41:20.680000|45.2455|16.1197|10.0|SURVEY-INGV||||ML|3.3|--|Croatia [Land]
26230841|2021-03-13T11:23:10.080000|38.7258|15.51|163.6|SURVEY-INGV||||ML|2.2|--|Tirreno Meridionale (MARE)



db_locale.txt

#EventID|Time|Latitude|Longitude|Depth/Km|Author|Catalog|Contributor|ContributorID|MagType|Magnitude|MagAuthor|EventLocationName
26229291|2021-03-13T03:27:27.110000|41.6915|15.7345|18.7|SURVEY-INGV||||ML|2.0|--|2 km S San Giovanni Rotondo (FG)
26229351|2021-03-13T03:38:54.820000|38.3105|14.7243|125.4|SURVEY-INGV||||ML|2.0|--|Costa Siciliana nord-orientale (Messina)
26229601|2021-03-13T05:41:20.680000|45.2455|16.1197|10.0|SURVEY-INGV||||ML|3.3|--|Croatia [Land]
26230841|2021-03-13T11:23:10.080000|38.7258|15.51|163.6|SURVEY-INGV||||ML|2.2|--|Tirreno Meridionale (MARE)
26229601|2021-03-13T05:41:20.680000|45.2455|16.1197|10.0|SURVEY-INGV||||ML|3.3|--|Croatia [Land]
26229601|2021-03-13T05:41:20.680000|45.2455|16.1197|10.0|SURVEY-INGV||||ML|3.3|--|Croatia [Land]
26229601|2021-03-13T05:41:20.680000|45.2455|16.1197|10.0|SURVEY-INGV||||ML|3.3|--|Croatia [Land]
26229601|2021-03-13T05:41:20.680000|45.2455|16.1197|10.0|SURVEY-INGV||||ML|3.3|--|Croatia [Land]
26229601|2021-03-13T05:41:20.680000|45.2455|16.1197|10.0|SURVEY-INGV||||ML|3.3|--|Croatia [Land]
26229601|2021-03-13T05:41:20.680000|45.2455|16.1197|10.0|SURVEY-INGV||||ML|3.3|--|Croatia [Land]
26229601|2021-03-13T05:41:20.680000|45.2455|16.1197|10.0|SURVEY-INGV||||ML|3.3|--|Croatia [Land]
26229601|2021-03-13T05:41:20.680000|45.2455|16.1197|10.0|SURVEY-INGV||||ML|3.3|--|Croatia [Land]
26229601|2021-03-13T05:41:20.680000|45.2455|16.1197|10.0|SURVEY-INGV||||ML|3.3|--|Croatia [Land]
26229601|2021-03-13T05:41:20.680000|45.2455|16.1197|10.0|SURVEY-INGV||||ML|3.3|--|Croatia [Land]
26229601|2021-03-13T05:41:20.680000|45.2455|16.1197|10.0|SURVEY-INGV||||ML|3.3|--|Croatia [Land]
26229601|2021-03-13T05:41:20.680000|45.2455|16.1197|10.0|SURVEY-INGV||||ML|3.3|--|Croatia [Land]
26229601|2021-03-13T05:41:20.680000|45.2455|16.1197|10.0|SURVEY-INGV||||ML|3.3|--|Croatia [Land]
26229601|2021-03-13T05:41:20.680000|45.2455|16.1197|10.0|SURVEY-INGV||||ML|3.3|--|Croatia [Land]
26229601|2021-03-13T05:41:20.680000|45.2455|16.1197|10.0|SURVEY-INGV||||ML|3.3|--|Croatia [Land]
26229601|2021-03-13T05:41:20.680000|45.2455|16.1197|10.0|SURVEY-INGV||||ML|3.3|--|Croatia [Land]
26229601|2021-03-13T05:41:20.680000|45.2455|16.1197|10.0|SURVEY-INGV||||ML|3.3|--|Croatia [Land]
26229601|2021-03-13T05:41:20.680000|45.2455|16.1197|10.0|SURVEY-INGV||||ML|3.3|--|Croatia [Land]

[UbuNuovo]

Lo script non modifica i dati originali, delle parentesi quadrate non gliene importa nulla.
Devi fare le prove con Send, da solo!
Dici che hai settato a 2 secondi, volevi dire 2 minuti. Con cron l'intervallo minimo è di un minuto.
Se usassi veramente 2 secondi, sarebbe più facile perdere dati.
Lo script deve scaricare i dati e inviarli, il traffico internet può avere dei buchi o dei rallentamenti.

[asaki]

Si scusa intendevo due minuti,non ti stò dicendo che lo script non funziona questa mattina invia la riga giusta ,se vedi i due database il db_locale.txt che ti ho inviato ieri, una riga viene ripetuta nel database senza motivo send invia quella.
Ho semplicemente dedotto che quelle parentesi quadre che riceve da ingv sia il problema, non ci sono altre differenze sulle righe ,ed è successo la stessa cosa in due giorni diversi.

l'unica modifica che ho fatto aggiungere uno spazio inizio e fine (lat.$lat, long. $long) ( lat.$lat, long. $long ) perchè quando le coordinate finiscono con 8 e ) gli apparati che lo ricevono lo interpretano come una faccina.

una cortesia se magari quando hai un minuto puoi commentare lo script cosi imparo qualcosa di più.

Ripeto lo script funziona alla grande.

grazie per la pazienza

[UbuNuovo]

Ma Send invia i dati via GET o POST? Probabilmente devi fornirgli la stringa da inviare urlencoded.
Ce n'è per tutti i gusti, guarda qua:
https://unix.stackexchange.com/question ... t-encoding
https://stackoverflow.com/questions/625 ... g-in-shell
altrimenti PHP ha la funzione urlencode()

Però a questo punto, perché non usare curl, invece di Send?
Puoi scegliere tra vari protocolli guarda man curl e:
https://stackoverflow.com/questions/625 ... g-in-shell
https://noviello.it/come-fare-una-richi ... -su-linux/

Se fai una ricerca, trovi tante pagine che spiegano come usare curl, con i vari linguaggi.

Finamente fai vedere un po' d'interesse ad imparare.
Lo script commentato

Codice: Seleziona tutto

#!/bin/bash

# percorso di salvataggio del file che conterrà gli ultimi dati scaricati
dati_new="/PERCORSO_ASSOLUTO_DI_SALVATAGGIO/dati_new.txt"
# percorso di salvataggio del file che conterrà le righe di dati che sono state inviate
db_locale="/PERCORSO_ASSOLUTO_DI_SALVATAGGIO/db_locale.txt"

# preparo la stringa per endtime date +%F stampa la data di oggi nel formato 2021-03-14
endtime="$(date +%F)T23:59:59"
# trasformo la data di oggi in formato timestamp (numero di secondi dal 1/1/1970)
ts_oggi=$(date -d "$(date +%F)" +%s)
# trovo lo starttime in timestamp sottraendo i secondi voluti dal timestamp di oggi
ts_old=$(echo "$ts_oggi - 60*10" | bc)
# converto il timestamp nel formato richiesto da starttime del sito
starttime=$(date +'%Y-%m-%dT%H:%M:%S' -d "@$ts_old")

# se i file $dati_new e $db_locale non esistono li creo. Non indispensabile ma utile per verificare il funzionamento
[ -f "$dati_new" ] || touch "$dati_new"
[ -f "$db_locale" ] || touch "$db_locale"

# Query da usare con wget per scaricare i dati
query="http://webservices.ingv.it/fdsnws/event/1/query?starttime=${starttime}&endtime=${endtime}&minmag=2&maxmag=10&mindepth=-10&maxdepth=1000&minlat=35&maxlat=49&minlon=5&maxlon=20&minversion=100&orderby=time-asc&format=text&limit=10000"
echo "$query"

# scarico i dati e li salvo nel file corrispondente a "$dati_new"
wget -q -O "$dati_new" "$query"

# Per ogni riga di dati in "$dati_new"...
while read riga;do
    # se l'attuale riga di testo processato, NON esiste già nel database locale...
    if ! grep "$riga" "$db_locale";then
        # estraggo i campi che mi interessano (con awk in base al separatore "|") e li assegno alle corrispondenti variabili con read
        read data lat long depth mag loc < <(awk -F"|" '{print $2, $3, $4, $5, $11, $13}' <<< "$riga")
        # estraggo la prima parte della data e sostituisco T con " alle ore "
        data_str=$(grep -Po '^.*(?=\.)' <<< "$data" | sed 's/T/ alle ore /')
        # Creo la stringa discorsiva utilizzando le variabili impostate sopra
        riga_str="Il giorno $data_str, si è verificato un sisma di magnitudo $mag alla profondità di $depth Km; con epicentro: $loc (lat.$lat, long. $long)"
        
        # eseguo Send e se l'invio riesce aggiungo la riga al database
        /PERCORSO_ASSOLUTO_DELL'ESEGUIBILE/Send hr34 "$riga_str" && echo "$riga" >> "$db_locale"
    fi
done < "$dati_new"

exit

[asaki]

Grazie

[UbuNuovo]

Mi ero salvato la pagina ma non potevo rispondere.
Volevi eliminare le graffe, ora non c'è più il post.
Non ricordo come funzionava lo script.
Comunque per eliminarle puoi usare sed.
Credo che tu debba modificare la riga di codice che segue, così:

Codice: Seleziona tutto

data_str=$(grep -Po '^.*(?=\.)' <<< "$data" | sed 's/T/ alle ore /;s/{\|}//g')

[asaki]

Ciao UbuNuovo ,con questa ultima modifica non funziona su $data penso che bisogna farla su $riga.

Sul database scrive così

33353521|2022-11-12T07:09:14.089000|-20.0531|-178.319|578.1|SURVEY-INGV-A||||Mwp|6.8|--|Fiji Islands region [Sea: Fiji]|earthquake
33363761|2022-11-13T02:25:00.533000|-37.3289|-73.415|19.5|SURVEY-INGV-A||||Mwp|6.4|--|Near coast of central Chile [Land: Chile]|earthquake

e send lo invia così

2022-11-13 16:26:32.765: > Il giorno 2022-11-12 alle ore 07:09:14, si è verificato un sisma di magnitudo 6.8 alla profondità di 578.1 Km; con epicentro: Fiji Islands region [Sea: Fiji] (lat.-20.0531, long. -178.319)
2022-11-13 16:26:32.792: > Il giorno 2022-11-13 alle ore 02:25:00, si è verificato un sisma di magnitudo 6.4 alla profondità di 19.5 Km; con epicentro: Near coast of central Chile [Land: Chile] (lat.-37.3289, long. -73.415)

le parentesi quadre ci sono ancora

[UbuNuovo]

Hai ragione, avevo inteso "data" come "dati", invece si riferisce alla data temporale.
Allora devi eliminare le quadre non le graffe.
Puoi aggiungere l'ultima riga qua sotto:

Codice: Seleziona tutto

....
riga_str="Il giorno $data_str, si è verificato un sisma di magnitudo $mag alla profondità di $depth Km; con epicentro: $loc (lat.$lat, long. $long)"
riga_str=$(sed 's/\[\|\]//g' <<< "$riga_str")

[asaki]

Grazie mille UbuNuovo problema risolto.

[asaki]

UbuNuovo scusami ma se volessi lasciare solamente l'ora e togliere la data visto che è ripetuta in testa al sms ,come fare?

tipo: Alle ore $data_str, si è verificato ....

ti ringrazio per la pazienza.

[UbuNuovo]

Devo riguardare lo script, ma da quel che ricordo, si doveva confrontare la riga nel database con i nuovi dati scaricati.
Se si leva la data potrebbero verificarsi "falsi positivi".
Domani ti faccio sapere.
Ciaux

[UbuNuovo]

Ho guardato ora, si può fare, la riga inviata è diversa da quella salvata sul db.
Basta modificare la riga:

Codice: Seleziona tutto

data_str=$(grep -Po '^.*(?=\.)' <<< "$data" | sed 's/T/ alle ore /')

in:

Codice: Seleziona tutto

data_str=$(grep -Po '^.*(?=\.)' <<< "$data" | sed 's/.*T/Alle ore /')

e la riga:

Codice: Seleziona tutto

riga_str="Il giorno $data_str, si è verificato un sisma di magnitudo ...

in:

Codice: Seleziona tutto

riga_str="$data_str, si è verificato un sisma di magnitudo $mag alla profondità di $depth Km; con epicentro: $loc (lat.$lat, long. $long)"

lo script aggiornato dovrebbe essere così:

Codice: Seleziona tutto

#!/bin/bash

# percorso di salvataggio del file che conterrà gli ultimi dati scaricati
dati_new="/PERCORSO_ASSOLUTO_DI_SALVATAGGIO/dati_new.txt"
# percorso di salvataggio del file che conterrà le righe di dati che sono state inviate
db_locale="/PERCORSO_ASSOLUTO_DI_SALVATAGGIO/db_locale.txt"

# preparo la stringa per endtime date +%F stampa la data di oggi nel formato 2021-03-14
endtime="$(date +%F)T23:59:59"
# trasformo la data di oggi in formato timestamp (numero di secondi dal 1/1/1970)
ts_oggi=$(date -d "$(date +%F)" +%s)
# trovo lo starttime in timestamp sottraendo i secondi voluti dal timestamp di oggi
ts_old=$(echo "$ts_oggi - 60*10" | bc)
# converto il timestamp nel formato richiesto da starttime del sito
starttime=$(date +'%Y-%m-%dT%H:%M:%S' -d "@$ts_old")

# se i file $dati_new e $db_locale non esistono li creo. Non indispensabile ma utile per verificare il funzionamento
[ -f "$dati_new" ] || touch "$dati_new"
[ -f "$db_locale" ] || touch "$db_locale"

# Query da usare con wget per scaricare i dati
query="http://webservices.ingv.it/fdsnws/event/1/query?starttime=${starttime}&endtime=${endtime}&minmag=2&maxmag=10&mindepth=-10&maxdepth=1000&minlat=35&maxlat=49&minlon=5&maxlon=20&minversion=100&orderby=time-asc&format=text&limit=10000"
echo "$query"

# scarico i dati e li salvo nel file corrispondente a "$dati_new"
wget -q -O "$dati_new" "$query"

# Per ogni riga di dati in "$dati_new"...
while read riga;do
    # se l'attuale riga di testo processato, NON esiste già nel database locale...
    if ! grep "$riga" "$db_locale";then
        # estraggo i campi che mi interessano (con awk in base al separatore "|") e li assegno alle corrispondenti variabili con read
        read data lat long depth mag loc < <(awk -F"|" '{print $2, $3, $4, $5, $11, $13}' <<< "$riga")
        # estraggo la prima parte della data e sostituisco T con " alle ore "
        # data_str=$(grep -Po '^.*(?=\.)' <<< "$data" | sed 's/T/ alle ore /')
        # elimino la data e lascio solo l'ora, viene stampato: "Alle ore hh:mm:ss
        data_str=$(grep -Po '^.*(?=\.)' <<< "$data" | sed 's/.*T/Alle ore /')
        # Creo la stringa discorsiva utilizzando le variabili impostate sopra
        riga_str="$data_str, si è verificato un sisma di magnitudo $mag alla profondità di $depth Km; con epicentro: $loc (lat.$lat, long. $long)"
        riga_str=$(sed 's/\[\|\]//g' <<< "$riga_str")
        # eseguo Send e se l'invio riesce aggiungo la riga al database
        /PERCORSO_ASSOLUTO_DELL'ESEGUIBILE/Send hr34 "$riga_str" && echo "$riga" >> "$db_locale"
    fi
done < "$dati_new"

exit

Perché non impari ad usare sed? Così puoi fare le modifiche che ti pare, sul testo da inviare, l'importante è non modificare il testo che va nel data base.
Ciaux

[asaki]

Buongiorno,qualcuno sà come modificare li script in modo che una volta inserito la fila nel database dati_new.txt vengano cancellate tutte le righe contenente la parola [Land] comprese le parentesi quadre ?
esempio riga da cancellare
36344331|2023-09-30T17:36:00.810000|45.6277|15.6558|10.8|SURVEY-INGV||||ML|2.4|--|Croatia [Land]|earthquake

Grazie

[korda]

Buongiorno,qualcuno sà come modificare li script in modo che una volta inserito la fila nel database dati_new.txt vengano cancellate tutte le righe contenente la parola [Land] comprese le parentesi quadre ?
esempio riga da cancellare
36344331|2023-09-30T17:36:00.810000|45.6277|15.6558|10.8|SURVEY-INGV||||ML|2.4|--|Croatia [Land]|earthquake

Grazie

Ciao, questa discussione è piuttosto vecchia. Inoltre il problema da te esposto non riguarda specificamente Twitter (come da titolo) ma sembra qualcosa di più generico.

Ti consiglierei di aprire una tua nuova discussione, evita il necroposting.

Grazie

[GjMan78]

Buongiorno,qualcuno sà come modificare li script in modo che una volta inserito la fila nel database dati_new.txt vengano cancellate tutte le righe contenente la parola [Land] comprese le parentesi quadre ?
esempio riga da cancellare
36344331|2023-09-30T17:36:00.810000|45.6277|15.6558|10.8|SURVEY-INGV||||ML|2.4|--|Croatia [Land]|earthquake

Grazie

Ciao, questa discussione è piuttosto vecchia. Inoltre il problema da te esposto non riguarda specificamente Twitter (come da titolo) ma sembra qualcosa di più generico.

Ti consiglierei di aprire una tua nuova discussione, evita il necroposting.

Grazie

In realtà questa è proprio la sua discussione, risolta a suo tempo e che ora ha bisogno di una modifica.

[korda]

Buongiorno,qualcuno sà come modificare li script in modo che una volta inserito la fila nel database dati_new.txt vengano cancellate tutte le righe contenente la parola [Land] comprese le parentesi quadre ?
esempio riga da cancellare
36344331|2023-09-30T17:36:00.810000|45.6277|15.6558|10.8|SURVEY-INGV||||ML|2.4|--|Croatia [Land]|earthquake

Grazie

Ciao, questa discussione è piuttosto vecchia. Inoltre il problema da te esposto non riguarda specificamente Twitter (come da titolo) ma sembra qualcosa di più generico.

Ti consiglierei di aprire una tua nuova discussione, evita il necroposting.

Grazie

In realtà questa è proprio la sua discussione, risolta a suo tempo e che ora ha bisogno di una modifica.

Intendo dire che oramai, nel caso di una riga da individuare e cancellare da un file di testo, si tratta di un generico problema di parsing che trascende il fatto che il dato provenga da Twitter o altra fonte. Questo intendo dire