[tts] Progetto Vichi, il pc ti parla con gespeaker

[]v3L3N0[]

Ciao,
per "cause tecniche" son dovuto rimanere a casa (  >:( ) e non avendo una tega da fare ho creato questo  (rotfl) :

http://www.youtube.com/watch?v=wuXslsdyW1w
(scusate la qualità audio video ma avevo solo un vecchio cellulare a portata)

Si tratta di un rudimentale abbozzo di quello che (forse) sarà il progetto Vichi finale: cercare di rendere il pc molto più umano e farlo parlare il più possibile.

Il motore di tutto è gespeaker (per la parte vocale e Wikifriend per la finta intelligenza artificiale.

Io in tutto questo ho solo fatto della "banali impostazioni", i programmi usati non sono miei e non ho creato niente, ne ho solo ottimizzato l' utilizzo secondo le mie esigenze pensando ad una tecnologia assistitiva.

In realtà alla fine l' uso è simpatico anche per chi non ha alcun handicap, per la sua creazione mi sono ispirato a Jarvis, fedele maggiordomo artificiale di Tony Stark  (rotfl)

Le sue funzioni principali al momento sono molto basilari:

messaggio di benvenuto all' accensione del pc

menù vocali consultabili attraverso shortcut (nel mio caso i tasti funzione, ma su una tastiera multimediale si possono usare i tasti dedicati)

lettura semplificata ed agevole del testo (in firefox basta evidenziare il testo e premere F4, nel resto del sistema basta selezionarlo-->copia e premere F4)

lettura dei messaggi di chat

consultazione e lettura della situazione meteo, calcoli matematici, nozioni geografiche, enciclopediche, ricerche su internet ecc..

play, pause, stop e rec attraverso shortcut (praticamente l' interfaccia di gespeaker non la si tocca mai rendendo tutto più integrato in quanto non ci si accorge di avere in esecuzione un programma per la lettura dei testi)


Per il momento come vi sembra?

[il_muflone]

mi piace l'idea
ma gespeaker dov'è?
spero tu non stia usando le funzionalità server (gespeaker --server) di gespeaker 0.8.1 visto che ho intenzione di modificarle e non posso garantire la compatibilità.

potresti spiegare un po' la logica che stai seguendo? dal video non si capice granché, sembra che leggi il testo selezionato del browser o non so cosa.

[]v3L3N0[]

We ciao, mi fà piacere che sia intervenuto proprio lo sviluppatore di gespeaker!
E mi fà ancora più piacere il fatto che tu stesso non ne veda la presenza!

Gespeaker c'è ma non si vede, si avvia nella traybar e li rimane senza venire mai allo scoperto.

Logica: ho abilitato in firefox la scrittura rapida della clipboard selezionando il testo (praticamente selezioni il testo e lui lo copia nella clipboard senza fare "copia") e con il tasto F4 richiamo la funzione:

Codice: Seleziona tutto

gespeaker --clear --paste -p

Quindi gespeaker legge la clip.
Nota a margine: mi sai dire come mai qusto comando funziona a tratti? per far si che non perda colpi ho dovuto fare un miniscript in bash in cui divido i tre comandi, ma questo mi fa rallentare il tempo di lettura di qualche secondo (ovviamente)

Codice: Seleziona tutto

bash -c "gespeaker --clear; gespeaker --paste; gespeaker -p"

Nel resto dei documenti/testi si deve cliccare su copia e poi di nuovo F4 così si richiama in maniera veloce la funzione di lettura, senza fare materialmente il copia incolla nell' interfaccia di gespeaker

[il_muflone]

E mi fà ancora più piacere il fatto che tu stesso non ne veda la presenza!
Gespeaker c'è ma non si vede, si avvia nella traybar e li rimane senza venire mai allo scoperto.

alltray o cosa?
il plugin per l'area di notifica non l'ho mai realizzato :P
dal video onestamente non si capisce niente.

Nota a margine: mi sai dire come mai qusto comando funziona a tratti? per far si che non perda colpi ho dovuto fare un miniscript in bash in cui divido i tre comandi, ma questo mi fa rallentare il tempo di lettura di qualche secondo (ovviamente)

la sequenza dei comandi l'ho studiata molto attentamente quando ho scritto il plugin dbus, proprio per prevenire errori come quelli di comandi che si accavallano.
che mi risulti non esistono casi del genere, se ne hai qualcuno o vuoi segnalare qualcosa di preciso mi servono piu` dettagli.

[]v3L3N0[]

E mi fà ancora più piacere il fatto che tu stesso non ne veda la presenza!
Gespeaker c'è ma non si vede, si avvia nella traybar e li rimane senza venire mai allo scoperto.

alltray o cosa?
il plugin per l'area di notifica non l'ho mai realizzato :P
dal video onestamente non si capisce niente.

eh, me ne sono accorto che non c'è  (rotfl) Si, alltray  (good)

Nota a margine: mi sai dire come mai qusto comando funziona a tratti? per far si che non perda colpi ho dovuto fare un miniscript in bash in cui divido i tre comandi, ma questo mi fa rallentare il tempo di lettura di qualche secondo (ovviamente)

la sequenza dei comandi l'ho studiata molto attentamente quando ho scritto il plugin dbus, proprio per prevenire errori come quelli di comandi che si accavallano.
che mi risulti non esistono casi del genere, se ne hai qualcuno o vuoi segnalare qualcosa di preciso mi servono piu` dettagli.

Allora, purtroppo il video è quello che è, ed in più non si vede in alcun modo come agisce il sistema. Si vede solo il risultato.

Quello che io ho constatato è con quella sequenza di comandi che ti ho descritto, ogni tanto fallisce la copia della clipboard nella casella whole text.
Magari è un mio problema (ho un hardware molto datato). Mi sembra che se lancio il comando la prima volta tutto fila liscio, se ci riprovo funziona una volta si e 3 no.

Probabilmente i tuoi test son stati fatti su hardware più recente quindi non ti sei mai accorto del problema.

Quello che ti posso dire è che ogni tanto il comando --paste va a buon fine ma non si avvia la riproduzione ( -p ).
Mentre ogni tanto non avviene nemmeno la copia.
Non è comunque un grosso problema, ma volevo segnalartelo lo stesso.
Ah, edit: questo avviene con maggiore frequenza quando si cercano di leggere testi lunghi.
Più il testo è lungo e più c' è la possibilità che si verifichi l' errore.

Sai cosa secondo me sarebbe comodo? un piccolo box ( magari integrato nella status bar di ubuntu ) dove inserire il testo che vada poi a copiarsi nella whole text, così da poter far parlare gespeaker molto rapidamente senza aprire niente.
Hai idea di come realizzarlo? Magari anche solo concettualmente, poi per il codice mi arrangio io.

[il_muflone]

una casella di testo in cui scrivere qualcosa la si può implementare sia come applet del pannello di gnome (dipendenze!) sia come finestra vera e propria ma senza bordi nè decorazioni delle finestre.

fissarla sempre in primo piano è relativamente semplice, se vuoi fissarla in primo piano tramite script puoi usare il mio wmectrl.

il testo poi potresti aggiungerlo e riprodurlo direttamente con un solo comando, gespeaker --play-text

le idee sono molte, vorrei che un giorno divenisse un sistema centralizzato in gnome per la riproduzione vocale di qualsiasi cosa mediante dbus, comandi o lettura direttamente delle selezioni senza passaggi di copia-incolla/testi.

altri contributi esterni mi hanno dato moltissime idee nuove ma il tempo è poco e il lavoro mi impegna per 12 ore al giorno.
il motivo per cui ho scritto l'interfaccia dbus era per consentire progetti come il tuo, che operano esternamente a gespeaker senza entrare nella logica di funzionamento dell'applicazione.

Lo ritengo un ottimo risultato, indipendentemente dalla sua implementazione.

[]v3L3N0[]

una casella di testo in cui scrivere qualcosa la si può implementare sia come applet del pannello di gnome (dipendenze!) sia come finestra vera e propria ma senza bordi nè decorazioni delle finestre.

fissarla sempre in primo piano è relativamente semplice, se vuoi fissarla in primo piano tramite script puoi usare il mio wmectrl.

il testo poi potresti aggiungerlo e riprodurlo direttamente con un solo comando, gespeaker --play-text

Ora ci lavoro, ho scarse conoscenze di programmazione ma ho un paio di idee.

le idee sono molte, vorrei che un giorno divenisse un sistema centralizzato in gnome per la riproduzione vocale di qualsiasi cosa mediante dbus, comandi o lettura direttamente delle selezioni senza passaggi di copia-incolla/testi.

Bhè questo in firefox è già possibile ( si seleziona e si preme un tasto, easy!) e se riuscissi ad attivare il clipboard autocopy in tutto il sistema sarebbe il top.
Si lascia gespeaker nella traybar con avvio direttamente al login, si seleziona e quando si vuole si preme un tasto per leggere!
Non ti accorgi nemmeno che gespeaker è attivo finchè non lo senti parlare!


Quello che per ora voglio fare è:

inserire il box per leggere il testo
capire come contattare direttamente un contatto msn da terminale (così da poter fare anche di questo un piccolo box dove inserire la propria domanda)

immagina di avere un quadratino dove scrivi "che tempo fà?" e poi senti il pc risponderti!

[il_muflone]

immagino tu abbia già il bot su msn che risponde alla domande, altrimenti chi ti risponde?

[]v3L3N0[]

mi rispondo da solo  (rotfl)
il bot è quello del link nel primo post, è carino perchè ti da informazioni meteo, geografiche, guide tv e cavolate simili che simulano in modo molto "casereccio" un' intelligenza aritificiale, ma cmq se ben integrato può esser utile

Riguardo al box di testo ci sono quasi, devo solo riuscire o a far pronunciare a gespeaker una variabile (del tipo --play-text='$variabile' ) ma mi sembra non sia possibile, o a copiare il testo contenuto in quella variabile nella clipboard ( che poi andrò a leggere)

edit: alè, funziona!
ora con F12 si apre una casella di testo, tu scrivi e lui pronucia!

Ok il grosso è fatto, ora vedo se lasciarla così o farla tipo box toglendo tutte le decorazioni e lasciandola in primo piano

[]v3L3N0[]

Aggiornamento:

integrato sistema di notifiche con notify-send

lettura in automatico del programma che si sta avviando

aggiunto il tasto "leggi da file" nel box di input di Vichi

[caly]

Salve,

le scrivo a nome della Wikifriend Experience Gbr.

Ci fa piacere che stia usando il nostro framework per questo tipo di esperimento e da parte nostra potrebbe essere anche interessante interfacciarsi con lei per utilizzare la sua soluzione vocale.

Quello che invece ci dispiace è il modo in cui lei, nonostante stia usufruendo del nostro sistema, descrive il nostro prodotto, cito:

"per la finta intelligenza artificiale": wikifriend non è e non vuole essere una AI, anzi tutt'altro! Wikifriend è un network di agenti virtuali basato su una interfaccia di comunicazione per semplificare l'interazione uomo macchina.

il bot è quello del link nel primo post .... e cavolate simili che simulano in modo molto "casereccio" un' intelligenza aritificiale: wikifriend non è un bot, vederlo in questo modo è davvero limitativo e significa che chi lo sta usando non ne ha appreso minimamente le potenzialità. Definirlo "casareccio" è quantomeno insolente, considerando la scarsa attenzione posta al progetto

Lo spirito di questa nostra risposta al post, in ogni caso è estremamente leggero, direi ironico, siamo sempre lusingati quando qualcuno ci cita specialmente perchè il progetto deve ancora partire in modo ufficiale.

Per finire, volevo solo puntualizzare che dal nostro punto di vista, rendere wikifriend "parlante" o "rieattivo" a comandi vocali è un dettaglio, considerando che esistono molte tecnologie capaci di trasformare una stringa testuale in una voce sintetizzata o elaborare una frase espressa in voce, in una stringa. A titolo di esempio la invito a visitare questi siti:

http://www.loquendo.com/it/
http://www.reallusion.com/crazytalk/

Se è interessato ad una eventuale collaborazione con noi, ci contatti a questo indirizzo email: job@wikifriend.com

Un saluto e in bocca al lupo per i suoi progetti.

Wikifriend Experience GbR