Tastiera su schermo per ambienti x11

[LUBO-BACK]

Salve a tutti, nell'ultimo periodo mi sono appassionato alla creazione di tastiere su schermo ed al funzionamento dello swipe.

Prima ne ho realizzata una un po' complessa con anche motori locali di riconoscimento della scrittura e della voce, specificatamente mirata a wayland, poi ne ho realizzata e pacchettizzata come .deb una versione minore per ambienti x11. Personalmente la uso quando ho per le mani un chromebook o un dispositivo con chromeflex, perché la tastiera nativa non funziona in molti casi nelle app di crostini ma, in ogni caso, questa tastiera funziona di sicuro su x11 perche usa xdotool per l'inserimento.

Ha swipe (locale) handwrting recognition e voice input (attraverso i server di google) e layout italiano e inglese.

E' piuttosto utilizzabile.https://drive.google.com/file/d/1A_CuuI ... drive_link

[frapox]

Sì ma il codice dov'è?

[LUBO-BACK]

All'interno del deb, le vedi con xarchiver o qualsiasi altro estrattore. C'è un file py e due sorgenti in C. Vengono compilati in sede di installazione, ho evitato di compilarli prima proprio per dare la possibilità a chi ne è capace di vederne ed ispezionarne il contenuto.

[frapox]

All'interno del deb, le vedi con xarchiver o qualsiasi altro estrattore. C'è un file py e due sorgenti in C. Vengono compilati in sede di installazione, ho evitato di compilarli prima proprio per dare la possibilità a chi ne è capace di vederne ed ispezionarne il contenuto.

Ah, ok! Avevo dato per scontato che fosse solo il binario, perdonami. Se riesco uno di questi giorni le do un'occhiata.
Purtroppo non ho un convertibile 2-in-1 quindi posso fare prove limitate.
Ti serve un qualche tipo di feedback specifico?

[LUBO-BACK]

Boh, diciamo che entrambe le tastiere le ho fatte per me, non per farci su soldi. Sia perché faccio un altro lavoro, sia anche perché mi pare che non ci sia grande mercato. Mi seccava non avere una tastiera come quella dei telefoni android e mi ci sono messo un po´ di impegno, ma a tempo perso la sera, diciamo un centinaio di ore per entrambe le tastiere (la seconda davvero in un paio di sere). Mi piacerebbe dare un po' di impulso al settore delle osk su linux che sembra 20 anni indietro rispetto ad Android o Ios, proprio perché mi rendo conto che da solo posso fare qualcosa che funzioni in italiano ed inglese, non una cosa con 80 lingue e layout cui dovrei dedicarmi h24.

Appena riesco, faccio un rpm ed un deb anche per la tastiera per wayland che va benissimo ma, per funzionare ovunque (anche nelle app più vecchie) richiede ydotool e perciò permessi di root o udev rules. Nessun mantainer la vorrebbe come ufficiale, hanno delle strane fisse sulla sicurezza rispetto ad eseguibili di cui possono ispezionare i sorgenti, ma accettano input da qualsiasi tastiera usb che può contenere/iniettare le peggiori cose, boh.

Detto questo, la parte migliorabile complessa è la logica di swipe, non avendo le reti neurali che usa google.

Per la tastiera x11, la gestione della finestra è un po' grezza, l'ho tirata via velocemente.

Credo che i punti migliorabili siano quelli e lì sono benvenuti suggerimenti, impressioni e quello che è.

Dopo di che, ad esempio, scriverci dentro con lo stilo in corsivo ed usare l'input method di google è davvero fighissimo.

Probabilmente dovrei mettere tutto su github, ma sono un pochetto pigro...

[frapox]

...
Credo che i punti migliorabili siano quelli e lì sono benvenuti suggerimenti, impressioni e quello che è.

Io infatti volevo sapere se ti serve qualche feedback specifico in modo tale da testare l'app in un certo modo. Posso contribuire così anche se, mi rendo conto, non avendo un convertibile posso essere poco utile.

[LUBO-BACK]

Innanzitutto grazie dell'interesse, questo è il codice della versione semplificata

codice.zip

(32.89 KiB) Scaricato 3 volte

All'interno trovi un file .py che contiene l'interfaccia grafica e coordina i due motori in C. Uno per lo swipe e l'altro per la scrittura predittiva.

Il file py gestisce in proprio l'interfaccia e la parte del riconoscimento della scrittura manoscritta e vocale attraverso i server di google (nella versione maggiore anche in locale con un file tflite e con vosk, ma qui li ho rimossi) e si occupa di scaricare dizionari e layout. Attraverso ctypes coordina/utilizza i due motori in C per la parte matematica.

Il file dello swipe in realtà non si occupa solo dello swipe (calcolo coordinate etc.) ma anche dell'autocorrezione spaziale (prefto diventa presto etc.).

Il file unified_engine.c fa un sacco di cose, anche un po' alla rinfusa. Usa le matrici per calcolare la deviazione di Levensthein ed il pruning (taglio i rami delle parole che non servono nella ricerca della predizione) inizializza i dizionari, dà il boost alle parole che uso spesso e così via. Contiene anche il motore geometrico con la funzione del c.d. fat finger. ovvero una funzione che tiene conto degli errori nello swipe e del fatto che swipando qua e là è naturale essere imprecisi.

La tastiera è nata in python qualche giorno prima di Natale. Andava bene solo in python sino a che doveva solo scrivere, magari lentamente. Aggiungendo tutte queste funzioni, ho dovuto passare in C la parte pesante, ma rimane un lavoro fatto un po' a pezzi. Funzionalmente migliore, almeno come feature, delle tastiere di linux, ma pur sempre un software scritto da solo ed a tempo perso e senza la pulizia che deriverebbe da una revisione sistematica di chi fa questo per lavoro.

Non per falsa modestia, ma non sono uno sviluppatore professionista e, anche se credo di avere un'intuizione sopra la media nel mettere insieme le soluzioni tecniche, sconto il fatto di non avere una formazione seria e un metodo ordinato (non ho nemmeno tenuto copia delle revisioni) perciò qualunque tipo di contributo anche critico sarà apprezzato.

L'ideale sarebbe farne un progetto della comunità ed avere almeno 4 o 5 persone a revisionare il codice ed a dare idee.