testi e somiglianza elastic search o altro

[gferrari77]

ciao.
Devo impostare i tag canonical per google su di un sito.
sono 30000 testi anche corposi a volte.
Per fare questo devo trovare i testi simili o uguali.
ho messo simili perchè non so a che valore di differenza google giudica il contenuto duplucato,
ho a disposizione elasticsearch e la sua ricerca fuzzy(ho pensato) per fare delle analisi.
ma ho visto ci sono altri algoritmi per fare questo tipo la distanza di .Levi.....non ricordo.
è integrata in mysql?
voi cosa utilizzereste?
ho anche kibana installato.
poi non so bene come iniziare, è un procedimento di clustering in informatica penso ma non ho idea di come sia piu opportuno fare.
ciao.

[gferrari77]

ho usato e provato le funzioni di redis, la knn in particolare è quello che fa per me e funziona benissimo.
adesso il problema è che ha bisogno di un testo da cui estrarre tutti i recoird sumili a quel testo.
con un campo che trasforma il testo in un vettore ,
poi si vede la somilianza dei vettori
io ho 30000 testi tutti su redis e l'unica cosa che mi viene in mente è di cercare le somilianze di ciascuno ,uno per uno,e magari mettere un flag su quelle trovate, in questo modo posso trovare e ragruppare tutti i testi simili.
il tempo non è un problema, anche perchè faccio tutto in locale su db mysql leggo i testi e li passo a redis, e in redis trovo le somilianze e imposto i flag e gli url canonici su mysql.
mi chiedevo solo se potessi fare una funzione di aggregazione ma forse è una sciocchezza mia anche perchè trovo molto dificii quest tipo di query in redis.
come linguaggio uso node js.
ciao.