OpenFlux
Retour aux articles
SimHash : trouver les pages qui se ressemblent
Programmation Web

SimHash : trouver les pages qui se ressemblent

JoliCode ·

Il y a quelques semaines, j'ai eu besoin de détecter du contenu dupliqué dans le crawler de redirection.io. Pas du dupliqué à la virgule près, ça c'est facile, mais du dupliqué « en gros, c'est la même page ». J'aurais pu utiliser des embeddings avec un LLM, mais il me fallait quelque chose de…

Lire l'article original

Articles similaires