Text Embeddings: La base del NLP moderno

Introducción

Todos los gráficos presentes en este artículo son interactivos debido a la naturaleza de intentar representar texto de forma gráfica. Para observar qué frase representa cada punto, simplemente hay que situar el ratón por encima del mismo. Los resultados obtenidos se han generado sobre el dataset de “STS benchmark”.

En el mundo del aprendizaje automático es común tener que trabajar con tipos de datos no estructurados, es decir, datos que no siguen ninguna estructura ni esquema. De estos, uno de los más importantes es el texto, que es el foco de este artículo.

Cuando trabajamos con texto, tenemos la dificultad de cómo podemos tratarlo con los algoritmos típicos de aprendizaje máquina y, mientras que algunos algoritmos simples pueden operar con datos no estructurados (como puede ser una simple cadena de Markov), una gran parte del arsenal del machine learning no es accesible cuando el texto se presenta en ese estado original. 

Por eso, es común transformar ese texto a otra representación, una con la que los ordenadores pueden trabajar con mayor facilidad. A esta representación la llamamos un “embedding” y consiste simplemente en un vector, o matriz, de valores numéricos. De esta manera, es posible alimentar de texto a un sistema de aprendizaje automático. Como ejemplo de un sistema muy famoso que hace uso de embeddings para tratar con texto, tenemos ChatGPT.

Por ejemplo, queremos representar la palabra “sol” como embedding y una forma de hacerlo sería generándolo manualmente: podríamos generar diferentes características y atribuirles una puntuación como embedding, como podría ser que tiene un 1 en brillo, un 0 en color azul y un 0.9 en tamaño, creando así el embedding [1,0,0.9]. 

Pero aquí nos encontramos con un inconveniente: la cantidad de características que se pueden obtener son casi infinitas y no todas ofrecen la misma información. Idealmente, queremos que todo elemento del embedding represente cuanto más posible. Además, existe el problema del vocabulario del texto, si todo mi texto habla de estrellas, este embedding no serviría para poder diferenciarlas entre sí.

Diseñando Text Embeddings

Teniendo lo anterior en cuenta, sería deseable poder diseñar de forma automática un embedding que pueda representar un texto y que esta representación se adapte al vocabulario usado. 

A continuación, analizaremos algunos de los métodos existentes para crear embeddings y veremos qué representaciones se obtienen a través de ellos.

Método TF-IDF

Uno de los primeros métodos que apareció para hacer embeddings es el clásico TF-IDF (term frequency – inverse document frequency), que consiste en un simple cálculo donde el texto está representado por cada palabra única, por la multiplicación de la frecuencia de dicha palabra en el texto (TF), multiplicada por el logaritmo de la división del número de documentos totales con el número de documentos que contienen esta palabra. 

Este cálculo es interesante, ya que le da mayor valor a palabras que aparecen en pocos documentos y, cuanto más se hable de la palabra en un mismo documento, más importante es esa palabra para ese documento. 

El foco de este método es la información ofrecida por la palabra. No importa tanto el significado de las palabras, sino la información que éstas aportan. Esto se debe a la ley de Zipf, que dicta que la frecuencia del vocabulario sigue una distribución de ley potencial inversa (inverse power-law). 

En la imagen siguiente, se puede observar esta distribución entre la frecuencia y el ranking en frecuencia de la palabra, generando casi una recta en escala logarítmica.

En esta recta, las palabras más repetidas son aquellas que no añaden mucha información, como “the”, que es la más frecuente, mientras que una palabra como “approval” tiene una frecuencia de 1. Lo interesante de esta recta es que existe en todo lenguaje natural observado, y nos permite estimar la frecuencia de las palabras, y con eso, una medida de “importancia”.

Este embedding de tf-idf tiene ciertas características interesantes: primero, tiene conceptualmente infinitas dimensiones, existen tantas como el tamaño del vocabulario observado. Además, está limitado a representar secuencias de texto, no tendría mucho sentido si quisiéramos aplicarlo sobre palabras singulares. Aun así, es de cálculo fácil y muchas veces se usa como un benchmark base. Si el algoritmo no lo puede hacer mejor que tf-idf, se considera pobre.

Para mostrar el espacio que tf-idf origina, aplicamos sobre el dataset tf-idf y después hacemos lo mismo con PCA sobre la matriz de embeddings, lo que genera la representación gráfica de este espacio.

Como podemos ver, tf-idf está limitado, aunque los textos se encuentran cerca de sus textos similares tal y como se aprecia en el eje Y, que representa principalmente textos sobre el mercado de acciones. Éstos se distribuyen de forma interesante, formando rectas. Y eso se produce porque no existe cercanía entre palabras, o una palabra es la misma o no lo es (tal que gato y perro son tan cercanos como avión y perro); pero, conceptualmente, nosotros no consideramos que ese es el caso.

Método Word Embedding

Debido a estas limitaciones con embeddings como los obtenidos con tf-idf, se desarrollaron embeddings más complejos para que pudieran representar esta similaridad semántica entre palabras, de forma que aquellos términos que pertenecieran a un mismo “tema” fueran similares entre ellos.

De éstos, uno de los más conocidos son los embeddings de GLoVe, que son embeddings generados solo sobre palabras. La matemática sobre la obtención de estos embeddings está fuera del alcance de este artículo, pero podemos aprovechar para ver primero cómo las palabras se pueden relacionar en este espacio.

Como se puede observar, palabras similares están cerca entre sí, como el hecho de que los números están cerca de números. Teniendo esto en cuenta, podríamos probar a crear un embedding “semántico” de las frases anteriores haciendo uso de estos embeddings de palabra, por ejemplo, utilizando el embedding medio entre los embeddings de palabras.

Los resultados ya no tienen la forma anterior de dos claras rectas y parecen ser más pobres. La razón es que hemos obviado otra parte importante de la relación entre palabras: el orden. Por ejemplo, la frase “Hombres verdes observan perros” generaría el mismo embedding que “Perros verdes observan hombres”, pero claramente no son lo mismo. 

Método Sentence Embedding

Estas limitaciones sobre embeddings solo al nivel de palabra llevó a que se desarrollaran nuevos tipos de embeddings de texto que usan los embeddings de palabra como base, pero generan un nuevo embedding textual teniendo en cuenta el orden, entre otros posibles factores. 

Para mostrar un ejemplo haremos uso de DistilRoBerTa, un transformer bastante pequeño. La matemática que hay detrás está fuera del alcance de este artículo, pero lo importante es que genera un embedding bidireccional, es decir, la información obtenida tiene en cuenta la posición de cada palabra, incluyendo aquellas que le preceden o suceden.

Podemos ver que estos resultados son considerablemente mejores que los originales, cuando usábamos un embedding simple de tf-idf. Y eso es porque ahora codifica la información semántica de los textos, información que es vital para entender el lenguaje.

Debido a que el espacio obtenido como embeddings puede no ser lineal, como es el caso de este último, también añadimos una representación usando t-SNE para reducir la dimensionalidad, para poder ver estas relaciones entre texto de forma más apropiada.

En este espacio observamos varios clusters pequeños de textos altamente similares, lo que se acerca a la realidad de la distribución del texto original.

Conclusión

Hemos visto qué son los embeddings textuales y para qué sirven y, además, hemos analizado la lógica que hay detrás de ellos y el espacio que generan, observando cómo diferentes embeddings generaban distintos espacios dependiendo de la información que contenían: empezando con el embedding más simple, embeddings con algo de lógica semántica y embeddings con técnicas modernas, los mismos principios que se utilizan para sistemas más complejos.

¡Esto es todo! Si este post te ha parecido interesante, te animamos a visitar la categoría Data Science para ver todos los posts relacionados y a compartirlo en redes. ¡Hasta pronto!