Text Embeddings: La base del NLP moderno

Introducción

Todos los gráficos presentes en este artículo son interactivos debido a la naturaleza de intentar representar texto de forma gráfica. Para observar qué frase representa cada punto, simplemente hay que situar el ratón por encima del mismo. Los resultados obtenidos se han generado sobre el dataset de “STS benchmark”.

En el mundo del aprendizaje automático es común tener que trabajar con tipos de datos no estructurados, es decir, datos que no siguen ninguna estructura ni esquema. De estos, uno de los más importantes es el texto, que es el foco de este artículo.

Cuando trabajamos con texto, tenemos la dificultad de cómo podemos tratarlo con los algoritmos típicos de aprendizaje máquina y, mientras que algunos algoritmos simples pueden operar con datos no estructurados (como puede ser una simple cadena de Markov), una gran parte del arsenal del machine learning no es accesible cuando el texto se presenta en ese estado original. 

Por eso, es común transformar ese texto a otra representación, una con la que los ordenadores pueden trabajar con mayor facilidad. A esta representación la llamamos un “embedding” y consiste simplemente en un vector, o matriz, de valores numéricos. De esta manera, es posible alimentar de texto a un sistema de aprendizaje automático. Como ejemplo de un sistema muy famoso que hace uso de embeddings para tratar con texto, tenemos ChatGPT.

Por ejemplo, queremos representar la palabra “sol” como embedding y una forma de hacerlo sería generándolo manualmente: podríamos generar diferentes características y atribuirles una puntuación como embedding, como podría ser que tiene un 1 en brillo, un 0 en color azul y un 0.9 en tamaño, creando así el embedding [1,0,0.9]. 

Pero aquí nos encontramos con un inconveniente: la cantidad de características que se pueden obtener son casi infinitas y no todas ofrecen la misma información. Idealmente, queremos que todo elemento del embedding represente cuanto más posible. Además, existe el problema del vocabulario del texto, si todo mi texto habla de estrellas, este embedding no serviría para poder diferenciarlas entre sí.

Diseñando Text Embeddings

Teniendo lo anterior en cuenta, sería deseable poder diseñar de forma automática un embedding que pueda representar un texto y que esta representación se adapte al vocabulario usado. 

A continuación, analizaremos algunos de los métodos existentes para crear embeddings y veremos qué representaciones se obtienen a través de ellos.

Método TF-IDF

Uno de los primeros métodos que apareció para hacer embeddings es el clásico TF-IDF (term frequency – inverse document frequency), que consiste en un simple cálculo donde el texto está representado por cada palabra única, por la multiplicación de la frecuencia de dicha palabra en el texto (TF), multiplicada por el logaritmo de la división del número de documentos totales con el número de documentos que contienen esta palabra. 

Este cálculo es interesante, ya que le da mayor valor a palabras que aparecen en pocos documentos y, cuanto más se hable de la palabra en un mismo documento, más importante es esa palabra para ese documento. 

El foco de este método es la información ofrecida por la palabra. No importa tanto el significado de las palabras, sino la información que éstas aportan. Esto se debe a la ley de Zipf, que dicta que la frecuencia del vocabulario sigue una distribución de ley potencial inversa (inverse power-law). 

En la imagen siguiente, se puede observar esta distribución entre la frecuencia y el ranking en frecuencia de la palabra, generando casi una recta en escala logarítmica.

En esta recta, las palabras más repetidas son aquellas que no añaden mucha información, como “the”, que es la más frecuente, mientras que una palabra como “approval” tiene una frecuencia de 1. Lo interesante de esta recta es que existe en todo lenguaje natural observado, y nos permite estimar la frecuencia de las palabras, y con eso, una medida de “importancia”.

Este embedding de tf-idf tiene ciertas características interesantes: primero, tiene conceptualmente infinitas dimensiones, existen tantas como el tamaño del vocabulario observado. Además, está limitado a representar secuencias de texto, no tendría mucho sentido si quisiéramos aplicarlo sobre palabras singulares. Aun así, es de cálculo fácil y muchas veces se usa como un benchmark base. Si el algoritmo no lo puede hacer mejor que tf-idf, se considera pobre.

Para mostrar el espacio que tf-idf origina, aplicamos sobre el dataset tf-idf y después hacemos lo mismo con PCA sobre la matriz de embeddings, lo que genera la representación gráfica de este espacio.

Como podemos ver, tf-idf está limitado, aunque los textos se encuentran cerca de sus textos similares tal y como se aprecia en el eje Y, que representa principalmente textos sobre el mercado de acciones. Éstos se distribuyen de forma interesante, formando rectas. Y eso se produce porque no existe cercanía entre palabras, o una palabra es la misma o no lo es (tal que gato y perro son tan cercanos como avión y perro); pero, conceptualmente, nosotros no consideramos que ese es el caso.

Método Word Embedding

Debido a estas limitaciones con embeddings como los obtenidos con tf-idf, se desarrollaron embeddings más complejos para que pudieran representar esta similaridad semántica entre palabras, de forma que aquellos términos que pertenecieran a un mismo “tema” fueran similares entre ellos.

De éstos, uno de los más conocidos son los embeddings de GLoVe, que son embeddings generados solo sobre palabras. La matemática sobre la obtención de estos embeddings está fuera del alcance de este artículo, pero podemos aprovechar para ver primero cómo las palabras se pueden relacionar en este espacio.