Cohen viene del análisis de datos de neurociencia y aplica el mismo método a los modelos de lenguaje: en lugar de explicarlos, los mide. Cada proyecto es un cuaderno donde uno saca las capas intermedias, las convierte en una tabla y las mira con las herramientas de siempre. Tokenización, espacios de vectores, distribuciones de salida, patrones de atención, apagar una cabeza y ver qué se rompe.
Qué me llevé
Los proyectos de tokenización valen por sí solos. Un texto en español se parte en más pedazos que el mismo texto en inglés, y los códigos —un RUC, un número de documento, una referencia de producto— se parten de formas que nadie eligió. Eso tiene dos consecuencias que sí importan en una propuesta: el costo por documento no es el que uno estima mirando páginas, y buscar por semejanza sobre códigos funciona mal por razones que no se arreglan con un modelo más grande.
Los proyectos de vectores me dejaron una disciplina: antes de afirmar que dos documentos «se parecen», mirar la distribución de las distancias, no un ejemplo. La semejanza coseno sobre un puñado de casos elegidos a mano demuestra lo que uno quiera.
Y los de atención y activaciones me dejaron lo contrario de lo que esperaba: una humildad. Se puede señalar dónde ocurre algo dentro del modelo y aun así no poder garantizar que no vuelva a ocurrir de otro modo. Desde entonces, cuando alguien pide que el sistema «nunca» diga cierta cosa, la respuesta honesta es que eso se acota por fuera, con reglas y con revisión, no por dentro.
Qué dejé fuera
Casi todo el valor está en hacerlo, y hacerlo cuesta horas. Los ejercicios corren sobre modelos pequeños, así que lo que se observa no siempre vale para los grandes. Y no hay nada aquí sobre producción: ni costo, ni latencia, ni un cliente esperando. Es un cuaderno de laboratorio, y como tal está muy bien; como libro de cabecera no sirve.