El autor trabaja en infraestructura de IA empresarial y escribe para su propio gremio: hardware, redes de alta velocidad, paralelismo de datos y de modelo, repartición de estado entre nodos, colas de trabajos en racimos de cómputo. Es un libro de ingeniería seria, con código, y es de una especialidad que en el mundo entero ejercen unas pocas miles de personas.
Qué me llevé
Los capítulos de inferencia, que son los que le cambian el precio a un proyecto. La economía de un sistema de IA se decide al servir, no al entrenar: cuántas peticiones simultáneas, cuánto contexto se repite entre ellas, cuánta memoria se desperdicia por fragmentación. El criterio que me dejó es directo: cuando alguien pregunta cuánto cuesta una función de IA, la respuesta no depende del modelo elegido sino del patrón de uso, y sin ese dato cualquier número es inventado.
El capítulo de medición, por una razón práctica: los números de rendimiento que publica un proveedor están hechos con otra máquina, otro tamaño de petición y otro tipo de texto. Si importa el costo, la prueba de carga se hace con documentos propios o no se hizo.
Qué dejé fuera
Todo el entrenamiento distribuido, que es la mayor parte del libro. No tengo un racimo de tarjetas gráficas, no lo voy a tener, y una empresa mediana tampoco. Hay que decirlo sin adornos: está escrito por alguien con acceso a ese hardware para gente con acceso a ese hardware. Cualquier otro lector abre tres capítulos y cierra el libro, y me parece bien que así sea.