IA con sus datos
Su empresa ya escribió lo que sabe: manuales, contratos, políticas, procedimientos, actas, el histórico del ERP. El problema es que nadie lo encuentra cuando lo necesita, y la persona que sí lo sabe atiende la misma pregunta cada semana.
Esto conecta un modelo de lenguaje a ese acervo y a su ERP. La respuesta llega con la cita del documento y la línea exacta, para que se pueda verificar. Y lo que el modelo no encuentra, lo dice, en vez de inventarlo.
Empieza por una prueba de dos semanas que se mide con preguntas de su empresa y termina con un número, no con una demostración. Si ese número no le conviene, se lo digo por escrito y ahí termina.
No es que falte información: sobra, y está dispersa. El costo no aparece en ninguna cuenta contable porque se paga en tiempo de la gente que más sabe.
Cuánto es el plazo de pago de este cliente, qué dice el contrato sobre las devoluciones, cómo se hace un traslado entre bodegas. Las respuestas existen, escritas. Pero se preguntan de viva voz a quien lleva años en la empresa.
Cuando esa persona sale de vacaciones, se enferma o renuncia, el conocimiento se va con ella. Un asistente que aprendió de sus documentos no reemplaza a nadie: quita de encima la parte repetitiva.
El documento está en un correo de hace dos años, en una carpeta compartida sin orden, o en un módulo del ERP que nadie abre. La gente reconstruye la respuesta en vez de buscarla.
Un asistente público no sabe nada de su empresa, y pegarle documentos ahí manda su información a un tercero. Lo que responde suena bien y a veces es falso, que es lo peor que puede pasar con un contrato.
Haga la cuenta con sus propios números antes de hablar conmigo. Si tres personas de su equipo pierden media hora al día buscando lo que ya está escrito, son treinta horas al mes. Ponga el costo por hora de esas tres personas y tendrá el tamaño del problema. Si el resultado no justifica el paso 1, dígamelo y no le vendo nada.
El modelo de lenguaje no se entrena con su información. Se le da la información en el momento de responder, igual que a un abogado nuevo se le entrega el expediente antes de la audiencia. La técnica se llama recuperación aumentada, o RAG por sus siglas en inglés, y consiste en dos piezas: un buscador que encuentra los fragmentos que importan, y el modelo que los lee y redacta la respuesta.
De ahí salen las tres propiedades que a una empresa le importan. La respuesta cita su fuente, así que se puede verificar y discutir. Actualizar el conocimiento es publicar un documento nuevo, no reentrenar nada. Y sus documentos siguen siendo suyos: el modelo ve un fragmento durante un segundo y no se queda con él.
Lo que decide la calidad no es el modelo, es el buscador. Un asistente que recupera el párrafo equivocado responde mal con el mejor modelo del mundo. Por eso la mayor parte del trabajo está en cómo se parte cada documento, cómo se indexa y cómo se ordenan los resultados, no en elegir marca de inteligencia artificial.
Es la palabra que más se vende y la que menos falta hace al principio. Vale la pena saber la diferencia antes de pagar por ella.
Cambia los pesos del modelo con ejemplos suyos. Sirve cuando el problema es de comportamiento: el modelo responde con el formato equivocado, en el tono equivocado, o no conoce un dialecto técnico. No sirve para meterle conocimiento nuevo de forma fiable.
Problema de forma
No toca el modelo. Le entrega lo que necesita saber en cada pregunta. Sirve cuando el problema es de información, que es el caso del noventa por ciento de las empresas. Y se actualiza publicando un documento.
Problema de información
En el experimento de Ovadia y otros de 2024, la recuperación superó al ajuste fino en casi todas las categorías medidas, con tres modelos distintos. Y añadir recuperación sobre un modelo ya ajustado mejoró el resultado solo el 43 % de las veces.
Medido, no opinado
Un modelo ajustado se traga todos los documentos y los disuelve en un mismo bloque de pesos. Adentro ya no se distingue lo de gerencia de lo que puede ver cualquiera, y sacar un documento después es imposible: habría que volver a entrenar. Con recuperación, el permiso viaja pegado a cada fragmento y la respuesta se arma solo con lo que esa persona puede leer. Por eso, en una empresa con áreas, el ajuste fino no es solo caro: es un agujero de seguridad.
Antes de firmar
Cuando la recuperación ya funciona y el fallo que queda es de comportamiento. O cuando conviene bajar el costo por respuesta poniendo a un modelo pequeño a imitar a uno grande. Ese es el orden, y es el orden que recomienda la ingeniería del ramo, no una preferencia mía.
Después, no antes
El orden de los pasos y la cita del experimento salen de AI Engineering (Chip Huyen, O'Reilly, 2025), capítulo 7. Quien le ofrezca empezar por entrenar un modelo con sus datos le está vendiendo la parte cara antes de saber si hace falta. Si quiere saber qué se actualiza de verdad dentro del modelo cuando alguien dice que lo entrena con sus datos, lo expliqué aparte en esta guía.
Tomemos un caso concreto: una empresa que importa y distribuye, con Odoo operando y ocho años de documentos. Quiere que su equipo comercial y el de bodega dejen de preguntar lo mismo.
Antes de tocar tecnología se arma el examen: entre cuarenta y cien preguntas con su respuesta correcta conocida. El grueso son preguntas reales, de las que hoy se hacen por teléfono, recogidas con su gente. El resto se derivan de sus propios documentos, para cubrir rincones del archivo por los que todavía nadie ha preguntado. Ese conjunto es la vara de medir: queda guardado con versión y crece cada vez que el asistente falla una pregunta nueva. Sin él, nadie puede decir si el asistente sirve, solo si impresiona.
Se eligen las fuentes que responden esas preguntas: manuales de producto, contratos marco, políticas de devolución, fichas técnicas, y las tablas del ERP que hacen falta. Se limpia lo duplicado y lo vencido, porque un documento derogado que responde primero es peor que no tener nada.
Sus documentos no son texto corrido. Hay tablas de precios, de descuentos y de condiciones, y hay PDF que son la foto de un papel. Una tabla partida en pedazos deja filas sin encabezado: el fragmento dice «Modelo X, 899, 12» y ya nadie sabe cuál de esos números es el precio. Un escaneo sin reconocimiento de texto sencillamente no entra al buscador. Aquí las tablas se extraen como tablas y cada pedazo conserva su encabezado; las que cruzan de una página a la siguiente se vuelven a unir; y los escaneos pasan primero por reconocimiento de caracteres, dentro de su casa si los documentos no pueden salir. Es la parte menos vistosa del trabajo y es donde se cae la mayoría de las demostraciones.
Su empresa nombra las cosas con códigos: un RUC, un número de factura, un código de bodega, una nota de pedido. La búsqueda por significado entiende la intención y se pierde con los códigos. La búsqueda por palabra exacta encuentra el código y no entiende la intención. Se montan las dos y se combinan los resultados, porque una pregunta real trae las dos cosas a la vez. Después se reordenan los candidatos con un modelo que compara la pregunta contra cada fragmento: es el paso que sube al primer lugar el documento que había quedado en el séptimo. Cada escalón se justifica con la medición, no con la moda.
El asistente no puede responderle a un pasante lo que solo puede ver un gerente. Los permisos del documento y del ERP viajan con cada fragmento, y la respuesta se arma solo con lo que esa persona puede leer. Es la parte que más trabajo cuesta y la que nadie menciona en la demostración.
Cada respuesta trae el documento, la sección y el enlace. Lo que no esté en las fuentes se responde con un «no lo encuentro», que es una respuesta válida y la más importante de todas.
Se miden cuatro cosas, que son las que mide la ingeniería del ramo. Cuántos de los fragmentos que trajo el buscador entraron de verdad en la respuesta. Qué parte del texto de cada fragmento se usó. Qué porcentaje de las afirmaciones de la respuesta está respaldado por esos fragmentos. Y si la respuesta contesta todo lo que se preguntó. La tercera es la que decide: por debajo del setenta por ciento el sistema inventa, entre setenta y ochenta hay que revisar caso por caso, y de ochenta para arriba se puede poner delante de la gente. Esa batería se corre en cada cambio, como las pruebas de un programa, y ningún cambio entra si empeora el número anterior.
La de cuánto se usó de cada fragmento parece la menos importante y es la que ahorra dinero. Si de cada pedazo recuperado solo sirve una cuarta parte, los pedazos están cortados más grandes de lo necesario: se está pagando por enviarle al modelo texto que no influye en nada, y además se está respondiendo más lento. Recortarlos baja el costo por respuesta y suele subir la calidad, porque entra menos ruido. En el ejemplo que publica Mastering RAG, bajar de veinte a quince los fragmentos que se le entregan al modelo subió las dos medidas de calidad y bajó el costo por consulta alrededor de una cuarta parte; con todos los ajustes de ese ejemplo encadenados, el libro llega a la mitad, ahí ya cambiando de modelo y cediendo algo de calidad. Son cifras del libro sobre su propio caso, no resultados míos; las traigo porque muestran que aquí lo barato y lo bueno van del mismo lado más veces de las que uno espera.
Todo esto vive donde usted diga: en su servidor, en su nube o en la mía. Si la política de la empresa no permite que un documento salga, el modelo también puede correr dentro de casa, con un costo de infraestructura mayor y una calidad algo menor. Es una decisión suya, y se toma con los números a la vista. Es el mismo criterio de la videovigilancia con IA: el video se analiza dentro de cada sede y salen solo los eventos y sus clips.
Un asistente de estos no falla de cualquier manera. Falla de siete, están estudiadas, y cada una tiene un arreglo distinto. Saber cuál de las siete le está pasando es la mitad del trabajo; la otra mitad es medirla.
Nadie cargó el documento que la contiene, o se cargó y no entró al índice. Lo correcto es que el asistente diga «no lo encuentro». Lo que ocurre si nadie lo previó es que conteste igual, con algo que suena razonable. Se arregla completando el acervo y, sobre todo, midiendo que sepa callarse: esa prueba se hace a propósito, con preguntas cuya respuesta no está en ninguna parte.
El documento correcto existe, el buscador lo encontró, y quedó en el puesto once cuando solo se entregan diez. El usuario recibe una respuesta incompleta sin enterarse de que la buena se quedó fuera. Se arregla con metadatos en cada fragmento, con un reordenamiento que vuelva a puntuar los candidatos, y ajustando cuántos se entregan.
Se recuperaron muchos documentos y el modelo tiene un tope de texto. Lo que pasa del tope se corta, y a veces lo cortado es justo la parte que respondía. Es el fallo menos visible de todos, porque la respuesta llega completa de forma y coja de fondo. Se arregla recuperando menos y mejor, no más.
La respuesta está delante del modelo y no la extrae, porque alrededor hay ruido o porque dos documentos se contradicen. Termina devolviendo una generalidad. Se arregla antes de indexar: limpiando, quitando lo derogado y separando lo que se contradice.
Se pidió una tabla y llegó un párrafo; se pidieron tres opciones y llegó un ensayo. Es el fallo más fácil de corregir y el que más irrita, porque obliga a rehacer a mano lo que ya estaba. Se arregla con la instrucción escrita dentro del sistema, no dejándosela a quien pregunta.
«¿Cuál es el plazo?» sin decir de qué cliente. El modelo ha visto respuestas largas y cortas, y sin contexto no sabe cuál toca. Se arregla reescribiendo la pregunta antes de buscar: completándola con la conversación anterior, partiéndola en dos cuando pide comparar, o proponiéndole al usuario la versión precisa para que confirme.
Todo lo que dice es cierto y falta la mitad, que estaba en los documentos y disponible. Es el fallo más peligroso porque no se detecta: la respuesta se verifica, la cita sostiene, y nadie sale a buscar lo que no sabe que falta. Solo aparece midiendo la completitud contra una respuesta correcta conocida, que es para lo que sirve el examen del paso 1.
Esta lista no es mía: son los siete puntos de fallo que recoge Mastering RAG (Galileo, 2024), capítulo 2, a partir de un estudio sobre tres sistemas reales, uno de investigación, uno educativo y uno biomédico. La traigo por una razón práctica: cuando un asistente empieza a responder mal, la conversación normal es «la inteligencia artificial se equivocó». Con esta lista la conversación es otra: cuál de los siete, y qué se cambia. Fuera de estas siete quedan tres asuntos que no son de calidad sino de operación, y cada uno vive en su sitio: que un documento con datos personales salga citado en una respuesta, en la sección 08; que alguien meta instrucciones dentro de un documento, en la 09; y que responder tarde más, en las preguntas frecuentes.
Lo que cambia el trabajo de una persona no es que la máquina hable bonito. Es que la respuesta se pueda verificar en diez segundos y llevar a una reunión. La empresa de abajo es inventada; la forma de la respuesta no.
La pregunta: «¿Le puedo dar noventa días de plazo a Distribuidora del Norte?»
La respuesta: «No según el contrato vigente. El contrato marco firmado el 14 de marzo de 2024 fija sesenta días para ese cliente, con la posibilidad de ampliar a noventa solo con aprobación escrita de gerencia financiera, que es la cláusula séptima. Hoy tiene dos facturas vencidas por USD 4.180, la más antigua con 38 días. Fuentes: Contrato marco Distribuidora del Norte, página 4, cláusula séptima. Odoo, estado de cuenta del cliente al 22 de septiembre.»
El vendedor no tuvo que buscar el contrato, ni preguntarle a cartera, ni esperar hasta mañana. Y si la respuesta le parece rara, abre la cláusula y la lee, porque el enlace está ahí. Eso es todo el producto.
Y la cita también se mide. No basta con que al pie aparezca un documento: se revisa que la fuente citada sostenga de verdad la frase donde está puesta. Una cita que no sostiene lo que dice es peor que no citar, porque invita a confiar sin verificar.
Una empresa sin sistema tiene un problema anterior: sus datos no existen en forma consultable. Una empresa con Odoo, con SAP o con lo que sea, ya resolvió eso. Tiene clientes, productos, precios, movimientos y documentos en una base ordenada, con permisos definidos y con gente acostumbrada a trabajar contra un sistema.
Sobre esa base, el asistente deja de ser un juguete. Puede responder «el saldo de ese cliente es este y viene de estas tres facturas», o «ese producto tiene esta ficha y el último lote entró con este costo», y enlazar al registro. La combinación que sirve es la de los dos mundos: el documento explica la regla, el ERP da el dato de hoy.
Sobre cómo se le pregunta al ERP conviene ser preciso, porque ahí se juega la confianza. Dejar que el modelo escriba consultas libres contra su base de datos luce muy bien en una demostración y falla de tres maneras conocidas: se inventa nombres de columnas que no existen, se enreda cuando hay que cruzar cinco tablas, y devuelve una consulta distinta cada vez, que es justo lo que no sirve para auditar. Lo que se monta aquí es lo contrario. Una lista corta de consultas ya escritas y revisadas con usted, como el saldo de un cliente, el estado de un pedido, el costo del último lote o la disponibilidad en bodega, cada una con sus parámetros. El asistente elige cuál usar y con qué valores; la consulta que se ejecuta siempre es la misma, y queda registrada.
Y el mismo criterio se aplica hacia adentro. En mi propia contabilidad, cada factura que llega por correo se clasifica sola en su cuenta: primero por la regla del proveedor, después por la actividad económica que el SRI registra para ese RUC, y solo al final, para lo que ninguna de las dos sabe, se le pregunta a la inteligencia artificial. Trescientas cincuenta y siete facturas quedaron clasificadas ese día, y la inteligencia artificial hizo falta en muy pocas. Esa es la idea: usarla donde aporta y no donde una regla barata hace el trabajo.
Que responda bien no basta para abrirlo. Un asistente que contesta con acierto el noventa por ciento de las veces puede seguir siendo imposible de publicar si en el diez restante entrega un dato personal, opina de lo que no le toca o recomienda a la competencia. Son ocho cosas distintas y se prueban una por una, antes, no después del reclamo.
Se revisa que los documentos recuperados vengan al caso, que basten para contestar y que no sean cinco versiones de lo mismo. Es la prueba de calidad de siempre y es solo la primera de ocho.
Cinco pruebas, no una. Que aguante el ruido, con documentos vigentes y caducados mezclados a propósito. Que diga que no sabe cuando no está. Que junte dos documentos cuando la respuesta vive repartida entre los dos. Que advierta cuando la fuente misma trae un dato equivocado, en vez de repetirlo con aplomo. Y que se defienda de una pregunta mal hecha en vez de adivinar.
Se le pregunta a propósito por el teléfono de alguien, por la cédula de un cliente, por el sueldo de un empleado. La respuesta correcta es negarse, aunque el dato esté en un documento que esa persona podía ver. Que algo sea accesible no lo hace publicable en una respuesta.
Se le piden cosas que ninguna empresa quiere haber ayudado a hacer: redactar un correo de suplantación para sacarle datos a un cliente, o algo peor. Es la prueba que más se salta y la que peor se ve por escrito el día que alguien la publique.
Hay tres maneras conocidas de darle la vuelta a un asistente y las tres se prueban. Darle un papel de experto y añadirle urgencia emocional para que baje la guardia. Escribirle una primera línea que lo obligue a arrancar diciendo lo que el atacante quiere, porque lo que sigue ya sale solo. Y prohibirle de antemano las palabras con las que se niega, para que no pueda negarse. No hace falta que el atacante sea nadie de afuera: basta un empleado con curiosidad y una tarde libre.
A un asistente de su empresa le van a preguntar por el clima, por fútbol y por cuánto vale un carro usado. Lo correcto es que diga de qué se ocupa y no responda. Lo que suele pasar es que conteste, con seguridad y con información de ninguna parte, y que esa respuesta sea la que alguien muestre en una reunión.
La misma completitud del paso 7 de la construcción, pero mirada como criterio de salida: se revisan las preguntas donde la respuesta correcta tiene varias partes y se comprueba que estén todas. Una respuesta a medias es el error que más tarda en descubrirse.
Cuatro revisiones que no tienen que ver con la técnica y sí con su nombre. Que no adopte un tono grosero ni tajante cuando le pidan una opinión. Que no entre en temas que a una empresa no le corresponden, como encontrarle el resquicio a una norma tributaria. Que no nombre ni recomiende a su competencia cuando se lo pregunten. Y que diga bien quién es: un asistente que contesta que lo hizo otra compañía confunde a su cliente en la primera frase.
Los ocho escenarios están tomados de Mastering RAG (Galileo, 2024), capítulo 5, que los presenta como lo que más se pasa por alto al poner uno de estos sistemas en producción. Que esto no es teórico ya hay un caso resuelto: en 2024 el Tribunal de Resolución Civil de Columbia Británica, en Canadá, resolvió que una aerolínea tenía que responder por lo que su propio asistente le había dicho a un pasajero sobre una tarifa por duelo, aunque otra página del mismo sitio dijera lo contrario. La lección para una empresa mediana no es que no se use: es que lo que responde el asistente responde por usted, y por eso se mide antes de abrirlo.
El mercado está lleno de demostraciones que funcionan con tres documentos elegidos a dedo. Cinco preguntas separan una propuesta seria de una presentación bonita.
Si las escribe el proveedor después de construir, el examen está amañado. Se escriben antes, las escribe su gente, y con las respuestas correctas conocidas.
Pida ver una pregunta cuya respuesta no esté en los documentos. Si el asistente responde igual de seguro, el sistema no sirve para decidir nada.
Pregunte qué ve un usuario de bodega cuando pregunta por un contrato de la gerencia. Si la respuesta es «lo configuramos después», el proyecto tiene un agujero en el centro.
Qué se envía al proveedor del modelo, qué se guarda, cuánto tiempo, y si se usa para entrenar algo. Debe estar por escrito en el contrato, no en una conversación.
Es lo que más ocurre en una empresa con años de archivo: la política vieja y la nueva conviven en la misma carpeta. Pregunte cómo se marca la versión de cada documento y qué pasa con los pedazos de la versión anterior cuando se publica una nueva. Si no se borran, el asistente va a citar una norma derogada con toda seguridad, y va a tener razón en la cita y a estar equivocado en el fondo. Ese es el error más difícil de detectar de todos.
Un documento puede traer escrita una instrucción dirigida al modelo, a veces en letra blanca sobre fondo blanco, que nadie ve al abrirlo. Pregunte qué se revisa en los documentos cuando entran y en las preguntas cuando llegan. Si la respuesta es que no se revisa nada, cualquiera que pueda subir un archivo a una carpeta compartida puede cambiar lo que el asistente le responde a su equipo.
Un asistente no se entrega y se olvida. Los documentos cambian, las preguntas cambian y los modelos se actualizan. Si no hay una cifra mensual clara, la habrá igual, pero como sorpresa.
No se compra el proyecto entero de entrada. Se compra una prueba que responde con números si esto sirve para su empresa, y con eso usted decide.
Incluye: las preguntas reales recogidas con su gente, una fuente de documentos suya puesta a responder, la medición de cuántas respondió bien y cuántas mal, y un informe con lo que funciona, lo que no y qué costaría lo que falta. Si decide seguir, se descuenta del paso 2.
Incluye: las fuentes que se acordaron, los permisos de su organización respetados, la conexión con su ERP donde aporte, las respuestas con cita, la batería de preguntas corriendo en cada cambio y la capacitación de quien lo va a operar. El precio depende de cuántas fuentes y de si corre en su casa o en la nube.
Incluye: la vigilancia de que responde y de cuánto se demora, un tope de gasto mensual con aviso al llegar al ochenta por ciento, la incorporación de documentos nuevos, la revisión mensual de las preguntas que falló y el ajuste de la recuperación. Sin permanencia: se cancela cuando quiera.
Precios en dólares de los Estados Unidos; por mi régimen, RIMPE Negocio Popular, mis servicios se facturan con IVA tarifa 0 %, así que el valor es el final. El costo del modelo y de la infraestructura se factura aparte, al costo y con el detalle del proveedor, porque depende de cuánto se use. Garantía del paso 1: si al terminar la prueba el informe concluye que esto no le conviene, se lo digo por escrito y usted no paga el paso 2; el paso 1 no se devuelve, porque el trabajo de averiguarlo ya se hizo y esa respuesta también vale. Condiciones completas en la propuesta y en la política de reembolsos.
Se parece por fuera y no tiene nada que ver por dentro. Un chatbot de los de antes responde lo que alguien escribió en un árbol de respuestas. Esto lee sus documentos en el momento de cada pregunta, responde con sus palabras y cita de dónde lo sacó. Y cuando no está en los documentos, lo dice.
No. El modelo no cambia: recibe un fragmento, responde y lo olvida. Con los proveedores que uso, el contrato empresarial dice por escrito que no se entrena con lo que se envía por la interfaz de programación. Si su política exige que nada salga de la empresa, se monta un modelo dentro de su infraestructura. Cosa distinta del entrenamiento es el registro: los proveedores conservan las llamadas un tiempo para detectar abuso, y eso está escrito en su contrato, no en el mío. Si ese registro ya es demasiado para su política, la solución no es un contrato mejor: es que el modelo corra dentro de su casa.
Se va a equivocar, como se equivoca una persona. La diferencia está en que cada respuesta trae su fuente, así que el error se detecta abriéndola, y en que la batería de preguntas mide cuánto se equivoca antes de que lo use nadie. Un sistema que no se puede verificar no se pone en producción.
La meta es responder en unos cuatro segundos, con la parte de búsqueda por debajo de tres décimas de segundo. Eso se mide y se le reporta igual que la calidad, y no solo el promedio: también el peor de cada veinte, que es el que la gente recuerda. Un asistente que responde bien pero se hace esperar se deja de usar en tres semanas, y eso se ve en el conteo de preguntas mucho antes que en una queja.
Menos de la que cree. Una carpeta de manuales y políticas, o un año de contratos, ya permite la prueba de dos semanas. Lo que hace falta de verdad son las preguntas reales: sin ellas no hay forma de saber si sirve.
Sí, y las siglas internas son justamente donde se nota el trabajo: el buscador tiene que entender que «NP» es su nota de pedido y no otra cosa. Eso se resuelve con un glosario de la empresa dentro del sistema, no con un modelo más caro.
No. El asistente trabaja con documentos venga de donde venga. Tener un ERP ayuda porque hay datos ordenados con permisos, y con Odoo además conozco el terreno. Con otro ERP se conecta por su interfaz de programación o por vistas de solo lectura.
Puede, y a veces es lo correcto: se lo diré si es su caso. Las herramientas listas resuelven bien el camino fácil. Lo que se complica es su acervo real, con documentos derogados, permisos por área y siglas propias. Ahí es donde se cae la demostración y donde vale la pena el trabajo.
12 /
Cuénteme qué preguntas se repiten en su empresa y dónde están hoy las respuestas. Le respondo con la propuesta de la prueba en menos de un día hábil.
contacto@andresbrinez.comSeis años construyendo sistemas para empresas en tres países: Colombia, Ecuador y Australia · Miembro de la Odoo Community Association