Ir al contenido

Data Engineering with Python: las herramientas envejecieron, la lista de comprobación no

Paul Crickard · Packt Publishing, 2020 (extracto)
7 de diciembre de 2025 por
Data Engineering with Python: las herramientas envejecieron, la lista de comprobación no
Andrés Briñez

El libro va de leer archivos y bases, limpiar y transformar, y montar todo eso como un proceso que se ejecuta solo, con versionado, monitoreo y despliegue. Después pasa a flujos continuos con las herramientas de aquel momento. El extracto cubre la primera parte, que es la que me interesaba.

Qué me llevé

La lista de lo que hace que una tubería sea de producción: que se pueda volver a ejecutar sin duplicar nada, que valide lo que recibe en lugar de confiar, que registre qué hizo y que avise cuando falla. Esas cuatro cosas separan un proceso que funciona de uno que además se puede dejar solo. En las empresas medianas casi todas las integraciones que encuentro cumplen la primera a medias y ninguna de las otras tres.

La idea de repetir sin duplicar es la que más discusiones evita. Un proceso que se ejecuta dos veces por un reintento no puede crear dos asientos, dos pagos ni dos facturas. Eso se resuelve en el diseño, con una clave que identifique el evento, y no con la promesa de que nadie va a apretar el botón dos veces.

Y la validación en la frontera: revisar el dato cuando entra, no cuando estalla tres pasos después. Un archivo del banco con una columna corrida se detecta en la entrada o se persigue durante una semana en la contabilidad.

Qué dejé fuera

Las herramientas, que es casi todo el resto: las capturas de pantalla y los menús de 2020 ya no coinciden con nada, y ese es el problema de los libros escritos alrededor de un producto. También dejo fuera la parte de flujos continuos, que para una empresa que cierra el mes con corte diario es resolver un problema que no tiene. Es un libro de nivel inicial, y el extracto es suficiente.

Data Acquisition Handbook: por qué la integración con la báscula falla en el cable
Manual de referencia sobre adquisición de datos y acondicionamiento de señal, sin autor acreditado
WhatsApp