NO es Big Data, NO es Data Science, NO es Business Intelligence, NO es Spark, NO es Python, NO es Hadoop etc…
La ingeniería de datos es el ARTE y conjunto de técnicas para procesar, estructurar y normalizar los datos utilizando la tecnología. La ingeniería de datos es programación y los mejores ingenieros de datos suelen ser programadores.
Un ingeniero de datos debe tener conocimientos de Business Intelligence, debe tener conocimientos en Bases de Datos, debe saber diseñar esquemas Entidad relación, debe saber que es la tercera forma normal, debe saber que es la normalización de tablas y la desnormalización etc…
El ingeniero de datos debe ser capaz de trabajar con cualquier formato de datos, debe ser capaz de acceder a los datos de diferentes fuentes, procesarlos, estructurar y normalizar la información e insertarla en la base de datos, generar ficheros CSV etc…
La ingeniería de datos es la base de cualquier proyecto Big Data, Business Intelligence, Data Science o integración de datos.
El ingeniero de datos hoy trabaja con Amazon S3, mañana con Azure Data lake y pasado mañana con carpetas compartidas, le es igual la tecnología porque lo importante es tener bien claro los conceptos y que se necesita hacer.
La diferencia de un ingeniero de datos y un data scientist es que el ingeniero de datos trabaja con la información desestructurada para normalizarla y ofrecérsela a negocio y el Data Scientist utiliza la información que el ingeniero de datos le ofrece para sacar patrones, predecir, conclusiones, insights etc…
¿Qué es el web scraping? ¿Qué se puede obtener con él? ¿Por qué es interesante…
¿Qué es el web scraping? ¿Qué se puede obtener con él? ¿Por qué es interesante…
En un mundo cada vez más digitalizado las personas tendemos cada vez más a realizar…
Introducción Ya utilizas powerBI de costumbre para analizar tu negocio y te gustaría ir un…
Introducción En el desarrollo de proyectos de Business Intelligence, Big Data y Data Science la…
¿Python en SQL Server? Sí, desde la versión de SQL Server 2016 se…