Qué es el Big Data

Qué es el Big Data

big data

Big data: ¿Qué es?

¿Nunca te has preguntado qué es el Big Data? Si tuvieramos que definir de alguna manera, sería una definición donde no debería faltar el procesamiento del gran volumen de datos para manipular la información con un objetivo empresarial concreto. Normalmente, estos proyectos buscarán automatizar procesos, ahorrando costes o generando más beneficios.

A día de hoy, no existe una definición única de lo que es Big Data en el diccionario.

Roles de trabajos en este mundo

En general, según esta noticia de El País hacían falta más de 90.000 expertos en el Mundo de los Datos. Existen muchas maneras de llamar a los perfiles y los roles, pero en general, se ven los siguientes perfiles:

1. Desarrollador / Arquitecto Big Data (Big Data Architect)

Qué hace un Desarrollador o Arquitecto Big Data
Qué hace un Desarrollador o Arquitecto Big Data.

Este perfil se encarga de construir los pilares de estos proyectos Big. Sabe programar y maneja grandes Bases de Datos. Principalmente, debe dominar las herramientas del ecosistema Hadoop. Este perfil es para ti si…:

  • Te gustan los comandos y las pantallas negras
  • Te encantaría construir y mantener estos grandes sistemas de primera mano
  • Te gusta comprender como se comunican las diferentes Herramientas y buscas la eficiencia entre sistemas

El desarrollador Big Data con el tiempo y experiencia comprende las diferentes piezas y se vuelve Arquitecto.

2. Ingeniero de Datos (Data Engineer)

Qué hace un data engineer o Ingeniero de Datos en Big Data
Qué hace un data engineer o Ingeniero de Datos en Big Data.

La figura de Ingeniero de Datos se encarga de la gobernanza del dato, esto es, revisa que la información es como tiene que ser, en caso contrario, debe reparar y transformarlo. Este puesto te va a encajar si…:

  • Te gustaría aprender como transformar información de las empresas en materia prima para proyectos Big Data
  • Te encantaría comprender como formar parte del proceso de automatizar un proyecto entero
  • Manipular la información de origen y darle forma para acabar haciendo del sistema Big Data un sistema útil

3. Analista de Datos (Data Analyst)

Qué hace un Analista de Datos o Data Analyst en Big Data
Qué hace un Analista de Datos o Data Analyst en Big Data.

Esta figura es un perfil donde extrae conclusiones a negocio. No es un perfil tan técnico, es más de Negocio. Es tu camino si…:

  • Te encanta escuchar y sentarte con cliente para diseñar el Panel que le resuelve los problemas
  • Quieres conectar la información que tienes disponible y hacer visualización de datos
  • Buscas extrapolar a partir de datos información útil y práctica que ayuda a Negocio

Para empezar por este camino, te sugiero que empieces a leer a cerca de Inteligencia de Negocios o Business Intelligence.

4. Científico de Datos (Data Scientist)

El trabajo más de moda del siglo XXI se basa en utilizar la programación además de la estadística y nuestros conocimientos de Machine Learning para hacer IAs y predecir. Este mundo es tuyo si…:

  • Buscas comprender como se predice a partir de datos ya existentes
  • Eres bueno programando pero buscas comprender como junto a los algoritmos se hacen IAs
  • Eres capaz de interpretar artículos científicos y estar al día para aplicarlos en negocio
  • Te gusta la matemática o la estadística

Si quieres empezar desde cero para aprender Inteligencia Artificial, esta guía te ayuda a empezar en el mundo de las IAs.

Ejemplos típicos de proyectos aplicando Big Data

  • Fuga de clientes en un banco o teleoperadora
  • Sistemas de detección de Fraude
  • Sistemas de medición de lo que dicen sobre nosotros (Análisis de Sentimientos)
  • Análisis y uso de modelos predictivos para recomendar microcréditos
  • El uso de pulsometros para medir el rendimiento de jugadores de fútbol

Ejemplos del Big Data por sectores

Existen muchas maneras de utilizar el Big Data en el mundo empresarial, fíjate:

  • Sector energético: Monitorización para ajuste de energía ofertada en cada ciudad
  • Sector Financiero: Sistemas expertos de inversión automática
  • Sector Bancario: Agrupamiento de clientes para concesión de créditos
  • Sector Inmobiliario: Localización de oportunidad de compraventa

Como aprender y empezar desde cero

En el mundo de la tecnología, las bases fundamentales son la capacidad de Programación y el manejo de las grandes Bases de Datos. Por eso, si vienes de no saber nada, no te preocupes. Lo primero que debes saber son dos tecnologías principalmente:

1. Python

Python: Lenguaje de programación.
Python: Lenguaje de programación

El primer paso es aprender a programar. En el caso de Big Data, siempre que estudiamos el mercado en las diferentes ciudades esta tecnología es la más demandada para programar en los puestos de trabajo Big Data en España.

En este mercado se pide Python por una sencilla razón: buscamos automatizar procesos rápidos de transformación de datos o extracción de información para los proyectos de Big Data. A estas pequeñas tareas de manipulación muy concreta se le llama scripting.

Por otra parte, una vez nos hacemos con los fundamentos de programación no sólo seremos capaces de extraporlarlo al mundo de los Datos Big o IA, podremos hacer nuestros juegos, Webs escalables, proyectos personales automáticos…

Si quieres aprender más a cerca de la programación puedes leernos en el apartado de Programación.

2. SQL

Bases de Datos y SQL
Bases de Datos y SQL.

Cuando hablamos de Big Data son proyectos con un gran volumen de información diario. Eso implica que las empresas deben tener mucha data, nuestra prima. Si bien es cierto que muchas empresas aún se manejan con Excel las empresas que nos contratan para el manejo masivo de estos datos se nutren de SQL.

SQL es otro lenguaje de programación donde automatizaremos las preguntas o consultas para acceder a esta información. La idea es que esta programación la usaremos para filtrar, modificar y recoger la información desde nuestras Bases de Datos. Aquí tienes una guía rápida de qué es una Base de Datos.

Existen muchas tecnologías SQL. Sin embargo, todas ellas se basan en la misma idea.

De esa manera, tendrás la capacidad de transformar los datos mediante la Programación la información para los grandes paneles o bien permitir que hagan Inteligencia Artificial los Científicos de Datos después.

Preguntas frecuentes

¿Cómo aprender Big Data?

Paso uno: aprende a programar y a manejarte con las Bases de Datos. Paso dos: Aprende a utilizar las herramientas del ecosistema Hadoop. Paso tres: construye tu proyecto Big Data para una empresa.

¿Qué es y para qué sirve el big data?

Es la idea de que a partir de información de una empresa, a veces cruzada con información de internet, dar nuevos usos creativos para ahorrar costes o generar más beneficios. Ejemplo rápido: un panel para ver qué dicen de nosotros. Nos ayuda a aplicar estrategias para ver si mejora.

¿Cómo funciona el Big Data en las empresas?

En pocas palabras, cuando es una empresa muy muy grande tienen sistemas de medición en tiempo real. Esos sistemas los vuelven empresas inteligentes porque pueden medir sus problemas y mejorarlos.

¿Qué necesitas para aprender Big Data?

Saber programar y acceder a la información. Así, puedes transformar la información. Recomendamos comenzar por Python y SQL.

¿Dónde puedo aprender Big Data?

Puedes aprenderlo por tu cuenta investigando o bien puedes comprar un curso o hacer un máster. Hay muc has maneras.

¿Que estudiar para ser un experto en Big Data?

Si no sabes nada al respecto, te recomendamos empezar con la Programación y Bases de Datos. Después, puedes bucear en el Ecosistema Hadoop. Si te sirve de consejo, para ser experto en un área de tecnología jamás dejarás de investigar.

¡Haz clic para puntuar esta entrada!
(Votos: 2 Promedio: 5)
Escrito por:

Ibon Reinoso

Soy algo así como un profesor viajero y me encanta enseñar sobre BIG DATA, PROGRAMACIÓN, IA... En esta plataforma os resumo lo que hablo por ciudades como Sevilla, Alicante, Cádiz, Canarias, Ceuta, Santander, Cáceres, Guadalajara…

Ver todas las entradas

Deja una respuesta

Tu dirección de correo electrónico no será publicada.