Como diría Iker Jiménez “ No vamos a decir que sea verdad, ni todo lo contrario, pero sin duda, cuanto menos es inquietante”. Y así es, todo esto del Big Data es desde luego misterioso.

Recuerdo hace aproximadamente 7 años que uno de los procesos de selección que llevé, estaba relacionado con todos estos “nuevos” conceptos de manejo de datos, concretamente buscaba un profesional especializado en data mining o lo que es lo mismo minería de datos; una técnica o proceso que consiste en la extracción de información de muchos datos. Esos muchos datos que ahora llamamos de manera más habitual, Big Data.

El imparable tsunami de datos crea nuevas profesiones

Analizar datos se ha hecho siempre, pero lo que antes llamábamos grandes datos, se quedan pequeños con respecto a la cantidad de información que generamos en la actualidad. Según el artículo ¿Qué es eso del “Big Data”? que leí hace unos meses en el periódico El País, hablan de una cifras que dan hasta miedo.

Según la Unión Europea ¿sabéis cuántos billones de bytes se generan por minuto, en la actualidad? 1.700 nuevos billones de bytes por minuto. Equivale, dicen, a unos 360.000 DVD, lo que de media vienen a ser seis megabytes por persona y día (más o menos la cantidad de datos que generaba en toda su vida una persona del siglo XVI).

Hablamos de billones de consultas de Google, millones de tuits en Twitter, actualizaciones en Facebook, videos en Youtube y transacciones mediante tarjeta de crédito por segundo 8O La billonada de información que producimos a través de nuestros dispositivos tecnológicos, en nuestro día a día, es una auténtica locura.

Desde que la tecnología es más accesible para todo y todos, ha habido una transformación brutal. La calidad, el formato, la cantidad y las fuentes de la información han cambiado, por tanto analizar esa información no puede hacerse con las herramientas de siempre, hay que crear unas mejores y por tanto, profesionales que las desarrollen: especialistas capaces de bucear y descubrir esas conexiones, desarrolladores capaces de crear nuevos software para almacenar y gestionar esa avalancha digital.

El desequilibrio laboral entre la oferta y la demanda

Le comentaba a Carlos del Cacho, uno de los primeros profesionales Big Data y Data Scientist que conocí antes de que estuvieran “tan de moda” estas especializaciones, la importancia que cada vez más está teniendo un rol como el suyo.

Carlos considera que el ascenso de perfiles matemáticos y estadísticos en el ámbito del desarrollo de software es una tendencia emergente que se manifiesta a nivel internacional. La difusión de Internet y la presencia cada vez más cotidiana de dispositivos emisores de datos como son los teléfonos móviles con sus aplicaciones, han provocado una revolución silenciosa que promete cambiar la forma de hacer negocios. Fenómeno que viene de la mano de la caída paulatina de los costes de almacenamiento, que posibilita guardar casi cualquier interacción con el usuario final: visualizaciones de páginas, transacciones, aperturas de correos, etc. Todo evento es susceptible de ser almacenado y tratado posteriormente para ofrecer una mejor experiencia de usuario.

Para él, no es de extrañar por tanto que se estime que el 90% de los datos disponibles actualmente en el mundo hayan sido generados a lo largo de los dos últimos años (fuente: SINTEF). Esta ingente cantidad de información requiere de nuevos perfiles profesionales con la capacidad de procesar y analizar volúmenes elevados de datos con el propósito de servir de ayuda a la toma de decisiones, cada vez más orientada al análisis cuantitativo, así como de generar nuevas fuentes de ingresos o de optimizar las ya existentes.

Los puestos demandan un nivel alto de cualificación y ahora mismo nos encontramos con que no hay oferta suficiente para cubrir la demanda de las empresas. Hecho que empuja los salarios al alza y provoca que este tipo de profesionales se encuentren muy solicitados.

El mercado todavía no sabe qué es lo que necesita

Sergio Gómez, DevOps especializado en Spark, Hadoop, Cassandra, Scala… Me comentaba que el panorama de Big Data en Europa es bastante desolador. Considera que hay una alta demanda de perfiles multipropósito, cuando el mercado todavía no sabe qué es lo que necesita. Además, afirma que hay un mercado claramente en alza, si bien parece ir con cierto letargo en comparación con USA.

Al igual que Carlos, confirma que estas tecnologías se pagan bien, sobre todo si lo comparamos con otras tecnologías menos demandadas.Además, se cubre la demanda y por tanto, este “pequeño” sector va en contra de la tendencia nacional: los recortes.

Como dato curioso, Sergio no ve reflejados en las tecnologías “Big Data” el claro futuro a corto y medio plazo de Apache Spark. Si tuviera que darle sentido, Sergio diría que la demanda de Spark está al alza mientras que la relacionada con Hadoop está asociada a la supervivencia de ecosistemas existentes.

Conclusión

Interesantes sin duda las reflexiones tanto de Sergio como de Carlos. A día de hoy, dudo que en España haya tantas empresas que manejen tanta cantidad de datos como para contratar expertos en Data Science y Big Data, pero que cada vez son más, no hay ninguna duda.

No sé vosotros, pero ahora si que da un poco de miedito saber que la información es poder… si aprenden a usarla.