business intelligence

  • Los científicos de datos y los ingenieros de datos pueden ser nuevos títulos de trabajo, pero los roles de trabajo centrales han existido por un tiempo. Tradicionalmente, cualquier persona que analice datos se llamaría "analista de datos" y cualquier persona que crea plataformas de respaldo para respaldar el análisis de datos sería un "Desarrollador de inteligencia empresarial (BI)".

    Con la aparición de Big Data, comenzaron a aparecer nuevos roles en corporaciones y centros de investigación como científicos de datos e ingenieros de datos.

    Aquí hay una descripción general de las funciones del analista de datos, desarrollador de BI, científico de datos e ingeniero de datos.

    Analista de datos

    Los analistas de datos son profesionales de datos con experiencia en su organización que pueden consultar y procesar datos, proporcionar informes, resumir y visualizar datos. Tienen un sólido conocimiento de cómo aprovechar las herramientas y los métodos existentes para resolver un problema, y ​​ayudan a las personas de toda la empresa a comprender consultas específicas con informes y cuadros específicos. Sin embargo, no se espera que traten con el análisis de grandes datos, ni se espera que tengan los antecedentes matemáticos o de investigación para desarrollar nuevos algoritmos para problemas específicos.

    Habilidades: los analistas de datos deben tener una comprensión básica de algunas habilidades básicas: estadísticas, recopilación de datos, visualización de datos, análisis exploratorio de datos,

    Herramientas: Microsoft Excel, SPSS, SPSS Modeler, SAS, SAS Miner, SQL, Microsoft Access, Tableau, SSAS .

     

    Desarrolladores de inteligencia de negocios

    Los desarrolladores de inteligencia empresarial son expertos en datos que interactúan más estrechamente con las partes interesadas internas para comprender las necesidades de informes y luego recopilar requisitos, diseñar y crear soluciones de BI e informes para la empresa. Deben diseñar, desarrollar y dar soporte a almacenes de datos, paquetes ETL, cubos, paneles de control e informes analíticos nuevos y existentes. Además, trabajan con bases de datos, tanto relacionales como multidimensionales, y deben tener excelentes habilidades de desarrollo de SQL para integrar datos de diferentes recursos. Utilizan todas estas habilidades para satisfacer las necesidades de autoservicio de toda la empresa. Normalmente no se espera que los desarrolladores de BI realicen análisis de datos.

    Habilidades: ETL, elaborar reportes, OLAP, cubos, web intelligence, business objects design,
    Herramientas: Tableau, dashboard tools, SQL, SSAS, SSIS, SPSS Modeler.

     difference between data scientist and data engineer img 2

    Ingeniero de datos

    Los Ingenieros de datos son los profesionales de datos que preparan la infraestructura de "big data" para ser analizados por los científicos de datos. Son ingenieros de software que diseñan, construyen, integran datos de diversos recursos y administran big data. Luego, escriben consultas complejas sobre eso, se aseguran de que sea fácilmente accesible, que funcione sin problemas y que su objetivo sea optimizar el rendimiento del gran ecosistema de datos de su empresa.
    También pueden ejecutar algunos ETL (Extraer, Transformar y Cargar) sobre grandes conjuntos de datos y crear grandes almacenes de datos que pueden ser utilizados para informes o análisis por científicos de datos. Más allá de eso, dado que los Ingenieros de datos se centran más en el diseño y la arquitectura, generalmente no se espera que conozcan ningún aprendizaje automático o análisis de big data.

    Habilidades: Hadoop, MapReduce, Hive, Pig, Data streaming, NoSQL, SQL, programación.
    Herramientas: DashDB, MySQL, MongoDB, Cassandra

     

    Científico de datos

    Un científico de datos es el alquimista del siglo XXI, alguien que puede convertir datos sin procesar en ideas purificadas. Los científicos de datos aplican estadísticas, aprendizaje automático y enfoques analíticos para resolver problemas empresariales críticos. Su función principal es ayudar a las organizaciones a convertir sus volúmenes de big data en información valiosa y útil.
    De hecho, la ciencia de la información no es necesariamente un campo nuevo en sí, pero puede considerarse como un nivel avanzado de análisis de datos que está impulsado y automatizado por el aprendizaje automático y la informática. En otra palabra, en comparación con los "analistas de datos", además de las habilidades analíticas de datos, se espera que los científicos de datos tengan una gran capacidad de programación, una capacidad para diseñar nuevos algoritmos, manejar grandes volúmenes de datos, con cierta experiencia en el conocimiento del dominio.

    Además, también se espera que los científicos de datos interpreten y entreguen con elocuencia los resultados de sus hallazgos, mediante técnicas de visualización, aplicaciones de ciencia de datos de construcción o narrando historias interesantes sobre las soluciones a sus problemas de datos (negocios).
    Las habilidades de resolución de problemas de un científico de datos requieren una comprensión de los métodos de análisis de datos tradicionales y nuevos para construir modelos estadísticos o descubrir patrones en los datos. Por ejemplo, crear un motor de recomendación, predecir el mercado de valores, diagnosticar a los pacientes según su similitud o encontrar patrones de transacciones fraudulentas.
    Los científicos de datos a veces pueden presentar grandes datos sin tener en cuenta un problema empresarial en particular. En este caso, se espera que el científico de datos curioso explore los datos, formule las preguntas correctas y proporcione hallazgos interesantes. Esto es complicado porque, para analizar los datos, un científico de datos sólido debe tener un conocimiento muy amplio de las diferentes técnicas en el aprendizaje automático, la minería de datos, las estadísticas y las infraestructuras de big data.

    Deben tener experiencia trabajando con diferentes conjuntos de datos de diferentes tamaños y formas, y ser capaces de ejecutar sus algoritmos en datos de gran tamaño de manera efectiva y eficiente, lo que normalmente significa mantenerse actualizado con las últimas tecnologías de vanguardia. Por esta razón, es esencial conocer los fundamentos y la programación de la informática, incluida la experiencia con lenguajes y tecnologías de bases de datos (grandes / pequeñas).

    Habilidades: Python, R, Scala, Apache Spark, Hadoop, machine learning, deep learning, estadistica.
    Herramientas: Data Science Experience, Jupyter, RStudio.

     

    Data Engineer vs Data Scientist vs Data Analyst

     

    Fuente: https://cognitiveclass.ai/blog/data-scientist-vs-data-engineer/

  • En un mercado donde el dato es el claro dominante de las ventajas competitivas a las que toda empresa aspira, es fundamental que los profesionales y líderes del sector estén al tanto y evalúen todas las tecnologías emergentes de cara a determinar cómo entienden las organizaciones sus datos y cómo sacar el máximo partido a estos.

    Tras entrevistar a expertos del sector, administradores de productos, ingenieros y especialistas en visualización de datos, Tableau ha podido reunir las tendencias que  reinarán en 2019 y que giran en torno a la convergencia entre las personas, los procesos y la tecnología.

    1. Auge de la inteligencia artificial explicable

    Según Gartner en 2020, el 85 % de los directores de tecnología probarán programas de inteligencia artificial por medio de una combinación de iniciativas de compra, desarrollo y contratación externa.

    Richard Tibbetts, administrador de productos de inteligencia artificial en Tableau afirma que: “El escepticismo de los responsables de la toma de decisiones está justificado cuando las respuestas proporcionadas por la inteligencia artificial y el aprendizaje automático no se pueden explicar. Los análisis y la inteligencia artificial deben ayudar (y no reemplazar por completo) la interpretación y la experiencia humana”.

    Los responsables de la toma de decisiones esperan poder hacer preguntas de seguimiento sobre las razones por las cuales un modelo indica algo, cuán seguro está y qué diría si las entradas fueran diferentes. Para tener un impacto revolucionario en las organizaciones, la inteligencia artificial debe generar confianza y además, es necesario justificar las conclusiones extraídas de manera comprensible y sencilla, haciendo un seguimiento con preguntas para ayudar a los humanos a interpretar mejor sus datos.

    1. El lenguaje natural humaniza los datos

    El procesamiento del lenguaje natural (NLP) combina ciencias de la computación y lingüística para ayudar a los sistemas a comprender el significado del lenguaje humano. En la actualidad, los proveedores de BI brindan una interfaz de lenguaje natural a las visualizaciones para que los usuarios puedan interactuar con sus datos de manera natural y hacer preguntas a medida que se les ocurren sin tener conocimientos profundos de la herramienta de BI. Cuando es posible interactuar con una visualización como si fuera otra persona, se abren áreas de la canalización del análisis que solían ser exclusivas para científicos de datos y analistas avanzados por lo que los usuarios no están limitados por el conjunto de conocimientos sobre análisis, sino solo por la amplitud de sus preguntas.

    1. Los análisis eficaces ponen los datos en contexto

    Las plataformas de BI evolucionan y ponen los datos donde las personas los necesitan para actuar y tomar decisiones. Se combinan con flujos de trabajo, procesos y operaciones de negocio claves mediante funcionalidades, como análisis móviles, análisis incorporados, extensiones de dashboards y API. Como resultado, los análisis útiles aceleran el proceso de toma de decisiones para los roles técnicos y no técnicos.

    1. Los datos aumentan el impacto social positivo

    Los datos han cambiado la forma en la que operan las organizaciones, incluidas las organizaciones no gubernamentales (ONG) y las que no tienen ánimo de lucro.

    Históricamente, las ONG y las organizaciones sin ánimo de lucro no han tenido los recursos para invertir en infraestructuras de datos sofisticadas ni equipos grandes de personas que trabajaran con datos. Ahora, con la rentabilidad y la flexibilidad de la tecnología en la nube, esas organizaciones pueden desarrollar entornos de datos sofisticados sin realizar inversiones masivas en instalaciones físicas, lo que allana el camino para más iniciativas de impacto social impulsadas por los datos.

    1. Los códigos éticos llegan a los datos

    Debido a regulaciones como el RGPD, los líderes están evaluando el futuro de las prácticas éticas relacionadas con los datos.
    Las empresas están analizando de manera crítica todo el ciclo de vida de los datos, desde la recopilación hasta el análisis. Esto ofrece la oportunidad de evaluar la estrategia de administración de datos completa a fin de garantizar el cumplimiento de las regulaciones y el código interno de ética.

    1. La administración de datos converge con las plataformas de BI modernas

    La selección y administración de datos es el proceso de identificar qué fuentes de datos son necesarias y poner los datos en el contexto del negocio. De esta manera, los usuarios corporativos pueden interactuar con los datos, entenderlos y utilizarlos para crear sus análisis.

    A medida que las fuentes de datos se vuelven más complejas, diversas y numerosas, la administración de datos es más importante que nunca en las implementaciones de BI modernas. Como cada vez es mayor la cantidad de personal que usa datos para impulsar la toma de decisiones, las organizaciones deben garantizar su precisión y su uso en los análisis.

    1. Contar historias con los datos es el nuevo idioma de las organizaciones

    Independientemente del nivel de automatización, el tamaño del conjunto de datos y la sutileza de los cálculos, si no se pueden comunicar los descubrimientos a otras personas, es imposible generar un impacto con estos análisis. La visualización de datos, no es otra cosa que un lenguaje y cada vez es más común que los analistas tengan que saber cómo comunicar información a los responsables de la toma de decisiones de una forma práctica y fácil de comprender.

    1. Las empresas profundizan en la adopción del análisis

     A menudo, las iniciativas de Business Intelligence tienen fechas de inicio y finalización bien definidas. Además, es común que se consideren “terminadas” después de implementarse para los usuarios. Sin embargo, el simple hecho de proporcionar acceso a soluciones de BI no es lo mismo que adoptarlas. Los directores de datos, en especial, están reevaluando el papel que tiene el BI en un cambio estratégico hacia la modernización, porque el valor real no se mide por la solución que uno implementa, sino por cómo la usa el personal para generar un impacto en el negocio.

    1. La democracia de los datos eleva al científico de datos

    En el informe sobre puestos de trabajo emergentes de Estados Unidos de 2017, LinkedIn señaló que “la demanda de científicos de datos había aumentado más del 650 % desde 2012” y que “cientos de empresas estaban contratando personas para esos roles” en distintos sectores.

    El grupo de candidatos es cada vez más acotado, ya que “los ingenieros de aprendizaje automático, los científicos de datos y los ingenieros de Big Data se clasifican como los principales puestos de trabajo emergentes”.
    Actualmente, se espera que los científicos de datos tengan conocimientos avanzados sobre estadística y aprendizaje automático, además de contar con pensamiento estratégico orientado a los negocios y conocimiento detallado sobre su sector.

    1. La aceleración de la migración de datos en la nube impulsa la adopción del BI moderno

    Los datos pasan a la nube más rápido que nunca e impulsan a las organizaciones a repensar su estrategia de datos.
    Cada vez más empresas reconocen los beneficios de trasladar los datos a la nube, lo que incluye más flexibilidad y escalabilidad a un menor coste total de propiedad. De hecho un estudio de Gartner indica que los servicios en la nube pública tendrán un crecimiento del 21.4 % en 2018 y alcanzará los 186 400 millones de USD.

    Esto nos lleva a la “fuerza de la gravedad de los datos” un concepto que sugiere que los servicios y las aplicaciones van hacia donde residen los datos. A medida que aumenta a un ritmo acelerado la cantidad de organizaciones que trasladan las cargas de trabajo a la nube, esa fuerza de gravedad también atrae los procesos de análisis a la nube.

    ¿Crees que 2019 nos traerá más tendencias?

    Puedes leer en profundidad el informe de Tableau en el siguiente link: https://www.tableau.com/es-es/reports/business-intelligence-trends

    Fuente y derechos: Tableau Blog ( https://www.tableau.com/es-es/reports/business-intelligence-trends)

  • ESTRATEGIA:

    1. Soñando que la analítica es una varita mágica plug & play que traerá un retorno de la inversión a muy corto plazo. Los modelos básicos de Excel bien ejecutados pueden haber traído ganancias rápidas en la década de 2000, pero los análisis avanzados requieren algo de tiempo. 

    La analítica nunca es plug & play porque la conexión de datos en modelos es extremadamente larga, porque los aprendizajes no son transferibles entre empresas o mercados y porque requieren un alto OPEX en personas y un alto CAPEX en sistemas.

    2. Resolver problemas que no merecen ser resueltos, lo que resulta en una pérdida de tiempo y recursos. El análisis no se trata de soluciones que buscan problemas, sino de problemas que buscan soluciones. 

    Preguntas como "¿Qué podemos hacer con la cadena de bloqueo? "Cómo puedo resolver mi problema de marketing" es una pregunta que tiene sentido. El peor error del Jefe de Análisis de Datos es no tener una visión extremadamente clara de los principales retos y oportunidades a los que se enfrenta cada área funcional.


    3. Confiar únicamente en proveedores o consultores para el análisis, especialmente en la creación de modelos. La autopsia de cómo las empresas fallan en el desarrollo de capacidades con consultores es la siguiente: el cliente contrata a un consultor para que entregue un proyecto y, al mismo tiempo, desarrolle capacidades internas. 

    El cliente tiene expectativas demasiado poco realistas sobre el impacto del proyecto y los consultores nunca dicen "No" y sobrevenden el proyecto. El impacto no se materializa y un día el cliente le dice al consultor: "Si no obtienes algún impacto en el próximo mes, detendré tu contrato". Ese día, el desarrollo de capacidades muere oficialmente, si es que hubiera existido. RIP. Unos cuantos millones de dólares en el cubo de la basura. De todos modos, la analítica es el cerebro de la empresa. Trabajar con proveedores y consultores puede funcionar, pero hay que pensar bien la gobernanza.

    4. No elaborar una lista completa de prioridades. Dado que sólo se puede contar con cinco dedos en una mano, por lo tanto, la gerencia debe escoger un máximo de cinco métricas en lugar de hacer que todo parezca importante.

    5. Decir sí a peticiones aleatorias o accesorias, como proyectos de visualizaciones y reportes glamourosos que a menudo resultan en el síndrome de análisis-parálisis.


    6. Asumiendo que no pagar por datos externos o subir a la nube es la solución para la privacidad y seguridad de los datos. Si bien existen algunas restricciones regulatorias en algunos sectores y países, y a veces incluso límites éticos, la monetización externa y la nube realizada correctamente no implican necesariamente riesgos de seguridad.


    GENTE:

    7. Organizar el análisis bajo áreas que no impulsan el negocio a diario, como la TI o la estrategia. La analítica sólo es poderosa si se combina organizativamente con las operaciones diarias. Debe ser organizado por negocio, no IT o Estrategia

    8. Permitir que múltiples equipos de análisis florezcan con silos organizacionales entre ellos. Analytics necesita mantener una visión integrada del negocio.

    9. Atraer el talento sólo a través de la compensación base. En cambio, es necesario construir un sentido de propósito, crear una poderosa marca de empleador y desarrollar el talento interno.

    10. Contratar a un grupo de doctores que se esfuerzan por desarrollar modelos altamente complejos en lugar de soluciones rudimentarias direccionalmente correctas, por lo que no logran demostrar una visión procesable. Por lo tanto, contrate a estudiantes rápidos altamente entrenables (incluso si tienen un doctorado) .

    11. Contratación de un Director Técnico de Análisis de Datos no técnico o viceversa. Necesita ser lo suficientemente técnico como para entrenar a su equipo y lo suficientemente orientado al negocio como para entender los problemas del negocio.

    12. No traer expertos en dominios y consultores de negocio internos a los equipos de análisis para cerrar la brecha entre los líderes de negocio y los equipos de análisis para asegurar un viaje de punta a punta de idea a impacto.

    13. Descuidar la creación de una cultura basada en datos a través del coaching activo en toda la organización, desde los agentes de ventas hasta el CEO, especialmente los agentes de ventas y el CEO.

    14. No ser lo suficientemente objetivo y permanecer sesgado hacia el statu quo o el pensamiento de liderazgo. Los equipos de análisis profundamente integrados en las funciones de negocio o BUs son más propensos a tener estos problemas que los centralizados. Es por eso que algunas organizaciones crean equipos de control de calidad.



    EJECUCIÓN:

    15. No integrar la analítica en los modelos operativos y en los flujos de trabajo diarios. El uso de la analítica como parte de sus actividades diarias ayuda a los usuarios a tomar decisiones mejor informadas, a incorporar la retroalimentación de los consumidores en las soluciones y a iterar rápidamente nuevos productos; en cambio, muchos siguen confiando en los instintos.

    16. No se trata de juntar por juntar a los científicos de datos con los equipos de negocios. De lo contrario, no se hablarán entre ellos.

    17. Gestión de proyectos analíticos en cascada. Los parámetros de un modelo no se pueden conocer de antemano. Se determinan a través de un proceso iterativo que se parece más a un arte que a una ciencia. Por lo tanto, los proyectos analíticos deben ser iterativos siguiendo, por ejemplo, el Agile Framework.

    18. No ser capaz de escalar los pilotos de análisis. Las compañías a menudo terminan matando los pilotos tan pronto como necesitan reasignar fondos para otras iniciativas a corto plazo.

    19. Descuidar la gobernanza de los datos como un elemento fundamental. El gobierno de datos se refiere a la organización, los procesos y los sistemas que una organización necesita para gestionar sus datos de forma adecuada y coherente como un activo, desde la gestión de la calidad de los datos hasta el control de acceso o la definición de la arquitectura de los datos de forma estandarizada.




    TECNOLOGÍA:

    20. Intentar crear modelos de ciencia de datos sin refinar su infraestructura de ingeniería de datos: repositorios limpios, motores eficientes y procesos optimizados de transferencia de carga de extracción. La ingeniería de datos sin casos de uso reales para modelar también está mal. Tanto la modelización como la ingeniería deben ir en paralelo o de forma iterativa.

    21. No utilizar ninguna de las siguientes tecnologías básicas: Hadoop, Spark, R, Python, una herramienta de visualización avanzada de su elección, y un sistema de informes granular de autoservicio abierto para toda la organización.

    22. Disponer de silos tecnológicos entre los repositorios de datos, lo que dificulta la integración de diferentes tipos de datos en un modelo. El poder de la analítica aumenta exponencialmente con la diversidad de los datos.

    23. No automatizar la analítica a través de la I.A., que puede ser un asistente extremadamente inteligente para los científicos de datos. Las automatizaciones de I.A. ayudan a los científicos a limpiar los datos, a comprobar su exactitud, a desplegar modelos, a detectar características de predicción relevantes y la obsolescencia de los modelos, o incluso a generar cientos o miles de variaciones de modelos. 
    Con todo, la estrategia analítica del negocio tiene que ser un subconjunto de toda la estrategia de I.A. ya que los conjuntos de datos necesitan alimentar los sistemas de I.A.


    FINANZAS:

    24. No asignar suficiente presupuesto para las plataformas de análisis, pero aún así mantener las expectativas del sueño de Shangri-La. Y lo contrario es también un error, al asignar más que suficiente dinero que no tiene correlación directa con los resultados de las empresas.

    25. No medir el ROI de las iniciativas de análisis. Sabemos que el ROI es a medio plazo, pero eso no significa que no lo mida.



    Visto en Datasciencentral