La encuesta de Kaggle sobre el 'Estado de la ciencia de datos y el aprendizaje automático 2020' cubre muchos temas diversos. En esta publicación, veremos la popularidad de las plataformas y productos de computación en la nube entre los profesionales de ciencia de datos y Machine Learning que participaron en la encuesta.
En esta publicación, veremos la popularidad de las plataformas y productos de computación en la nube entre los profesionales de ciencia de datos y ML que participaron en la encuesta. En particular, cubrirá
- Uso de plataformas en la nube
- Uso de productos de Cloud Computing
- Uso de productos de Cloud ML
- Plataformas BigData
- Herramientas de BI (principalmente, las basadas en la nube)
La línea de la narrativa en este capítulo se adjuntará a menudo a las buenas noticias y oportunidades para los tres principales proveedores de servicios en la nube del mercado de la siguiente manera
- Servicios web de Amazon (AWS)
- Google Cloud Platform (GCP)
- Nube de Microsoft Azure (MS Azure)
Nota:
Los organizadores de la encuesta definieron a los no profesionales como estudiantes, desempleados y encuestados que nunca han gastado dinero en la nube. Todos los demás son considerados profesionales.
Uso de proveedores de servicios en la nube
Encontramos que la lista de los tres principales proveedores de servicios en la nube entre los encuestados de Kaggle son
- Amazon Web Services
- Google Cloud Platform
- Microsoft Azure
El resto de los proveedores de servicios en la nube parece perder la ventaja competitiva hacia la lista de los tres principales proveedores en este momento.
Además, es notable que la categoría 'Ninguno' exceda ligeramente el tamaño de la barra MS Asure, y significa que el mercado puede no estar saturado con las ofertas de proveedores de servicios en la nube.
También vemos profesionales con 3-5 años y 5-10 años de experiencia en programación para ser el grupo más grande de usuarios de los 3 principales proveedores de servicios en la nube. Más profesionales de alto nivel (con más de 10 años de experiencia) están menos representados dentro de los usuarios del servicio en la nube en cada una de las 3 plataformas principales (según las prioridades de marketing, las acciones especiales para educar a dichos adultos mayores podrían ayudar a obtener una mejor difusión de los servicios en la nube).
Como podemos ver, la mayoría de los tres principales usuarios de proveedores de servicios en la nube encajan en los roles siguientes
- Científicos de datos
- Ingenieros de software
La tercera posición está ocupada por
- ML Engineeris (AWS, GCP)
- Analistas de datos (MS Azure)
Como se señaló anteriormente, el grupo de ocupación "Otro" es demasiado grande en sí mismo, y podría valer la pena dividirlo en categorías más detalladas en las encuestas futuras. Como vemos, el grupo 'Otro' toma una fracción significativa de cada usuario de la plataforma de servicios en la nube (aunque nunca se ve en la lista de los tres primeros para ninguno de las plataformas).
En términos de la ocupación del usuario y la experiencia de programación, los tres principales proveedores de servicios en la nube comparten las mismas tendencias a continuación
- Los científicos de datos con 3 a 5 y 5 a 10 años de experiencia en programación son los principales grupos de usuarios de AWS entre los encuestados.
- En los grupos de Ingeniero de software, Ingeniero de ML y Analista de datos, predominan los profesionales con 3-5 y 5-10 años de experiencia.
- En Research Scientist, Data Engineer, DBA, Statistician y otros grupos, los profesionales con más de 10 años de experiencia son la mayor fracción de los usuarios.
- En el grupo de Gestión de Productos / Proyectos, los profesionales con más de 5 años de experiencia son la mayor fracción de los usuarios.
- En el grupo Business Analyst, vemos a los usuarios con 1-2 años de experiencia para dominar
En términos de entornos organizacionales, la mayoría de los profesionales de Data Scince y ML que utilizan servicios en la nube se pueden encontrar en
- Organizaciones con 0 a 49 empleados y 1 a 2 trabajadores dedicados a cargas de trabajo de ciencia de datos
- Organizaciones con más de 10000 empleados, con más de 20 trabajadores dedicados a cargas de trabajo de ciencia de datos
Entonces, podemos concluir que AWS, GCP y MS Azure compiten estrechamente en los mismos tipos de organizaciones / usuarios.
Uso de productos de computación en la nube
Encontramos eso
- en el segmento de motores de computación en la nube, Amazon EC2 es más popular que sus rivales de Google (Google Cloud Computing Engine) y MS Azure (Azure Cloud Services)
- en el segmento de funciones en la nube, AWS Lambda es más popular que sus rivales de Google (Google Cloud Functions) y MS Azure (Azure Functions)
- en el segmento de los corredores de contenedores en la nube, Amazon Elastic Container Service es más popular que sus rivales de Google (Google Cloud Run) y MS Azure (MS Azure Container Instances)
- Google ocupa el segundo lugar en los segmentos de motor de computación en la nube y funciones de nube, y está en el tercer lugar en el segmento de corredor de contenedores en la nube
- hay una gran cantidad de respuestas con 'Ninguna', y lo más probable es que indique que todo el mercado de aplicaciones de computación en la nube aún no está saturado
En términos de roles de usuario, la mayoría de los usuarios de todos los productos de computación en la nube anteriores tienen los roles siguientes (de arriba a abajo)
- Científicos de datos
- Ingenieros de software
- Ingenieros de ML
- Analistas de datos
Uso de productos de computación en la nube por experiencia de programación
Además de la información anterior, vemos que la mayor cantidad de usuarios de productos de computación en la nube se encuentran en los siguientes grupos en términos de su experiencia de programación
- 5 a 10 años de experiencia
- 3-5 años de experiencia
- 10-20 años de experiencia
Los estudiantes de tercer y cuarto año (más de 20 años de experiencia en programación) parecen estar menos cubiertos por los respectivos conocimientos / habilidades.
Uso de productos de Cloud ML
Encontramos eso
Google Cloud AI Platform / Google Cloud ML Engine lidera la nominación de uso de productos en la nube de ML
el segundo y tercer mejores son Amazon SageMaker y Azure Machine Learning Studio, respectivamente
Los científicos de datos son los principales usuarios de los productos de aprendizaje automático en la nube (para cada producto investigado)
Hay una gran parte de los que respondieron que indicaron que no usan productos de ML en la nube en absoluto; esto indica que el mercado está insuficientemente saturado y hay un buen potencial de crecimiento, sujeto a la resolución de las barreras de marketing y del usuario final en el camino.
Uso de productos de Cloud ML por experiencia de programación
Además de la información anterior, podemos ver que los productos de aprendizaje automático en la nube son utilizados principalmente por los respondedores que tienen experiencia en programación de
- 3-5 años
- 5 a 10 años
Uso de productos de Cloud ML por tamaño de organización y capacidad de DS
Descubrimos que la mayoría de las organizaciones en todas las categorías de tamaño no utilizan ningún producto de Cloud ML en este momento.
Para la pequeña fracción de quienes los usan, hay información interesante como sigue
- en organizaciones pequeñas (0 a 49 empleados), Google Cloud AI Platform / Google Cloud ML Engine domina
- en las organizaciones medianas (50–249 empleados), Google Cloud AI Platform / Google Cloud ML Engine y Amazon SageMaker titly
- para empresas de mayor tamaño (más de 250 empleados), el tamaño del equipo de ciencia de datos a menudo se correlaciona con el producto de Cloud ML preferido (los equipos más pequeños se adhieren a Google Cloud AI Platform / Google Cloud ML Engine más, y los equipos de ciencia de datos con más de 20 empleados) están más inclinados a utilizar Amazon SageMaker)
Uso de productos de Big Data por ocupación
Encontramos eso
- La lista general de los 3 primeros está constituida por tres plataformas DBMS relacionales (MySQL, PostgreSQL, MS SQL Server)
- MongoDB, una plataforma de base de datos no relacional, ocupa la posición 4 en la lista
- Otras plataformas DBMS relacionales en la lista (Oracle, IBM DB2, SQLite) están detrás de MongoDB
- En el segmento de productos de Big Data verdaderamente basados en la nube, Google BigQuery supera a sus competidores de Amazon y MS Azure (Amazon Redshift, Amazon Athena, Amazon DynamoDB y Microsoft Azure Data Lake Storage)
- Las instancias de Google Cloud SQL siguen siendo menos populares que las instancias de bases de datos relacionales 'nativas' para MySQL y PostgreSQL
- MS Access todavía se usa en la industria
- Los científicos de datos son los principales usuarios de cada producto de esta lista.
Patrones de uso de productos de Big Data por ocupación del usuario y experiencia de programación
Encontramos eso
- MySQL y PostreSQL son las plataformas de administración de bases de datos más populares dentro de cada ocupación.
- MongoDB es bastante popular entre los ingenieros de software (aunque menos popular que MySQL y PostreSQL)
Patrones de uso de productos de Big Data por tamaño de organización y capacidad de ciencia de datos
Encontramos eso
- Casi todas las organizaciones, excepto las extragrandes, abordan sus necesidades de gestión de datos con MySQL, PostgreSQL y MongoDB como las más importantes.
- Las organizaciones extragrandes (con más de 10000 empleados) prefieren trabajar con MySQL, MS SQL Server, Oracle y PostgreSQL
Uso de herramientas de BI
Encontramos eso
- Tableue y MS Power BI superan significativamente a otros rivales
- Google Data Studio se convierte en un rival para los principales productos de BI anteriores, ocupando el tercer lugar en la lista.
- Los científicos de datos, los analistas de datos, los científicos de investigación y los ingenieros de ML son los usuarios más frecuentes de las herramientas de BI
- Una gran fracción de los que respondieron a la encuesta indicaron que no usan herramientas de BI en absoluto.
Usuarios profesionales de AWS en todo el mundo
Encontramos eso
- AWS es más popular entre los encuestados en India y EE. UU.
- Brasil, Japón y el Reino Unido entran en el nivel 2 en términos de la cantidad de encuestados de estos países que usan AWS
Usuarios profesionales de GCP en todo el mundo
Encontramos eso
- India es el principal país donde se usa GCP
- EE. UU. Ocupa el segundo lugar en el ranking, pero está significativamente por debajo de India (a diferencia de AWS, donde India y EE. UU. Estaban relativamente a la par)
- Japón y Brasil se encuentran en el nivel 2 en términos de la cantidad de encuestados de estos países que usan AWS
- GCP es menos popular en el Reino Unido, Canadá y Australia que AWS
- GCP supera a AWS en Turquía, Indonesia y Rusia
Usuarios profesionales de MS Azure en todo el mundo
Encontramos eso
- El principal país en términos de número de usuarios de MS Azure es India (aunque MS Azure está muy por detrás de AWS y GCP allí)
- EE. UU. Ocupa el segundo lugar en el ranking, y la cantidad de usuarios de MS Azure está a la par con la cantidad de usuarios de GCP en EE. UU.
- Brasil pertenece al nivel 2 en términos del número de usuarios de MS Azure
- En la mayoría de los países (excepto EE. UU.), La cantidad de usuarios de MS Azure es menor que la cantidad de usuarios de GCP y AWS
Resumen
En esta publicación, revisamos el estado del arte en el uso de plataformas, productos y herramientas de computación en la nube por parte de los profesionales de la industria de la ciencia de datos y el aprendizaje automático. Estas no son solo sus preferencias a fines de 2020. Se trata de piedras angulares que probablemente también determinarán las tendencias para 2021-2022.
Los próximos años serán cruciales en la batalla de los gigantes de Cloud Computing por mentes, brazos y presupuestos en la industria de la ciencia de datos y el aprendizaje automático. Aunque la posición de AWS todavía parece más sólida que la de otros rivales importantes, los desafíos de GCP podrían ser la parte intrigante de la remodelación del mercado en los próximos años. Al mismo tiempo, MS Azure parece mantener sus sólidas posiciones en América del Norte (aunque tiene pocas posibilidades de penetrar en otros continentes de manera significativa frente a AWS y GCP).
Sin embargo, entramos en la era de la turbulencia global. 2021, el año bajo la Estrella de Reyes, puede exponernos a sorpresas inesperadas en todos los aspectos de nuestras vidas.
Originalmente publicado en: https://www.kdnuggets.com/2021/01/cloud-computing-data-science-ml-trends-2020-2022-battle-giants.html
