Unidades GPU y CPU

El tipo de procesadores que agregue es importante. Para las tareas de aprendizaje profundo, las unidades de procesamiento de gráficos (GPU), que son los chips de la computadora que normalmente se utilizan como componente principal en los adaptadores de los gráficos, a menudo son más adecuadas que las unidades de procesamiento central (CPU), que se usan normalmente como procesador principal en computadoras personales y servidores. Las CPU Están optimizadas para procesar pequeñas cantidades de memoria con rapidez. Por otro lado, las GPU están optimizadas para procesar grandes cantidades de memoria a la vez, que es exactamente el tipo de tarea que se realiza durante el procesamiento de un video. Esta es la razón por la que los adaptadores de gráficos utilizan GPU. Al igual que con el procesamiento de video, muchas tareas de aprendizaje profundo implican operaciones de matriz, que esencialmente realicen operaciones en todos los elementos de datos con una grande estructura a la vez, de modo que los procesadores optimizados para procesar grandes cantidades de memoria a la vez pueden mejorar significativamente el rendimiento.

Comparar una CPU y una GPU es un poco como comparar un auto deportivo con un camión grande de reparto. El auto deportivo puede llevar solo una pequeña carga, pero es ágil y puede detenerse, dar la vuelta y recoger a los pasajeros rápidamente. Los camiones grandes de reparto no son tan ágiles, pero pueden transportar una carga mucho mayor. Del mismo modo, las CPU son ágiles, pero están diseñadas para trabajar con pequeñas cantidades de memoria a la vez. Ellas compensan su pequeño ancho de banda de memoria al poder cargar y descargar datos de la memoria con rapidez. Las GPU, por otro lado, son como los grandes camiones de reparto cuando se trata de procesar datos. Tienen un ancho de banda de memoria mucho mayor que las CPU, lo que las hace adecuadas para tareas de aprendizaje profundo, la cuales a menudo implican el procesamiento de grandes lotes de memoria.

Por supuesto, hay cierta latencia (o retraso) en el tiempo que demora la GPU en acceder a estos grandes lotes de memoria. En el aprendizaje profundo, esto se controla mediante el uso de varias GPU en paralelo. Es como tener una línea de camiones grandes cargando paquetes en un almacén. Si siempre hay suficientes camiones estacionados en el muelle de carga, los paquetes se pueden transportar continuamente desde el almacén a los camiones, sin tener que esperar a que otro camión vacío ingrese hasta el muelle de carga.