Es posible que tenga la tentación de incluir tanto color como sea posible en los datos de imagen, ya que el color es obviamente un componente visual importante. Sin embargo, cuanto más color agregue a una imagen, más información deberá procesar la red neuronal. La información de los colores puede causar problemas significativos en la memoria, especialmente si la red procesa miles o millones de imágenes a la vez. Las imágenes monocromáticas consumen la menor cantidad de memoria, ya que cada píxel es solo blanco o negro. Las imágenes en escala de grises requieren más memoria, mientras que las imágenes RGB de 256 colores requieren aún más y así sucesivamente. Las imágenes sin color todavía pueden ser útiles para detectar patrones.