Los modelos preentrenados son redes neuronales que han sido entrenadas en grandes cantidades de texto para aprender representaciones lingüísticas generales del lenguaje. Estos modelos utilizan técnicas como el aprendizaje supervisado o auto-supervisado para aprender a predecir palabras, frases o incluso relaciones entre fragmentos de texto. Ejemplos comunes de modelos preentrenados incluyen BERT, GPT, RoBERTa, y más recientemente, T5 y GPT-3.