Parámetros de un modelo
También llamado: miles de millones de parámetros
Números ajustados durante el entrenamiento que guardan el saber de un modelo de IA. Su cantidad, en miles de millones, indica su tamaño y la memoria necesaria.
Los parámetros de un modelo de IA son los números, también llamados pesos, que conectan entre sí sus neuronas artificiales. Al principio son aleatorios; durante el entrenamiento se ajustan un número enorme de veces hasta que el modelo da buenas respuestas. Una vez terminado el entrenamiento, contienen todo lo que el modelo ha aprendido. Su número sirve para indicar el tamaño del modelo: 8B, 70B o 405B, donde la B significa «billion» en inglés, es decir, mil millones.
Cuantos más parámetros tiene un modelo, más conocimientos puede retener y con más finura puede razonar, pero más memoria y cálculo necesita. Cada parámetro ocupa 2 bytes en 16 bits: un modelo de 70.000 millones de parámetros pesa, por tanto, unos 140 GB, y alrededor de 40 GB una vez cuantizado en 4 bits. Los modelos de mezcla de expertos distinguen entre el número total de parámetros y el número de parámetros activos para cada token, lo que los hace más rápidos de lo que su tamaño haría pensar.
Para elegir una máquina, parte del modelo que quieres usar. En 4 bits, calcula algo más de la mitad del número de miles de millones de parámetros en gigabytes, más un margen para el contexto. Una tarjeta de 16 GB ejecuta modelos de hasta unos 14.000 millones de parámetros, con 32 GB se puede subir hacia los 30.000 millones, y los modelos de 70.000 millones requieren al menos 48 GB. Por cierto, un modelo reciente y más pequeño puede superar a uno más grande pero más antiguo.
Nuestras estaciones de IA van desde una tarjeta de 16 GB hasta varias tarjetas profesionales de 96 GB: dinos qué modelos quieres usar y te orientamos hacia la configuración adecuada.