Inferencia

La inferencia es el uso de un modelo de IA una vez terminado su entrenamiento. Cada vez que haces una pregunta a un asistente, pides el resumen de un documento o la descripción de una imagen, el modelo realiza una inferencia: aplica lo que ha aprendido, sin modificar sus parámetros. Es lo contrario del entrenamiento, que sirve para construir el modelo y exige recursos mucho más pesados.

En un modelo de lenguaje, la inferencia se desarrolla en dos fases. Primero, el modelo lee toda tu petición de una vez: esta fase exige sobre todo potencia de cálculo. Después, genera la respuesta token a token, volviendo a leer cada vez todos sus parámetros en memoria: esta fase depende sobre todo del ancho de banda de la memoria de la GPU. Por eso una GPU con una memoria muy rápida responde antes, incluso con una potencia de cálculo similar.

La buena noticia es que la inferencia está al alcance de una sola máquina. Para un uso personal o un equipo pequeño, una estación con una o dos tarjetas gráficas basta para muchos modelos. Para dar servicio a decenas de usuarios simultáneos, se pasa a un servidor multi-GPU y a un software optimizado como vLLM. Los criterios que hay que comprobar son la memoria de vídeo, su ancho de banda, las precisiones admitidas y el consumo eléctrico.

Nuestras estaciones de IA y nuestros servidores GPU están pensados para la inferencia en local: tus datos no salen de tus instalaciones y no necesitas suscribirte a un servicio en línea.