{"id":32094,"date":"2026-06-11T12:47:00","date_gmt":"2026-06-11T10:47:00","guid":{"rendered":"https:\/\/contabo.com\/blog\/?p=32094"},"modified":"2026-07-09T14:23:20","modified_gmt":"2026-07-09T12:23:20","slug":"inferencia-llm-gpu-vps-guia-2026","status":"publish","type":"post","link":"https:\/\/contabo.com\/blog\/es\/inferencia-llm-gpu-vps-guia-2026\/","title":{"rendered":"Inferencia de LLM en un GPU VPS: gu\u00eda paso a paso 2026"},"content":{"rendered":"\n
\"Inferencia<\/figure>\n\n\n\n

En resumen.<\/strong> Ejecutar inferencia de LLM en un GPU VPS te da un endpoint de modelo privado, soberan\u00eda total de datos y un costo mensual fijo en lugar de facturaci\u00f3n por token. Necesitas un GPU VPS con suficiente VRAM para tu modelo, Ubuntu 22.04 o posterior, CUDA y Ollama o vLLM como runtime. Del pedido a la primera llamada de inferencia: entre 15 y 30 minutos.<\/p>\n\n\n\n

Operar tu propia inferencia te da el control que las APIs administradas no ofrecen: el modelo corre en tu hardware, y los prompts y respuestas nunca salen de tu servidor. La l\u00f3gica de costos tambi\u00e9n es diferente. Pagas una tarifa mensual fija sin importar si procesas mil tokens o mil millones; no hay factura por token que crezca con el volumen. Una API administrada funciona bien para prototipos con poco tr\u00e1fico, pero agrega latencia y te ata al uptime y las decisiones de precios del proveedor. Esta gu\u00eda despliega un endpoint de LLM funcional en un GPU VPS desde cero.<\/p>\n\n\n\n

Qu\u00e9 necesitas para ejecutar inferencia de LLM<\/h2>\n\n\n\n

Antes de aprovisionar el servidor, confirma que tienes lo siguiente:<\/p>\n\n\n\n

    \n
  1. Un GPU VPS con suficiente VRAM para tu modelo objetivo. Busca un plan con al menos 48 GB de VRAM para ejecutar modelos 70B cuantizados en una sola tarjeta; para inferencia FP8 o FP16 con 70B, el requisito pr\u00e1ctico es 80 GB o m\u00e1s. La tabla de sizing de VRAM en la siguiente secci\u00f3n mapea cada configuraci\u00f3n.<\/li>\n\n\n\n
  2. Ubuntu 22.04 LTS o 24.04 LTS. Todos los comandos de esta gu\u00eda apuntan a Ubuntu. Los drivers de NVIDIA y CUDA vienen preinstalados en las im\u00e1genes de servidor de Contabo.<\/li>\n\n\n\n
  3. Acceso root por SSH al servidor.<\/li>\n\n\n\n
  4. Un runtime de inferencia de LLM: Ollama para una configuraci\u00f3n r\u00e1pida de usuario \u00fanico, o vLLM para APIs de producci\u00f3n con alta concurrencia. La tabla comparativa m\u00e1s adelante en esta gu\u00eda orienta la decisi\u00f3n.<\/li>\n\n\n\n
  5. Almacenamiento para los pesos del modelo. Un modelo 7B en FP16 ocupa unos 14 GB en disco; un modelo 70B con cuantizaci\u00f3n Q4 llega a alrededor de 40 GB. Los planes de servidor de Contabo incluyen al menos 1 TB de almacenamiento, lo que cubre la mayor\u00eda de las configuraciones de modelos.<\/li>\n<\/ol>\n\n\n\n

    Para un servidor de inferencia de IA autoalojado sin dependencias externas, los cinco requisitos deben estar confirmados antes de comenzar.<\/p>\n\n\n\n

    C\u00f3mo dimensionar la VRAM para tu modelo<\/h2>\n\n\n\n

    La VRAM es la restricci\u00f3n que manda. Si el modelo no cabe en la memoria de la GPU, el runtime cae a RAM del sistema y la inferencia se vuelve mucho m\u00e1s lenta. Usa esta tabla para elegir la GPU correcta antes de hacer tu pedido:<\/p>\n\n\n\n

    Modelo<\/strong><\/th>Precisi\u00f3n<\/strong><\/th>VRAM aprox.<\/strong><\/th>VRAM m\u00ednima de GPU<\/strong><\/th><\/tr><\/thead>
    7B<\/td>FP16<\/td>~14 GB<\/td>24 GB<\/td><\/tr>
    7B<\/td>Q4<\/td>~4 GB<\/td>8 GB<\/td><\/tr>
    13B<\/td>FP16<\/td>~26 GB<\/td>32 GB<\/td><\/tr>
    13B<\/td>Q4<\/td>~8 GB<\/td>16 GB<\/td><\/tr>
    70B<\/td>Q4<\/td>~38 GB<\/td>48 GB<\/td><\/tr>
    70B<\/td>FP8<\/td>~70 GB<\/td>80 GB<\/td><\/tr>
    70B<\/td>FP16<\/td>~140 GB<\/td>141 GB<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n

    La cuantizaci\u00f3n Q4 reduce el consumo de VRAM en aproximadamente un 75% respecto a FP16, con una p\u00e9rdida de precisi\u00f3n moderada que funciona bien para la mayor\u00eda de tareas de hosting e inferencia de LLM. Para inferencia FP8 o FP16 con 70B, busca una GPU con al menos 80 GB de VRAM en una sola tarjeta.<\/p>\n\n\n\n

    Para la mayor\u00eda de los despliegues autoalojados de LLM, una GPU de 48 GB es el punto de partida pr\u00e1ctico. Maneja cualquier modelo 70B cuantizado y deja margen para varias sesiones concurrentes. Sube a una tarjeta m\u00e1s grande solo si tu workload requiere precisi\u00f3n sin cuantizar o presiona los l\u00edmites de la ventana de contexto.<\/p>\n\n\n\n

    Paso 1: Pedir un servidor GPU<\/h2>\n\n\n\n
      \n
    1. Aprovisiona un servidor GPU con suficiente VRAM para tu modelo objetivo. Usa la tabla de sizing de la secci\u00f3n anterior para confirmar tu requisito antes de hacer el pedido.<\/li>\n\n\n\n
    2. Selecciona tu sistema operativo. Todos los comandos de esta gu\u00eda est\u00e1n probados en la distribuci\u00f3n Ubuntu m\u00e1s reciente. Elige la regi\u00f3n m\u00e1s cercana a tus usuarios y completa el pedido.<\/li>\n\n\n\n
    3. Con\u00e9ctate por SSH como root:<\/li>\n<\/ol>\n\n\n\n
         ssh root@IP_DE_TU_SERVIDOR<\/code><\/pre>\n\n\n\n
        \n
      1. Confirma que la GPU est\u00e1 presente y el driver de NVIDIA est\u00e1 cargado:<\/li>\n<\/ol>\n\n\n\n
           nvidia-smi<\/code><\/pre>\n\n\n\n
        Una salida correcta muestra el nombre del modelo de GPU instalado en la l\u00ednea del t\u00edtulo. La cabecera reporta las versiones del driver y CUDA: para GPUs Pre-Blackwell, espera driver 535.x o superior; para Blackwell y m\u00e1s recientes, 570.x o superior. En ambos casos se espera CUDA 12.x o posterior. Si nvidia-smi<\/code> devuelve \u00abcommand not found\u00bb, el driver no est\u00e1 cargado.<\/p>\n\n\n\n
        Paso 2: Instalar CUDA y un runtime de inferencia<\/h2>\n\n\n\n
        La ruta correcta del driver depende de tu arquitectura de GPU. NVIDIA divide el soporte de GPU para Linux en dos tracks a partir de Blackwell:<\/p>\n\n\n\n