DeepInfer es abierto, pero el servicio API sigue por construir
Un servidor que responde «Hello world!» demuestra un formato sin demostrar que haya ejecutado un modelo. El ejemplo API de deepseek-recipe usa explícitamente inferencia simulada; el motor real es DeepInfer. Conectar ambos como servicio fiable sigue siendo trabajo de ingeniería.
DeepSeek presentó DeepInfer el 20 de octubre como base de su servicio V4.1-Flash a gran escala. Sin embargo, la versión pública entrega inferencia sin conexión y enumera piezas ausentes de un servicio completo. Las bibliotecas de protocolo permiten examinar esa frontera, no la eliminan. Inspeccionamos revisiones fijas sin compilar la pila de aceleradores, ejecutar pesos ni reproducir rendimiento. La noticia ofrece implementación inspeccionable, no ahorros medidos para nuestra aplicación.
El motor público termina antes del servicio completo
Se admiten V4.1-Flash, NVIDIA SM100 y Huawei Ascend 950, con Linux, Python 3.12 y versiones correspondientes de CUDA o CANN. No es un lanzador general para cualquier equipo disponible.
Faltan sistema de caché KV, separación de codificador visual/prefill/decode y reparto de carga entre réplicas paralelas. La caché KV conserva estados de atención previos; prefill procesa la entrada y decode genera la continuación. Separar etapas permite asignar recursos distintos. El proyecto dice incluir mucha funcionalidad necesaria del motor, pero no el servicio completo.
Un equipo hipotético que utiliza una API externa podría probar una generación sin conexión. Eso no resuelve concurrencia, cancelación, ubicación de caché o fallos de trabajadores. Infraestructura puede investigar el código; las aplicaciones sin clúster pueden preguntar mejor a proveedores. Acceso y capacidad de operación son hitos separados, ambos útiles.
El rendimiento depende de cómo se cuentan los borradores
La decodificación especulativa propone varios tokens y verifica cuáles conservar. La documentación de ejemplos diferencia rendimiento de prefill, pasos de decode por segundo y tokens. Un método supone aceptación completa: proponer varios tokens no equivale a emitirlos todos.
El código del gráfico aplica 1 + nextn × draft_acceptance en el modo de longitud fija. Convierte una aceptación suministrada en contribución supuesta. Excluye el modo variable porque su tasa de pasos ya incluye la aceptación; volver a aplicarla duplicaría el ajuste.
Estimación condicionada, tokens aceptados reales y tiempo hasta una respuesta útil son cifras diferentes. Registre longitud de entrada, prefijo en caché, lote y modo. Los gráficos principales usan cuatro SM100 para prefill y 64 para decode, cada uno en un dominio scale-up. No prometen ambas curvas en cuatro dispositivos. Los scripts permiten reproducir, pero nosotros no lo hicimos.
La aplicación también necesita contar respuestas terminadas y aceptables. Un flujo rápido que reinicia por errores de formato puede hacer esperar más al usuario. Los recursos y el resultado del producto se evalúan por separado.
La repetibilidad exige una configuración, no solo una semilla
La inferencia invariable al lote en NVIDIA busca mantener resultados cuando cambian las peticiones vecinas. El muestreo determinista añade una semilla de secuencia fija y MTP variable desactivado. No es una garantía universal por añadir un seed.
Para una regresión, conserve modelo, revisión del motor, entrada tokenizada, parámetros de muestreo y ejecución. Comparar solo el texto puede ocultar el efecto de otra petición del lote.
Un error repetible sigue siendo error. Un esquema válido puede contener hechos falsos. El ejemplo estructurado combina peticiones de historias libres con restricciones regex, JSON y gramática para comprobar forma, no verdad empresarial. Separe comportamiento del backend, análisis del cliente y utilidad para localizar fallos.
Convertir protocolos no ejecuta modelos ni herramientas
El README de recipe describe bibliotecas Rust y enlaces Python que convierten peticiones a una conversación común, renderizan prompts y analizan salidas. El llamante aporta inferencia, ejecución de herramientas y HTTP.
Recipe selecciona restricciones de salida, pero el llamante decide si su backend las impone mediante decodificación restringida. Incluir un esquema en el prompt no conecta automáticamente esa función del motor. Campos compatibles pueden ocultar una pérdida de significado.
Un asistente hipotético de citas no reserva un hueco por convertir una definición o analizar una llamada. La aplicación valida argumentos, llama al sistema y devuelve el resultado a la conversación. Es una ilustración, no una integración probada. Compare también ajustes de razonamiento, motivo de terminación y aplicación efectiva del esquema; una respuesta textual sencilla no demuestra esos comportamientos.
Un flujo convincente puede seguir siendo simulado
La guía de streaming transforma fragmentos de inferencia simulados en fragmentos de protocolo. Python procesa cada fragmento y finaliza la respuesta. Sirve para estudiar el adaptador sin un clúster.
El servidor Rust ofrece tres formatos, JSON y SSE, pero devuelve un saludo simulado sin pesos. No tiene autenticación y su descarga de imágenes no filtra direcciones privadas; la documentación pide mantenerlo en loopback. Es el alcance del ejemplo, no un incidente del servicio alojado.
Recibir eventos en el navegador solo verifica el recorrido usado. Eventos, uso y terminación deben corresponder a inferencia real. Detener cómputo tras desconectar no es lo mismo que detener la visualización. Si se pierde la respuesta de una reserva, compruebe el estado externo antes de repetir: analizar una llamada y completar la cita son eventos distintos. El convertidor no conoce ese resultado.
Divida la primera investigación en experimentos
La guía de evaluación separa generación y puntuación, conserva salidas y permite cambiar de juez sin regenerar. Pass@1 exige cobertura completa. Un juez modelo puede ser estocástico, a diferencia de reglas de extracción; HLE solo admite el primero. Una generación repetible no vuelve determinista a otro juez.
Con hardware adecuado, establezca una base sin conexión, guarde ajustes y examine el protocolo por separado. Quien evalúa a un proveedor puede pedir evidencia equivalente sin atribuirse operación del clúster.
| Experimento | Evidencia adecuada |
|---|---|
| Motor | Salidas reales con hardware, pesos y revisión identificados |
| Rendimiento | Entrada, caché, lote, borradores y criterio de conteo |
| Protocolo | Significado, restricciones, cierre y uso |
| Aplicación | Resultado externo también tras interrupción o reintento |
Los desarrolladores NxCode deben decidir qué preguntas les corresponden. Un cliente de API no necesita reconstruir al proveedor; un equipo que se aloja por sí mismo tampoco puede saltarse el servicio porque funcionó una prueba. DeepInfer y recipe abren fronteras distintas. La adopción debe conectar motor y servicio reales, sin convertir un saludo simulado en prueba de ambos.
