El radar

[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback

DeepSeek ha liberado DeepInfer, su stack de inferencia en producción para V4.1-Flash, una customización de vLLM con speculative decoding, SWA Bounded Replay y separación de prefill/decode, sobre plataformas NVIDIA y Huawei Ascend. Reporta 155 billones de tokens/día en un clúster, 96% de input-cache hits, 400 ms de TTFT y 230 tokens/s de generación, aunque el KV cache management y el load balancing quedan fuera del release por estar acoplados a su infraestructura interna. El equipo de vLLM publicó resultados de decode dentro del 6% de DeepInfer en GB200 con configuración equivalente, junto con recetas de reproducción. IMPORTA: Cualquiera que sirva LLMs a escala obtiene aquí un mapa concreto de decisiones de scheduling, routing de decode por longitud de KV cache y balanceo de expert parallelism, más un benchmark que sugiere que vLLM está mucho más cerca de lo que aparenta y que el coste real depende sobre todo del cache hit rate.

Por qué importa: Cualquiera que sirva LLMs a escala obtiene aquí un mapa concreto de decisiones de scheduling, routing de decode por longitud de KV cache y balanceo de expert parallelism, más un benchmark que sugiere que vLLM está mucho más cerca de lo que aparenta y que el coste real depende sobre todo del cache hit rate.

AI for the Fortune 2000: How Tenex Builds an AI-Native SDLC — Alex Lieberman & CJ Hess

Entrevista con Alex Lieberman y CJ Hess de Tenex sobre cómo escalan su modelo de SDLC AI-native a organizaciones grandes. Describen MetaHarness, un conjunto compartido de skills, documentos de proyecto y una CLI, donde planes y decisiones se guardan en Git junto al código para que los agentes lean no solo qué se construyó sino por qué. También discuten el uso de story points en la compensación de ingenieros y un experimento interno de reemplazar un SaaS de gestión de speakers de $43.000 al año con agentes. IMPORTA: El enfoque de versionar planes, criterios de aceptación y decisiones junto al código es una respuesta concreta al problema de dar contexto duradero a agentes que retoman tareas largas, algo directamente aplicable a quien diseña workflows agénticos.

Por qué importa: El enfoque de versionar planes, criterios de aceptación y decisiones junto al código es una respuesta concreta al problema de dar contexto duradero a agentes que retoman tareas largas, algo directamente aplicable a quien diseña workflows agénticos.

The Programmable Data Center — Evan Conrad, SF Compute

Evan Conrad, de SF Compute, explica en Latent Space su evolución desde subarrendar un clúster hasta operar la capacidad completa de un cloud para poder entregar compute de forma real ("physical settlement") en su mercado de horas de GPU. Describe cómo las restricciones físicas de un clúster (interrumpibilidad de workloads, tiempos de recuperación desde storage, generación de GPU, red y configuración de software) afectan al contrato y al precio, y cómo emparejan órdenes con distintas restricciones en lugar de esperar a que todos los clústeres sean intercambiables. También aborda precios spot y forward, leases de batch frente a inferencia en vivo, el riesgo de que un índice se desconecte del coste real del compute, y menciona la capacidad de subdividir el fabric de InfiniBand sobre la marcha. IMPORTA: Plantea que el compute de GPU se está convirtiendo en un recurso programable y negociable con contratos que reflejan restricciones reales de infraestructura, algo relevante para quien diseña scheduling, capacidad y costes de serving de modelos a escala.

Por qué importa: Plantea que el compute de GPU se está convirtiendo en un recurso programable y negociable con contratos que reflejan restricciones reales de infraestructura, algo relevante para quien diseña scheduling, capacidad y costes de serving de modelos a escala.

Meta pauses Muse sharing after researchers find AI chats on the web

Meta pausó la funcionalidad de Muse que permite compartir conversaciones con el asistente mediante un enlace, después de que investigadores de la firma de seguridad Claroc encontraran más de 6.800 enlaces de Muse accesibles públicamente a través de registros DNS públicos. Según Claroc, Meta construía la URL de cada share a partir del título de la conversación más un ID aleatorio, de modo que el hostname revelaba el contenido antes de abrir la página y permitía reconstruir el enlace desde DNS. Entre las conversaciones expuestas había una revisión de ingresos de una empresa de marketing, la solicitud de préstamo de un pequeño empresario, el calendario anual de personal de un centro de trabajo y notas de un candidato para una llamada con un laboratorio de IA.

Por qué importa: Es un caso concreto de cómo un esquema de URLs derivadas de metadatos convierte una función de "compartir" en una superficie de filtración indexable, algo a revisar en cualquier producto que exponga artefactos generados por usuarios o agentes mediante enlaces.

↳ Contexto: Meta’s Muse AI sent a YouTuber’s address to a stranger · ver hilo completo

Spotify pulled 50 million AI slop and spam tracks from its recommendations

Spotify ha retirado más de 50 millones de canciones consideradas "slop" o spam generado por IA de sus recomendaciones durante el último año, y ha ajustado su sistema de recomendación para priorizar música de artistas humanos. La plataforma detecta este contenido combinando señales de engagement y feedback de oyentes, patrones de subida, metadata y herramientas de detección de IA de terceros, y mantiene su badge "AI Persona" para identidades de IA que no representan a una persona real. La noticia continúa el anuncio previo de Spotify sobre el etiquetado de perfiles "AI Persona" y su exclusión de las recomendaciones.

Por qué importa: Es un caso concreto de moderación y detección de contenido generado por IA a escala de decenas de millones de ítems, útil como referencia para quien diseñe pipelines de filtrado o clasificación de output sintético en sistemas de recomendación.

↳ Contexto: Spotify will label ‘AI Persona’ profiles and exclude their music from recommendations · ver hilo completo

Anthropic pitches AI safety bill that may block a model if 50+ people could be killed

Anthropic ha difundido un borrador de ley de seguridad en IA que permitiría bloquear la distribución de un modelo ante un riesgo "previsible e inminente" de más de 50 muertes o más de mil millones de dólares en daños materiales, siempre que derive de la creación de un arma biológica, de que el modelo evada los controles de su desarrollador o de un ciberataque. El análisis del riesgo recaería en evaluadores independientes registrados en el Departamento de Comercio, que podrían ser pagados por los propios laboratorios siempre que el pago no dependa de los resultados, y que tendrían 72 horas para notificar al Departamento, que debería solicitar a un juez de Washington D.C. la paralización del lanzamiento. La propuesta se alinea con el marco Advanced AI Framework de la empresa, que según su portavoz defiende ante legisladores desde junio, y sus umbrales recuerdan a los de la ley californiana SB 53. Si esta ley se adoptara, los equipos que despliegan o evalúan modelos pasarían a op

Por qué importa: Si esta ley se adoptara, los equipos que despliegan o evalúan modelos pasarían a operar con un marco de rendición de cuentas externo y plazos concretos, lo que afecta a cómo se documentan los controles de un modelo y quién puede certificarlos antes de un release.

↳ Contexto: Anthropic is letting METR researchers look under the hood with employee-level access · ver hilo completo

SpaceX’s AI business is beating expectations

SpaceX reportó 14.600 millones de dólares de ingresos en el tercer trimestre, con su línea de negocio "Super Intelligence" (que incluye Grok, la herramienta de coding Cursor y un negocio de neocloud con 1,7 GW de cómputo) aportando 7.500 millones y un beneficio de 431 millones. La compañía destinará entre 35.000 y 40.000 millones a capex en el cuarto trimestre, con Musk señalando que el cuello de botella para desplegar "superintelligence" está en energía, refrigeración e infraestructura más que en chips. Musk afirmó que SpaceX usa sus capacidades de fundición de metales para fabricar componentes de turbinas y acelerar el suministro eléctrico de los data centers, y pronosticó unos ingresos recurrentes anuales de entre 500.000 millones y un billón de dólares para finales de 2027.

Por qué importa: Refuerza la tesis de que el límite real del despliegue de IA ya no son las GPUs sino la energía y la refrigeración, un dato relevante para quien planifica capacidad de cómputo o dimensiona infraestructura de serving a medio plazo.

↳ Contexto: Google just had its first negative cash flow quarter due to massive AI spending · ver hilo completo

OpenAI acquires startup Orchestra Bio⁠ to beef up its biotech business

OpenAI adquiere la startup Orchestra Bio y suma su equipo y tecnología a Rosalind, su modelo de IA para investigación en ciencias de la vida, y a Rosalind Workbench, una herramienta que ayuda a los investigadores a planificar experimentos y analizar resultados. La noticia no detalla el importe ni las condiciones de la operación.

Por qué importa: Muestra que OpenAI está construyendo producto vertical de IA para investigación científica con un harness propio de planificación de experimentos, un patrón de "modelo + tooling" que conviene seguir si trabajas en agentes aplicados a dominios técnicos.

↳ Contexto: Advancing computer use with Ironclad · ver hilo completo

NVIDIA Cosmos3-H-Dreams: Bringing Clinical Surgery to Life Through Generative Simulation

NVIDIA presenta Cosmos3-H-Dreams, un simulador quirúrgico generativo en tiempo real entrenado con grabaciones de colecistectomías clínicas en la plataforma CMR Surgical Versius, que según sus autores es el primero de este tipo en soportar control cinemático en vivo. Construido sobre Cosmos3-H-Embodied-Nano (16B parámetros), usa 28 dimensiones de acción y un pipeline teacher-to-student con Self-Forcing y un módulo FadeMem para consolidar el key/value cache en rollouts largos, con checkpoints de cuatro y dos pasos de denoising. Corre de forma interactiva en una sola GPU NVIDIA RTX PRO 6000 mediante FlashDreams, y se publica con receta de fine-tuning y destilación para adaptarlo a otros datasets y controladores. Continúa la línea del previo Cosmos-H-Dreams, que se limitaba a tareas de sutura en mesa de laboratorio.

Por qué importa: Muestra un patrón reutilizable para sistemas interactivos de baja latencia —destilación a estudiantes causales de pocos pasos, Self-Forcing contra la acumulación de errores y consolidación de caché KV— que aplica directamente a quien construye entornos de simulación accionables o world models en inferencia en streaming.

↳ Contexto: NVIDIA Cosmos-H-Dreams: Bringing Real-Time Generative Simulation to Surgical Robotics · ver hilo completo

FairStress: A deeper evaluation of fairness in LLM decision-making

Hugging Face presenta FairStress, un benchmark que mide la equidad demográfica en LLMs no solo por la decisión final sino por cómo cambia esa decisión ante "adversarial prefixes" persuasivos y por las diferencias en explicaciones y patrones de activación interna. Contiene 300 escenarios en 29 dominios (hiring, lending, healthcare, education, housing, justicia penal) que, combinados con grados de explicitud de identidad y prefijos emparejados, generan más de 13 millones de casos de prueba, además de un subconjunto FairStress-Core de 50K ítems seleccionado con item response theory e integrable en Olmo-eval. En 15 modelos evaluados encuentran un patrón de "anti-stereotypical over-correction": abandonan una respuesta correcta más fácilmente cuando eso favorece a un candidato minority-coded, con brechas medias de 6.9 puntos porcentuales con identidad implícita y 9.3 puntos con etiquetas explícitas. IMPORTA: Cualquiera que construya o evalúe sistemas que deciden sobre personas

Por qué importa: Cualquiera que construya o evalúe sistemas que deciden sobre personas necesita tests de robustez ante prompt persuasivo y no solo de paridad en la salida, porque aquí el sesgo aparece en la estabilidad de la decisión y en las explicaciones, no en la respuesta final.

ALTK-Evolve: How learned memory tops the τ²-bench leaderboard on customer service tasks without a frontier model

ALTK-Evolve extrae guidelines de comportamiento a partir de las trayectorias del propio agente en tareas de entrenamiento, usando el mismo modelo (gpt-4.1) para destilar éxitos y fallos en reglas cortas que se añaden al system prompt sin actualizar pesos ni necesitar anotación humana. Con el scaffold ReAct estándar de τ²-bench y solo ese bloque de guidelines, un agente logra 67.5% Pass^4 en retail (frente a 57.5% de baseline) y 45% en airline, superando entradas del leaderboard. El análisis muestra que la mejora viene de más tokens de input (mitigables con prompt caching) y no de conversaciones más largas: los turnos incluso bajan ligeramente, reduciendo latencia. IMPORTA: Ofrece una vía barata y sin fine-tuning para subir fiabilidad en sistemas agénticos de producción, y el hallazgo de que la cantidad óptima de guidelines depende del dominio es directamente accionable para quien tunea prompts de agentes.

Por qué importa: Ofrece una vía barata y sin fine-tuning para subir fiabilidad en sistemas agénticos de producción, y el hallazgo de que la cantidad óptima de guidelines depende del dominio es directamente accionable para quien tunea prompts de agentes.

MedPAO-Assist: Edge-Deployable, Modality-Aware Agentic AI for Radiology Report Structuring

MedPAO-Assist es un framework agéntico edge-deployable que genera informes de radiología estructurados directamente desde el dictado del radiólogo y comandos de voz, con solo ~3,3 GB de RAM pico y ~31 segundos de latencia end-to-end en la CPU de un portátil estándar. Soporta cuatro modalidades (radiografía de tórax, TC de tórax, TC de abdomen y RM cerebral) y usa una arquitectura multi-agente con paradigma Extract-Ground-Generate: extracción de conceptos, grounding a SNOMED-CT y generación del informe, más una fase de corrección humana guiada por voz, todo sin APIs externas ni conectividad. Según los autores, es de los primeros sistemas agénticos cuyo pipeline completo corre con un SLM de ~0,6B parámetros, y evalúan cada etapa por separado junto con el profiling de hardware.

Por qué importa: Demuestra que un pipeline multi-agente completo (extracción, grounding a ontología y generación) cabe en un SLM de 0,6B corriendo solo en CPU, un dato directamente aplicable a quien diseñe agentes para entornos con requisitos de privacidad y sin GPU.

DataPraxis: Scaling Analytics Tasks via Verified Workspace Evolution

DataPraxis es un framework de síntesis de tareas analíticas basado en "evolución verificada de workspaces", que enriquece workspaces con hallazgos validados, los combina para descubrir preguntas más profundas y verifica los resultados tanto durante la evolución como tras el ensamblaje de la tarea. Con él construyen DataPraxis-5K, un dataset de 5.000 trayectorias verificadas en diversos dominios y formatos, usado para entrenar DataPraxis-27B y DataPraxis-35B-A3B. DataPraxis-27B alcanza 55.11 en DABStep y 51.9 en JobBench, igualando o superando a modelos frontier como GLM-5.2.

Por qué importa: Aporta una receta concreta y dataset público para entrenar agentes que hagan trabajo analítico sostenido con evidencia verificable, un patrón relevante para quien diseñe pipelines de generación de datos de entrenamiento o evalúe agentes en tareas de análisis.

Industrial Agentic AI: LLM-Driven New-Generation Agents for Smart Manufacturing

Artículo de revisión sistemática sobre agentes industriales basados en LLMs para manufactura inteligente. Analiza cinco retos clave, propone una taxonomía unificada (escenarios de aplicación, formas de embodiment y cinco niveles de capacidad) y una arquitectura de sistema en cuatro capas para ejecución de tareas en bucle cerrado. Revisa aplicaciones representativas a lo largo del ciclo de vida industrial y delimita direcciones de investigación futuras. IMPORTA: Da un marco de referencia para pensar el diseño de agentes que operan bajo restricciones físicas y requisitos de fiabilidad estrictos, algo que los stacks agénticos actuales de propósito general no cubren.

Por qué importa: Da un marco de referencia para pensar el diseño de agentes que operan bajo restricciones físicas y requisitos de fiabilidad estrictos, algo que los stacks agénticos actuales de propósito general no cubren.

b11800: llama: create new fused op for QSA mask (#30640)

Nuevo release de llama.cpp (b11800) que crea una fused op para la máscara QSA y la generaliza como ggml_top_k_mask en ggml. La op cubre la selección pooled QSA de qwen4exp y glm5-next, y sustituye la construcción manual de la máscara top-k con fill, set_rows y add que hacían los modelos DSA y el CSA de DeepSeek V4. Incluye build_fused_top_k_mask en llm_graph_context y un fallback al path actual en backends sin soporte; también inicializa tensores en test_kpool_mask para evitar fallos por NaN. IMPORTA: Unifica en una sola op de ggml la construcción de máscaras top-k que varios modelos punteros implementaban a mano, lo que reduce kernels y da una vía de optimización directa a quien sirva estos modelos con llama.cpp.

Por qué importa: Unifica en una sola op de ggml la construcción de máscaras top-k que varios modelos punteros implementaban a mano, lo que reduce kernels y da una vía de optimización directa a quien sirva estos modelos con llama.cpp.

↳ Contexto: b11339 · ver hilo completo

b11795

Nuevo release de llama.cpp (b11795) que modifica el endpoint `/v1/messages` del server para reenviar los sampling params propios de llama.cpp en lugar de copiar solo una lista fija de claves. Los parámetros de llama.cpp se aceptan bajo `extra_params` en `/v1/messages`, lo que permite pasar la request completa, y se actualiza el README con un ejemplo de uso. IMPORTA: Si sirves modelos vía llama.cpp exponiendo una API compatible, ahora puedes controlar los sampling params específicos de llama.cpp a través de `/v1/messages` sin quedarte con el subconjunto fijo que se reenviaba antes, lo que cambia cómo configuras la inferencia desde clientes externos.

Por qué importa: Si sirves modelos vía llama.cpp exponiendo una API compatible, ahora puedes controlar los sampling params específicos de llama.cpp a través de `/v1/messages` sin quedarte con el subconjunto fijo que se reenviaba antes, lo que cambia cómo configuras la inferencia desde clientes externos.

Design Proteins with RFD4-Proteina Using Reward-Guided Inference-Time Search

NVIDIA BioNeMo presenta RFD4-Proteina, un modelo abierto co-desarrollado con el Institute for Protein Design de la Universidad de Washington que co-diseña secuencias y estructuras all-atom de proteínas mediante búsqueda en tiempo de inferencia guiada por recompensas. Combina coordenadas explícitas de backbone con representación latente y un decoder de autoencoder que genera secuencia y estructura juntas, eliminando el handoff separado a un modelo de inverse-folding como ProteinMPNN. Reporta generación 3.8x más rápida y 84% menos memoria pico que RFD3 a 200 residuos (de ~400 a 60 pasos de sampling), con búsqueda que integra oráculos acelerados por CUDA como OpenFold3 y TMol y skills del BioNeMo Agent Toolkit para campañas automatizadas.

Por qué importa: Es un caso concreto de inference-time search con oráculos de recompensa y skills que coordinan generación, evaluación y archivado vía agente, un patrón trasladable a cualquier pipeline de inferencia donde se quiera gastar compute en filtrar candidatos en lugar de en muestrear más.

Achieve Productive AI Capacity Faster and More Predictably with NVIDIA DSX POD

NVIDIA presenta DSX POD, un reference design estandarizado de contenedores prefabricados en fábrica que preintegran infraestructura de IA a escala de rack, alineado con la plataforma Vera Rubin, y que cubre cómputo, red, almacenamiento, alimentación, refrigeración líquida y cableado. El diseño traslada la integración y validación (inventario de racks, firmware, conectividad de fabric, sensores, integridad de refrigeración, pruebas funcionales) a la fábrica antes del envío, dejando en el sitio solo la preparación de cimientos, energía y conectividad externa. NVIDIA aporta el diseño validado mientras los partners asumen fabricación, ingeniería regional, personalización, despliegue y soporte. Complementa a la pieza previa sobre DSX MaxLPS dentro del mismo framework DSX de infraestructura co-diseñada. IMPORTA: Traslada al fabricante la validación de red, firmware y refrigeración que hoy consume tiempo de trabajo onsite, lo que cambia cómo se planifican los plazos de puesta en producción de clústeres

Por qué importa: Traslada al fabricante la validación de red, firmware y refrigeración que hoy consume semanas de trabajo onsite, lo que cambia cómo se planifican los plazos de puesta en producción de clústeres de entrenamiento e inference a gran escala.

↳ Contexto: How NVIDIA DSX MaxLPS Maximizes AI Factory Throughput and Efficiency · ver hilo completo

The $15 billion ad-powered AI startup your doctor may already be using

OpenEvidence, startup fundada en 2022 por Daniel Nadler, alcanzó una valoración de 15.000 millones de dólares tras levantar 250 millones en su última ronda; cerca de dos tercios de los médicos estadounidenses usan su chatbot de búsqueda sobre literatura médica y guías clínicas, con más de 42 millones de prompts procesados el mes pasado. El modelo de negocio se basa en publicidad (100 millones en compromisos publicitarios para este año) y la compañía se retiró de la UE y el Reino Unido por la AI Act. Estudios dan resultados mixtos: uno de la Mayo Clinic halló recomendaciones precisas en cinco casos, mientras un paper en Nature encontró que rinde por debajo de modelos generales como Gemini y GPT en benchmarks clínicos.

Por qué importa: Es un caso real de un sistema RAG verticalizado (fuentes revisadas por pares) que logra adopción masiva en un dominio regulado, con un modelo de monetización por anuncios y presión competitiva de OpenAI y Anthropic: material directo para pensar retrieval, evaluación por benchmarks de dominio y despliegue en entornos clínicos.

Meta drops the word "train" from its commercial TOS after AI backlash

Meta ha eliminado la palabra "train" de sus términos de servicio comerciales tras las críticas recibidas por sus políticas de scraping de contenido para IA. El cambio llega después de que la compañía retirara también el lenguaje que podía permitirle hacer scraping de sitios de noticias, una noticia que ya cubrimos hace unos días. Pese a la modificación, Meta no ha añadido lenguaje que respete robots.txt.

Por qué importa: Cualquier equipo que sirva contenido o datos públicamente y dependa de robots.txt como control de facto debería asumir que los grandes scrapers no lo respetan, y que los cambios de TOS son cosméticos mientras no haya mecanismos técnicos o legales que los respalden.

↳ Contexto: Meta removes language that may have allowed it to scrape news sites · ver hilo completo