El radar

The US let Nvidia sell chips to an empty office in China

El gobierno de EE. UU. está aprobando la venta de chips de IA H200 de Nvidia a empresas chinas vinculadas a compañías en listas negras, según The New York Times. Una de las firmas aprobadas, New Matrix, tiene oficinas vacías y apenas rastro verificable de existir, y sus propietarios están ligados a una firma de private equity sancionada desde 2024. El artículo señala que no es un fallo aislado sino un patrón de aprobaciones a entidades con restricciones comerciales por seguridad nacional, tras la relajación de límites por parte de la administración Trump a cambio de un 15% de las ventas.

Por qué importa: Las restricciones de exportación de chips de IA que se supone protegen la infraestructura de inferencia crítica pueden ser eludidas mediante entidades fantasma, comprometiendo la seguridad de la cadena de suministro que debería garantizar la ventaja tecnológica en sistemas agénticos y de modelo serving de clase mundial.

Why a new report on Anthropic automating AI development is alarming researchers

Un informe de METR, tras 11 semanas de investigación dentro de Anthropic, concluye que los modelos de la compañía mejoran aproximadamente el doble de rápido que hace un año, con un avance equivalente a dos años históricos en el último año, y que la mayor parte de esa aceleración se debe a la propia IA y no al escalado de cómputo. Empleados reportan ser unas 12 veces más productivos con el modelo interno más capaz, y METR señala indicios de que las contribuciones autónomas ganarán peso, sin detectar señales de rendimientos decrecientes; Anthropic entrenó tres modelos no liberados (Model 2, 3 y 4) en los últimos seis meses. Anthropic redactó la mayor parte de la evidencia más informativa del informe público, lo que METR critica porque obliga a depender de su criterio, y el cofundador Sam McCandlish justificó las redacciones por sensibilidad comercial y riesgo de dar un roadmap a competidores.

Por qué importa: La aceleración de la productividad de desarrolladores mediante agentes autónomos que METR documenta implica que los ciclos de mejora de modelos se volverán más cortos y menos predecibles, exigiendo nuevas estrategias de evaluación, observabilidad y gobernanza de sistemas multi-agente que actualmente carecen de metodologías maduras para operar a esa velocidad de iteración.

↳ Contexto: Anthropic is burning gas to feed the AI boom · ver hilo completo

After the midterms, things are looking rocky for Elon Musk and data centers

Análisis del impacto de las elecciones midterm en EE.UU. sobre la industria de data centers para IA: varias medidas locales que imponían restricciones o moratorias a data centers fueron aprobadas, y candidatos como la nueva gobernadora electa de Texas, Gina Hinojosa, hicieron campaña prometiendo limitarlos. Se menciona que OpenAI publicó un "compute campus policy blueprint" en el que deja de exigir NDAs y promete más transparencia sobre sus planes, en un intento de rebranding de los data centers como "compute campuses". El artículo es una discusión de podcast sin datos técnicos y retoma el tema que ya tratamos en "How a Blue Wave midterm might reshape the AI industry".

Por qué importa: Las restricciones y moratorias aprobadas en los estados limitan la disponibilidad de infraestructura GPU y capacidad de inferencia en regiones clave, afectando directamente la viabilidad de desplegar sistemas agénticos y workloads de IA en producción.

↳ Contexto: How a Blue Wave midterm might reshape the AI industry · ver hilo completo

b12207

Release b12207 de llama.cpp añade un fast path para d_state=64 al kernel SSM_SCAN de ggml-cuda, cubriendo arquitecturas como Zamba2 cuyo paso de scan recurrente caía fuera de los paths existentes (96, 128, 256) y terminaba en CPU. Con una nueva instanciación de template, sin cambios en las matemáticas, se midió una mejora de throughput de ~35% (11 → 15,1 tok/s) en Zamba2-7B-Instruct, validada contra el harness de referencia de CPU con 3 casos de test (28/28). Queda un ~28% de llamadas de scan aún en CPU por una causa no diagnosticada.

Por qué importa: La optimización del kernel SSM_SCAN para d_state=64 permite ejecutar en GPU modelos como Zamba2 que antes caían a CPU en su paso recurrente crítico, mejorando significativamente el throughput de inferencia local y reduciendo la latencia en sistemas que dependen de llama.cpp para servir estos modelos de forma eficiente.

b12203: ggml : switch to F32 src1 in the CPU backend (#31854)

En llama.cpp, el backend de CPU cambia el cálculo por defecto para GGML_TYPE_F16 para usar src1 en F32 en las multiplicaciones de matrices: vec_dot_type(F16) pasa a ser F32 y el producto punto usa ggml_vec_dot_f16_f32, de modo que src1 ya no se cuantiza a F16. El commit también corrige los patches im2col de conv_2d/conv_3d a F32 (antes en F16 corrompían el buffer y provocaban crashes con inputs grandes), ajusta conv_transpose y habilita el path vectorizado en AVX sin FMA. Incluye cifras de rendimiento en M5 Ultra, con subidas notables en GEMV y en el caso m=4096, n=512, k=14336 (65,6 -> 770,2 GFLOPS), aunque hay una regresión en k=16 (120,9 -> 101,7).

Por qué importa: Este cambio afecta directamente la estrategia de cuantización y precisión en inferencia local con llama.cpp: si tu infraestructura usa F16 cuantizado, ahora el segundo operando permanece en F32 durante la multiplicación matricial, lo que mejora significativamente el rendimiento en operaciones grandes (GEMV dominantes en inferencia) pero requiere validar si esos trade-offs de precisión y memoria mantienen la calidad en tus pipelines específicos de generación.

↳ Contexto: b11292 · ver hilo completo

b12202

Release de llama.cpp que introduce el manejo de `GGML_PREC_BF16` en los backends, aplicándolo igual que `GGML_PREC_F32`: los que rechazaban F32 en el src1 de MUL_MAT_ID ahora también rechazan BF16 (CUDA, Hexagon, OpenCL, WebGPU, Vulkan), y los que lo aceptan para flash attention lo admiten con la misma acumulación en F32 (CPU, SpaceMIT, ET). La implementación de referencia mueve a BF16 las proyecciones down y output de la familia GLM4, los matmuls de visión de MiMoVL y la conv1d del speaker encoder de Qwen3-TTS, mientras que los routers de DeepSeek V4/V4.1 y el indexer de MiniMax-M3 permanecen en F32. Se añaden tests de flash attention que cubren BF16 junto a F32 y DEFAULT, y la KQ multiplication pasa a solicitar `GGML_PREC_BF16`.

Por qué importa: La adopción sistemática de BF16 en operaciones críticas de inferencia permite reducir memoria y latencia en despliegues locales de modelos multimodales y de lenguaje sin sacrificar precisión, especialmente relevante para optimizar servidores de inference como llama.cpp en infraestructuras GPU/CPU limitadas.