El radar

AI agent makers are promising privacy — will they deliver?

Análisis de cómo los laboratorios de IA compiten prometiendo privacidad en sus agentes: Meta lanzó Muse como alternativa "segura" a OpenClaw (con datos en una VM aislada, aunque Meta aún puede acceder a ellos), y OpenAI presentó Dots en DevDay como alternativa más confiable a Muse. El artículo detalla fallos reales de Muse (una vulnerabilidad zero-day ya parcheada, recolección de datos para entrenamiento por defecto, perfiles detallados de contactos) y las promesas de OpenAI de controles empresariales y retención cero de datos, continuando la cobertura previa del lanzamiento de Dots frente a Meta.

Por qué importa: Para quien despliega agentes con acceso a datos sensibles, el texto muestra que la arquitectura de aislamiento y las políticas de retención de datos —no las promesas de marketing— son lo que realmente determina la superficie de exposición.

↳ Contexto: OpenAI’s new agent is a shot at Meta — but can it compete with free? · ver hilo completo

Building AI for Reliable Execution: Lessons From Industrial Robotics

Standard Bots, fabricante de brazos robóticos industriales con clientes como NASA, Amazon y Lockheed Martin, usa un modelo base compartido que los clientes adaptan mediante demostraciones y fine-tuning, con un sistema de percepción zero-shot para machine tending. Su modelo mayor es de pocos miles de millones de parámetros y se entrena en la nube pero hace inference en local (on-premise) por la falta de internet fiable en fábricas, con GPUs en el edge procesando píxeles de cámaras para generar action chunks hacia el control de bajo nivel. La empresa controla todo el stack (brazo, end effector, control y AI) para co-optimizar modelos y políticas de control, y prioriza datos dirigidos sobre volumen: correcciones in-situ arreglan edge cases con pocas docenas de ejemplos. IMPORTA: Muestra un caso real de despliegue de inference local y co-diseño modelo-hardware bajo restricciones de latencia y fiabilidad, con lecciones sobre usar datos dirigidos y correcciones en producción aplicables también a agentes software.

Por qué importa: Muestra un caso real de despliegue de inference local y co-diseño modelo-hardware bajo restricciones de latencia y fiabilidad, con lecciones sobre usar datos dirigidos y correcciones en producción aplicables también a agentes software.

↳ Contexto: Can Skills Learned in Games Transfer to Real-World Work? · ver hilo completo

b11557

El release b11557 de llama.cpp convierte GGML_RPC_DEBUG en un nivel de verbosidad numérico: 0 desactiva los logs, 1-3 emiten salida cada vez más detallada (eventos, traza por comando, detalle de transporte), y los valores no numéricos caen a 1. Los bloques duplicados de env/macro en ggml-rpc.cpp y transport.cpp se sustituyen por un log.h compartido que centraliza el logging del backend RPC con macros LOG_ERROR/LOG_WARN/LOG_INFO y LOG_DBG/LOG_DBG2/LOG_DBG3. Se añaden logs en cliente (handshake, operaciones de buffer, transferencias de tensores, cómputo de grafos) y servidor (dispatch por comando, nodos de grafo), incluyendo el transporte negociado vía socket_t::transport_name(). Da observabilidad granular sobre el backend RPC de llama.cpp, algo clave para depurar despliegues de inference distribuida donde hasta ahora no había trazas por comando ni de transporte.

Por qué importa: Da observabilidad granular sobre el backend RPC de llama.cpp, algo clave para depurar despliegues de inference distribuida donde hasta ahora no había trazas por comando ni de transporte.

b11554

Nuevo commit en llama.cpp (b11554) que optimiza el backend Vulkan en la operación mul_mat_id para el caso de expertos con ids repetidos. En lugar de iterar en bucle, la optimización de "hoist row ids" ahora está siempre activa y genera una lista compacta de descripciones de tiles a ejecutar, emitiendo múltiples tiles cuando es necesario y permitiendo un límite superior más ajustado del número de workgroups con salida temprana de la cola. IMPORTA: Mejora directamente el rendimiento de inference de modelos MoE (mixture-of-experts) sobre GPU vía Vulkan, un caso relevante para quien sirve o ejecuta LLMs localmente con backend gráfico.

Por qué importa: Mejora directamente el rendimiento de inference de modelos MoE (mixture-of-experts) sobre GPU vía Vulkan, un caso relevante para quien sirve o ejecuta LLMs localmente con backend gráfico.

↳ Contexto: b11029 · ver hilo completo

b11552

Nuevo commit en llama.cpp (b11552) que corrige un bug en el servidor: una petición que solicitaba un id_slot ocupado ejecutaba la actualización del prompt cache en ese slot antes de quedar diferida. Si el cache en RAM tenía una coincidencia mejor, se cargaba en el slot mientras otra generación seguía en curso, y esa generación continuaba sobre el contexto equivocado. Ahora el slot ocupado se devuelve tal cual y la petición espera. IMPORTA: Corrige una condición de carrera en el server de llama.cpp que podía corromper silenciosamente el contexto de generaciones concurrentes, algo crítico para quien despliega serving multi-petición con prompt cache.

Por qué importa: Corrige una condición de carrera en el server de llama.cpp que podía corromper silenciosamente el contexto de generaciones concurrentes, algo crítico para quien despliega serving multi-petición con prompt cache.