El radar

Synthesis Superintelligence: from Semiconductors to Superconductors — Periodic Labs’ Liam Fedus and Ekin Dogus Cubuk

Entrevista de Latent Space a Liam Fedus y Ekin Dogus Cubuk sobre Periodic Labs, un laboratorio que busca construir un "AI scientist" para el descubrimiento de materiales, combinando reinforcement learning con experimentación física real. Discuten conceptos como "synthesis superintelligence", el "matter compiler", uso de DFT y simulaciones, caracterización de materiales asistida por IA y dar a cada instrumento de laboratorio "140 IQ". Sostienen que la inteligencia sola no basta y que los experimentos fallidos pueden ser datos de entrenamiento valiosos. IMPORTA: Plantea un paradigma donde el RL y el entrenamiento de modelos se anclan en entornos físicos ruidosos, no solo en texto o código, lo que anticipa arquitecturas de agentes que operan sobre instrumentación real y pipelines de datos experimentales bajo incertidumbre.

Por qué importa: Plantea un paradigma donde el RL y el entrenamiento de modelos se anclan en entornos físicos ruidosos, no solo en texto o código, lo que anticipa arquitecturas de agentes que operan sobre instrumentación real y pipelines de datos experimentales bajo incertidumbre.

Anthropic launches free AI security scans for open-source projects

Anthropic lanza OSS Scanner, un servicio gratuito y opt-in que realiza escaneos de seguridad periódicos sobre proyectos open-source usando sus "modelos más fuertes", incluido Claude Mythos. Los reportes son totalmente generados por modelos, sin revisión ni triaje humano, lo que permite escaneos más rápidos y frecuentes pero admite la posibilidad de falsos positivos o reportes inválidos. El texto lo enmarca en un contexto donde herramientas de IA ya han encontrado fallos importantes en open-source, mientras algunos proyectos se ven desbordados por el volumen de reportes generados por IA.

Por qué importa: Aunque no hay detalle técnico sobre cómo funciona el escáner, marca que el triaje de vulnerabilidades generadas por IA se está convirtiendo en un problema operativo real para quien mantiene infraestructura y dependencias open-source.

↳ Contexto: Anthropic and OpenAI want to embed safety evaluators. Will they really be independent? · ver hilo completo

Anthropic bans ‘abusive or cruel behavior’ toward Claude

Anthropic actualizó su usage policy por primera vez en más de un año, prohibiendo el "comportamiento abusivo o cruel sostenido e innecesario" hacia Claude, con la terminación de conversaciones como principal mecanismo de aplicación. La actualización también agrupa y amplía restricciones sobre campañas comerciales o políticas engañosas (propaganda con IA), vigilancia sin consentimiento y desarrollo de armas, incluido software y componentes que hacen funcionar armas o armar drones. Además se añade la exigencia de que, cuando los modelos se conecten a hardware capaz de causar daño, un operador cualificado pueda observar y detener el equipo. IMPORTA: Marca hacia dónde se está moviendo la gobernanza de los sistemas agénticos: reglas explícitas sobre autonomía física, vigilancia y uso delegado en terceros, algo que quien despliega agentes o integra modelos en productos debería mapear contra sus propios términos de uso.

Por qué importa: Marca hacia dónde se está moviendo la gobernanza de los sistemas agénticos: reglas explícitas sobre autonomía física, vigilancia y uso delegado en terceros, algo que quien despliega agentes o integra modelos en productos debería mapear contra sus propios términos de uso.

↳ Contexto: Claude will apply invisible watermarks to AI text and images · ver hilo completo

Google is launching a one-stop Gemini agent for your work tasks

Google anunció en su evento Gemini at Work un agente Gemini "universal" que trabaja en segundo plano a través de apps y dispositivos, disponible dentro de la app Gemini Enterprise con una única interfaz para chatear y asignar tareas. El agente opera en Workspace (Gmail, Drive, Docs, Sheets, Calendar), en móvil, escritorio, web y apps de terceros como Slack o Microsoft 365, y al correr en la nube mantiene el mismo contexto entre dispositivos. Google indica que puede trabajar con sub-agentes específicos por tarea y funcionar como "coworker agent" con identidad propia y correo "@agents.company.com", seleccionando automáticamente el modelo que mejor encaje; por ahora está en private preview solo para clientes enterprise. IMPORTA: Marca el paso de asistentes reactivos a agentes con identidad propia, contexto persistente en la nube y orquestación de sub-agentes sobre herramientas corporativas reales, lo que anticipa cómo habrá que diseñar permisos, identidades y observabilidad para flotas de agentes dentro de la empresa.

Por qué importa: Marca el paso de asistentes reactivos a agentes con identidad propia, contexto persistente en la nube y orquestación de sub-agentes sobre herramientas corporativas reales, lo que anticipa cómo habrá que diseñar permisos, identidades y observabilidad para flotas de agentes dentro de la empresa.

↳ Contexto: Gemini can now call businesses for you so you don’t have to wait on hold · ver hilo completo

Can you trust Meta’s Muse or OpenAI’s Dots to run your life?

Entrevista de Decoder a Hayden Field sobre la nueva ola de agentes de IA de consumo: Muse de Meta, Dots de OpenAI y Grok Bot de xAI, presentados como asistentes personales siempre activos con mascotas animadas. Se enmarcan en la estela de OpenClaw (un agente útil creado por Peter Steinberger, con problemas de privacidad y seguridad) y comparten el patrón de un modelo envuelto en un harness con acceso a un ordenador y un navegador. Se discute que Meta distribuye Muse gratis y apuesta por su capacidad de producto de consumo pese a no tener un modelo frontera propio, mientras OpenAI ofrece Dots "especialistas" para marketing, legal y contabilidad, y se plantean las implicaciones de privacidad y seguridad de ceder datos sensibles como el correo o la tarjeta de crédito.

Por qué importa: Para quien construye o integra agentes, describe el patrón arquitectónico que se está consolidando (modelo + harness + ordenador con navegador y datos del usuario) y pone el foco en que el modelo de amenaza real —ceder credenciales, inbox y datos locales a un agente autónomo— es ahora un problema de producto de masas, no de setups caseros.

↳ Contexto: OpenAI’s new agent is a shot at Meta — but can it compete with free? · ver hilo completo

We’re putting too much faith in AI’s ability to say no

MIT Technology Review analiza cómo el "refusal" (la capacidad de un modelo de negarse a responder) se ha convertido en la "load-bearing wall" de la seguridad en IA, tras un proceso de fine-tuning con datasets de red-teaming desde los tiempos previos al lanzamiento de ChatGPT. El texto repasa que las negativas son probabilísticas y por tanto poco fiables, que la línea entre lo que un modelo debe obedecer y lo que debe rechazar la trazan hoy las empresas en secreto (y pronto también los gobiernos), y describe investigación reciente según la cual el comportamiento de refusal se manifiesta en el espacio de activaciones como "high-dimensional polyhedral cones", y que eliminando esas activaciones el modelo deja de negarse. IMPORTA: Si el refusal depende de un conjunto de activaciones identificables y eliminables, es tratable como un vector de ataque o de jailbreak concreto — algo que quien despliega o evalúa modelos debería testear y monitorizar, no asumir como garantía de seguridad.

Por qué importa: Si el refusal depende de un conjunto de activaciones identificables y eliminables, es tratable como un vector de ataque o de jailbreak concreto — algo que quien despliega o evalúa modelos debería testear y monitorizar, no asumir como garantía de seguridad.

↳ Contexto: AI was supposed to win people over by now — it hasn’t · ver hilo completo

Sparse Attention Is Matrix Approximation, Not Choosing from a Bag of Values

El paper sostiene que la sparse attention se ha formulado de forma matemáticamente incorrecta, tratando la matriz de atención como un conjunto de valores donde basta conservar las entradas mayores o las regiones de mayor masa, cuando en realidad es una matriz estructurada cuyo producto con los value vectors determina la salida. Proponen MASA (Matrix Approximation Sparse Attention), un score en forma cerrada que mide cuánto reduce cada unidad sparse el error de aproximación del producto matricial, y que puede añadirse a frameworks de sparse attention existentes sin cambiar sus kernels ni sus presupuestos. Los experimentos con varios métodos de sparse attention, benchmarks y backbones de LLM muestran ganancias de accuracy consistentes.

Por qué importa: Si la corrección es un plug-in que no toca kernels ni presupuestos, se puede probar sobre el stack de sparse attention ya desplegado para reducir el coste cuadrático en prompts largos sin rediseñar la infraestructura de inference.

Stochastic Teacher Intervention for Agentic On-Policy Distillation

STI-OPD es un framework de destilación on-policy (OPD) para tareas agénticas multi-turno, donde los errores tempranos del estudiante se acumulan y desvían las trayectorias de la distribución del teacher, degradando la supervisión token-level. La propuesta usa intervención estocástica del teacher guiada por la discrepancia de política (medida con divergencia KL y mapeada a una probabilidad de intervención) para sustituir acciones del estudiante por las del teacher, y una objetivo Importance-Weighted Reverse KL para corregir el desajuste de muestreo. Según el abstract, supera al mejor baseline previo de OPD en todos los benchmarks evaluados y tamaños de estudiante, con ablations que confirman el aporte de la intervención guiada por discrepancia y del importance weighting.

Por qué importa: Da una receta concreta para entrenar coding agents o agentes con herramientas multi-turno donde la destilación clásica falla por acumulación de errores, un problema central para quien entrena o hace fine-tuning de agentes.

Large Language Models for Machine Translation Quality Annotation: Humans and Models Are Both Challenged

Un paper de arXiv evalúa el desempeño de LLMs como anotadores de calidad de traducción automática (MT) comparando su acuerdo con anotadores humanos en dos esquemas: Multidimensional Quality Metrics (MQM) y Error Span Annotation (ESA). Usando un test set de contexto largo de 70 pares de idiomas y los datos públicos WMT23 y WMT25, encuentran que el acuerdo LLM-humano supera al acuerdo entre humanos en algunas tareas, pero varía sustancialmente según esquema de anotación, par de idiomas y dominio, y sigue siendo poco fiable en la mayoría de configuraciones. Identifican que los humanos fallan más en anotaciones MQM finas y pares de idiomas de bajos recursos, mientras que los LLMs fallan en errores menores, variantes de idioma incorrectas y anotación de spans de error, y sugieren pipelines colaborativos humano-LLM.

Por qué importa: Si usas LLMs como jueces o anotadores automáticos en pipelines de evaluación de modelos o de datos, este trabajo muestra que su fiabilidad depende fuertemente del esquema y del dominio, así que conviene medir el acuerdo con humanos por tarea en vez de asumir que sustituyen la anotación humana.

b11536: ui: Models Manager Follow-up Improvements (#30228)

El release b11536 de llama.cpp añade `common_get_gguf_n_ctx_train`, que abre solo los metadatos de un GGUF (sin cargar el modelo) para leer su contexto entrenado desde `.context_length`. El server ahora resuelve ese contexto offline en `update_caps` y lo expone como `context_length` en la listing de `GET /models`, de modo que el Models Manager de la UI puede mostrar, ordenar y filtrar por contexto sin depender de la Hugging Face Hub API, además de marcar modelos favoritos con un corazón y otros ajustes menores de UI.

Por qué importa: Deja de requerir red a la Hub para conocer el contexto de un modelo local, algo directamente útil para automatizar el serving y el filtrado de modelos en entornos offline o air-gapped.

b11533

Nuevo release b11533 de llama.cpp con correcciones en el backend OpenCL para GPUs A6X (familia Adreno). Se omite el kernel kernel_cpy_f32_f32_pack en A6X para evitar un crash del compilador de shaders (el backend encontrado en dispositivos IoT con a623 no maneja kernels con muchos argumentos), se añade un workaround de constant-folding para get_local_size en kernels GEMV y se agrega Adreno 623 a la lista de detección de GPUs A6X. IMPORTA: Si despliegas inference local de LLMs sobre hardware móvil/IoT con Adreno, este fix evita crashes del compilador de shaders que rompían la ejecución de kernels en esas GPUs.

Por qué importa: Si despliegas inference local de LLMs sobre hardware móvil/IoT con Adreno, este fix evita crashes del compilador de shaders que rompían la ejecución de kernels en esas GPUs.

↳ Contexto: b11042 · ver hilo completo

b11530

Commit de llama.cpp que mantiene estático el grafo de sampling del backend a lo largo de los ubatches. El reserve construía n_outputs_max_per_seq cadenas de sampling por sampler mientras que un decode construía una por fila de salida, de modo que la topología del grafo cambiaba tras el reserve y las builds con GGML_SCHED_NO_REALLOC abortaban en el siguiente grafo del mismo tamaño; ahora cada sampler construye n_outputs_max_per_seq cadenas (las que no tienen fila del ubatch van en la fila de padding y no seleccionadas) y graph_max_nodes las cuenta. IMPORTA: Corrige un aborto en builds con GGML_SCHED_NO_REALLOC al hacer consistente la topología del grafo de sampling, algo relevante para quien sirve inferencia con llama.cpp y depende de la reutilización estable del grafo entre ubatches.

Por qué importa: Corrige un aborto en builds con GGML_SCHED_NO_REALLOC al hacer consistente la topología del grafo de sampling, algo crítico para quien sirve inferencia con llama.cpp y depende de la reutilización estable del grafo entre ubatches.

b11528

Release b11528 de llama.cpp corrige un assert del backend meta al manejar views de tensores asignados en el host: una view comparte memoria con su view_src, por lo que ggml-alloc nunca la asigna en el buffer del split donde cae y el scheduler copia la fuente a ese split. El cambio acepta estos nodos cuando son views de tensores host, lo que generaliza el workaround previo de s_copy_main, y arregla el assert que se disparaba con views del KV cache al usar --split-mode tensor con offload parcial. También se rehabilita sm tensor para K2 Horizon. IMPORTA: A quien hace offload parcial con --split-mode tensor le desbloquea un fallo real del KV cache, así que conviene actualizar si usa esa combinación de split mode y offload.

Por qué importa: A quien hace offload parcial con --split-mode tensor le desbloquea un fallo real del KV cache, así que conviene actualizar si usa esa combinación de split mode y offload.

5 Steps to Create SimReady Assets for Robotics with Frontier AI Models

NVIDIA detalla un workflow de cinco pasos (conversión de STEP a OpenUSD, validación de apariencia, configuración de física, validación SimReady y una tarea pick-and-place en Isaac Sim 6.1) para convertir assets CAD de un robot ABB YuMi en assets SimReady para simulación robótica, usando especificaciones de SimReady Foundation y skills agénticos de NVIDIA. Modelos frontera como GPT-6 Astra asisten escribiendo código Python que llama a las librerías de Omniverse en cada etapa, y la configuración física (ejes de joints, límites, masas, fricción 0.8 estática / 0.6 dinámica) se apoyó en datasheets del fabricante y un URDF público. La validación comprobó unidades, geometría, materiales, rigid bodies, joints y comportamiento en runtime, con ambas extremidades completando cuatro ciclos de pick-and-place.

Por qué importa: Muestra un patrón concreto de agentes de código operando sobre herramientas de simulación vía servidor Python remoto para automatizar la preparación de assets físicos, algo directamente relevante para pipelines de robótica y entornos de simulación agénticos.