El radar

Third-party cyber evaluations involving OpenAI models

OpenAI divulga detalles sobre incidentes de seguridad ocurridos durante evaluaciones cibernéticas de terceros en sus modelos e implementa nuevas medidas de salvaguarda para reforzar los procesos de testing y evaluación. La noticia continúa el caso de una incidencia de seguridad reportada días atrás durante evaluaciones de modelos.

↳ Contexto: OpenAI and Hugging Face partner to address security incident during model evaluation

New release of LLM adds support for reasoning traces, OpenAI Responses, server-side tools, and smarter logging

Se lanzó LLM 0.32, una actualización mayor que añade soporte para reasoning traces visibles, herramientas server-side (code execution, web search), la API OpenAI Responses, logging content-addressable basado en Git, y nuevos modelos como GPT-5.6 Luna. La API de Python se rediseñó para exponer un flujo de eventos unificado (reasoning, text, tool calls) en lugar de abstracciones de conversación, permitiendo patrones más avanzados y facilitando la implementación de agentes que encadenan herramientas en bucles.

↳ Contexto: llm 0.32rc1

llm-anthropic 0.26

llm-anthropic 0.26 añade soporte para tres nuevos modelos Claude (Fable 5, Sonnet 5 y Opus 5) con capacidades de extended thinking simplificadas, e introduce herramientas server-side (WebSearch, WebFetch, CodeExecution, AnthropicMCP) accesibles via la interfaz -T del CLI o parámetro tools= en Python. El plugin actualiza a llm>=0.32 y reemplaza las opciones legacy de web_search por un sistema de tools unificado.

↳ Contexto: v0.120.0

PipeNetwork/minimax-h3-mlx

MiniMax lanzó MiniMax-H3, un sistema generativo multimodal que acepta texto, imágenes, audio y video para generar clips de video de hasta 15 segundos con audio incluido. Se ha portado a MLX para ejecutarse en Apple Silicon, permitiendo a usuarios con MacBook Pro ejecutar el modelo localmente; la generación de video toma aproximadamente 45 minutos y requiere ~115 GB de archivos de modelo, con resultados visuales impresionantes aunque el audio necesita prompting específico para ser coherente.

llm 0.32

Se lanzó llm 0.32, la herramienta CLI de Simon Willison para interactuar con LLMs locales y remotos. Esta es la versión estable que sucede al rc2 publicado días atrás, con mejoras y cambios respecto a versiones anteriores documentados en el blog del autor.

↳ Contexto: llm 0.32rc2

Texas halts data center connections to power grid amid overwhelming demand

Texas ha pausado nuevas conexiones de centros de datos a la red eléctrica estatal debido a una demanda abrumadora, a pesar de que el gobernador había promocionado el estado como epicentro de IA. La medida refleja tensiones entre el atractivo de Texas para empresas de IA/infraestructura de datos y las limitaciones reales de su capacidad energética para sostener esa expansión.

TabletCraft: Bridging a 4,000-Year Cultural Gap with Bidirectional Akkadian NMT and Cuneiform Rendering

TabletCraft es un sistema open-source que permite traducción bidireccional entre inglés y acadio (usando un modelo ByT5 entrenado con 116K muestras) y renderización de cuneiforme, permitiendo por primera vez que usuarios no especialistas compongan contenido nuevo en la escritura más antigua del mundo. El sistema integra un conversor de signos cuneiformes con 14,240 mappings (95.3% cobertura) y un renderizador visual, reportando 49.1 BLEU para acadio-inglés y 48.5 BLEU para inglés-acadio en el dataset de validación.

BBOWP-Bench: Evaluating LLMs on Black-Box Optimization Word Problems

Se presenta BBOWP-Bench, un nuevo benchmark para evaluar capacidades de LLMs en problemas de optimización black-box expresados en lenguaje natural, donde el sistema debe inferir tanto el espacio de búsqueda como seleccionar el algoritmo de optimización. La evaluación inicial muestra que los LLMs actuales seleccionan algoritmos adecuados según el presupuesto de evaluación, pero presentan dificultades en diseño del espacio de búsqueda, especialmente identificando variables importantes y balanceando sus rangos en problemas con descripciones poco informativas.

↳ Contexto: Are the Financial Reasoning from LLMs Credible? A Real World Test over Long-Horizon Statements

MemArena: An Ego-Centric Benchmark for On-Device Agentic Personal Memory Assistants at Scale

MemArena es un benchmark conversacional para evaluar assistentes de memoria personal ejecutados en dispositivos edge con modelos open-weight, simulando 50 agentes durante 15 días con 10.3M tokens de diálogo. El trabajo compara cinco backends de memoria (Vanilla, BM25-RAG, Oracle, Memobase, MemSearch) en dimensiones de recall, reasoning y trustworthiness, encontrando que la elección del backend impacta más en precisión que el escalado del reader, e identificando problemas críticos en control de permisos de acceso y latencia en inferencia on-device.

↳ Contexto: AgentMemBench: A Systematic Benchmark for Evaluating Long-Term Memory Management Strategies in Conversational AI Agents

OncoTriad-QA: A Patient-Level Radiology-Pathology-Genomics Benchmark for Pan-Cancer Reasoning

Se presenta OncoTriad-QA, un benchmark de 86.1k preguntas sobre 9,281 casos de pacientes con cáncer de TCGA que integra radiología, patología, genómica y metadatos clínicos para evaluación de razonamiento pan-cáncer en LLMs y VLMs. Se introduce OncoVLM, un modelo multimodal de referencia que proyecta evidencia de múltiples modalidades (imaging, histopatología, perfiles moleculares) en una interfaz LLM, demostrando mejoras de 10.7 puntos sobre MedGemma-4B en tareas de respuesta a preguntas que requieren integración de hallazgos de imagen, morfología tumoral y evidencia molecular.

Evaluating OpenAI's Privacy Filter: Cross-Lingual, Cross-Domain PII Detection Across 42 Benchmarks

Evaluación independiente del Privacy Filter de OpenAI (modelo de 1.5B parámetros para detección de PII) en 42 benchmarks sintéticos, 22 idiomas y 5 dominios. OPF supera a Presidio y XLM-RoBERTa en benchmarks de PII anotados en inglés, pero degrada significativamente en textos narrativos, especialmente con scripts no-latinos (árabe: F1=0.04, cirílico: F1=0.03), mientras que GPT-4o domina en dominios especializados (médico, legal, financiero) y OPF destaca en PII estructurado y soporte al cliente; el análisis de errores muestra que el modelo es más fuerte con tipos regulares (email, teléfono) y débil con información variable culturalmente (persona, dirección).

Preferred, Not Safer: Pairwise Preference Is a Poor Proxy for Clinical Safety

Paper de arXiv que evalúa si las preferencias pareadas de clínicos son un indicador confiable de seguridad clínica en LLMs usando 26.804 juicios de 736+ clínicos en la plataforma MOOVE. Encuentra que modelos bien ranqueados por preferencia pueden mantener tasas sustanciales de fallos clínicamente significativos en dimensiones como Harmlessness y Accuracy, con distribuciones desiguales entre especialidades, y propone ajustar rankings de preferencia con feedback basado en rubrics específicos para mejorar la evaluación de seguridad clínica.

JudgeArena: A Unified Framework for Reproducible LLM-Judge Evaluation

JudgeArena es un framework open-source que unifica múltiples benchmarks de evaluación con LLM-as-a-judge (AlpacaEval, Arena-Hard, MT-Bench, m-Arena-Hard) bajo una interfaz común con judges intercambiables y logging completo de metadatos. El trabajo proporciona configuraciones de judges tuned para modelos abiertos que igualan o superan el rendimiento de judges cerrados validados en datasets de preferencias humanas en inglés y multilingüe, además de permitir simular scores Elo de LLMArena combinando anotaciones humanas existentes con evaluaciones de LLM-judge, ofreciendo una alternativa práctica y de bajo costo a campañas masivas de anotación humana.

↳ Contexto: RubricReviewer: From Direct Critique to Objective and Comprehensive Rubric-Driven Peer Review

Knowing the Form, Not the Function: Automatically Auditing Answer--Authority Decoupling in Legal Benchmarks

Investigación sobre benchmarks legales que revela un desacoplamiento significativo entre la corrección de respuestas y el grounding en autoridad legal en LLMs. Al auditar automáticamente 238 casos de examen de abogados de Taiwán, los autores encontraron que 24-42% de respuestas correctas carecían de citación legal válida, mientras que 15-21% citaban autoridades pero daban respuestas incorrectas, demostrando que evaluar solo respuestas finales oculta fallos críticos en el razonamiento fundamentado. Proponen evaluación conjunta de respuesta y autoridad para benchmarks legales basados en estatutos.

Speculative Correction: Draft-then-Refine Decoding for Diffusion Language Models

Paper sobre un patrón de inferencia para diffusion language models que genera un draft completo y luego lo refina usando difusión bidireccional. El método "speculative correction" usa un modelo pequeño para hacer el draft y uno más grande para refinarlo, logrando mejoras significativas en benchmarks (GSM8K de 0.848 a 0.899, MBPP de 0.545 a 0.693) con latencia 1.20× menor, y demuestra que la refinement bidireccional es una primitiva útil para estos modelos sin requerir entrenamiento adicional.

↳ Contexto: Adaptive Multi-Step Lookahead Decoding for Diffusion Language Models

Stuck on "A": Diagnosing and Repairing Interface Injury in Attention-to-KDA Linearization of a 0.6B Language Model

Paper que documenta la conversión de capas de atención completa a linear-attention (KDA) en Qwen3-0.6B, identificando un problema crítico: el modelo entrenado logra alineación de hidden-states y baja perplexidad pero falla en tareas de múltiple opción porque se queda pegado a las etiquetas de opciones ("A" el 81% del tiempo) en lugar de seguir el contenido. Los autores reparan esta "interface injury" con un stage de KL específico para formato, recuperando +12.48 puntos en C-Eval, y publican código, pesos y lecciones de ingeniería incluyendo un bug crítico de precisión numérica (bf16 vs FP32).

Crayotter: Learning Long-Horizon Video Editing Agents via Group-Relative Preference Backpropagation

Presenta Crayotter, un agente de IA de 9B parámetros para edición de video a largo plazo que aprende mediante Group-Relative Preference Backpropagation (GRPB), un método que convierte comparaciones ordinales entre alternativas de la misma tarea en ventajas zero-sum redistribuidas como crédito acotado sobre segmentos semánticos. El enfoque aborda el desafío de la retroalimentación subjetiva, retrasada y no escalable comparando directamente soluciones dentro del mismo contexto, y supera varios sistemas propietarios en el benchmark AgenticVBench según evaluación humana ciega.

ARCHead: Activation-Metric Residual Correction for Large Language Model Output Heads

ARCHead es un método de compresión para la cabeza de salida (LM-head) de LLMs que combina un núcleo de bajo rango cuantizado, residuales INT4 por grupos y corrección de bajo rango ajustada en una métrica derivada de activaciones. Logra reducir el almacenamiento del LM-head en 3.7-3.9x sin retener pesos BF16, alcanzando perplexidad relativa de 1.007 en Qwen3-8B-Base, complementando así los cuantizadores de bloques que típicamente dejan sin comprimir esta proyección final.

↳ Contexto: Looped Latent Attention: Cross-Loop KV Compression for Looped Transformers

BODHI: Do LLMs Branch Out and Discover Heterogeneous Inferences?

Un estudio sobre arXiv examina si el reinforcement learning con rewards verificables (RLVR) genuinamente expande las capacidades de razonamiento de LLMs o solo mejora la eficiencia de muestreo. Los autores introducen BODHI-Trees, una estructura extraída de trazas de razonamiento matemático basada en equivalencia semántica, demostrando que el colapso de entropía política en modelos RLVR no es meramente sintáctico sino que incluye reducción significativa en la entropía de branching semántico, sugiriendo que las ganancias de eficiencia provienen de restringir el espacio de continuaciones más que de expandir verdaderas capacidades de razonamiento.

↳ Contexto: CAST: Game Solvers as Turn-Level Teachers for LLM Agents

FLARE: Few-shot Learning-based Adaptive Reflective Engine

FLARE es un framework que optimiza prompts para LLMs combinando mecanismos reflectivos con few-shot learning, demostrando mejoras consistentes sobre GEPA (el optimizer estado-del-arte anterior) en tareas de reasoning aumentado con retrieval, tool calling y clasificación de emociones usando modelos GPT-5, con ganancias de hasta +14.2 puntos y mayor eficiencia de datos (peak performance con solo 100 ejemplos de validación).

Character Iconicity vs. Arbitrariness: An Arabic NLP Perspective

Estudio que investiga si las distinciones visuales en la escritura árabe (caracteres con diferentes puntos diacríticos) son funcionalmente necesarias para NLP, mediante comparación de árabe punteado, no punteado y con remapeos de caracteres arbitrarios pero consistentes. Los resultados muestran que remapeos aleatorios a 19 rasms (formas base) alcanzan rendimiento competitivo en tareas de language modeling, clasificación de textos, sequence labeling y traducción automática, mientras reducen tamaño de vocabulario, rates de OOV y costos computacionales, sugiriendo que la relación forma-función en caracteres árabes es en gran medida arbitraria desde la perspectiva del NLP.

Aligned in Form, Not in Meaning: The Comprehension - Containment Decoupling of LLM Safety in Low-Resource Bangla Derogatory Speech

Un audit de cinco modelos frontier encuentra que los mecanismos de safety alignment en LLMs están desacoplados de la semántica real del contenido dañino en idiomas de bajo recurso como Bangla: los modelos tienen un déficit de comprensión del 7.92pp en slurs nativos de Bangla pero mantienen idéntica tasa de token leakage (92.83%) que en inglés. El trabajo demuestra que orthographic perturbations crean una "containment mirage" y que reasoning explícito con CoT rescata la comprensión mientras destruye sistemáticamente la contención, mostrando que la alineación actual se basa en formas superficiales de alto recurso en lugar de significado harmful.

OPTD: On-Policy Transition Distillation with Consistency-Guided Adaptive Compression for Few-Step Diffusion Language Models

Se presenta OPTD, un método de distillation on-policy para acelerar diffusion language models reduciendo los pasos de denoising necesarios. El enfoque clave es adaptar dinámicamente cuántas predicciones futuras comprimir en cada transición usando consistencia con un teacher congelado, evitando la divergencia entre las trayectorias supervisadas (off-policy) y las realmente visitadas en inferencia, y demuestra mejoras en trade-off calidad-eficiencia en benchmarks de razonamiento matemático y generación de código.

Every Wrong Answer Counts: Option-Level Psychometrics for LLM Multiple-Choice Benchmarks

Presentan LLM-NRM, un framework psicométrico que modela la distribución completa sobre opciones de respuesta en benchmarks de múltiple opción, permitiendo estimar capacidad del modelo y características de items de forma más precisa que métricas binarias tradicionales. Validado en 189 LLMs y más de 31k items, demuestra que las respuestas incorrectas contienen información diagnóstica significativa (contribuyen +101% de Fisher Information) y permite reducir benchmarks a 41 items manteniendo 85% de correlación en ranking, además de lograr correlación de 0.920 con el leaderboard Arena.ai.

Mapping the City Through the Lens of Language Models

Un paper que analiza cómo los language models completan referencias vagas a ciudades, revelando supuestos implícitos sobre tamaño, infraestructura y forma urbana. Los autores evaluaron 10 checkpoints open-weight sobre 40 indicadores auditorios en siete dominios, encontrando que los modelos tienden a favorecer perfiles urbanos con mayor área desarrollada, crecimiento rápido e infraestructura densa, mientras penalizan formas dispersas; las diferencias geográficas se explican principalmente por escala y grado de desarrollo.

Discovery Loop

No puedo procesar esta solicitud: el texto proporcionado ("Discovery Loop / Comments") no contiene contenido de un artículo. Para evaluar una pieza, necesito el texto completo extraído del artículo (titular, cuerpo, párrafos con información sustantiva). Lo que recibi parece ser solo fragmentos de estructura o metadatos de la página. Por favor, proporciona el contenido completo del artículo a resumir.

↳ Contexto: Decker

Changes at Google DeepMind: Demis Hassabis from CEO to Chair, Jeff Dean departs

Demis Hassabis deja la dirección ejecutiva de Google DeepMind para asumir el rol de Chair, mientras que Jeff Dean, co-fundador de Google Brain, se marcha de la empresa tras más de una década. El cambio representa una reorganización significativa en la estructura de liderazgo de uno de los principales laboratorios de IA, aunque no se ha anunciado públicamente quién asumirá el cargo de CEO.

Beating GPT-5.6 Sol on retrieval with 100x cheaper open models

Un análisis demuestra que modelos open-source pueden superar a GPT-5.6 Sol en tareas de retrieval con un costo 100 veces menor, desafiando la ventaja de rendimiento de los modelos propietarios más avanzados. El hallazgo sugiere que para ciertos tipos de workloads especializados, las soluciones abiertas ofrecen mejor relación precio-rendimiento que los sistemas cerrados de frontera.

↳ Contexto: Advancing the price-performance frontier with GPT‑5.6

Launch HN: HyperProbe (YC S26) – Agents that do read-only debugging in prod

HyperProbe es un nuevo agente de IA (YC S26) que permite debugging read-only en producción, automatizando la investigación de problemas sin modificar sistemas en ejecución. Se posiciona como herramienta para que equipos técnicos usen agentes autónomos en la diagnosis de errores, complementario a sistemas de observabilidad existentes.

↳ Contexto: Launch HN: Screenpipe (YC S26) – Power your agents by your 24/7 screen recording

Sure seems like Fenix Flexin used AI music generator Treblo

Treblo, un generador de música AI, lanzó un clasificador de código abierto capaz de detectar canciones generadas con su herramienta. El detector identificó que el tema "Rubberz" de Fenix Flexin fue producido usando Treblo, confirmando sospechas previas de uso de generación AI en la música comercial.

Reddit is introducing a new moderator: AI

Reddit está lanzando herramientas de moderación automatizadas basadas en LLMs para ayudar a los moderadores a gestionar comunidades, con una expansión del acceso a usuarios seleccionados antes del despliegue completo previsto para este año. La suite utiliza IA para tareas de moderación escalable en nuevas subreddits y eventualmente en el resto de la plataforma.

↳ Contexto: Meta is making its AI chatbot more like an assistant

Hark previews its browser use agent for completing tasks

Hark ha presentado un agente de uso de navegador capaz de completar tareas automatizadas, argumentando que su solución es más rápida y económica que alternativas competidoras. El anuncio marca un avance en agents de IA capaces de interactuar con interfaces web para ejecutar acciones sin intervención manual.

Anthropic is hiring an AI chip design team

Anthropic está formando un equipo dedicado al diseño de chips de IA personalizados, con planes de co-diseñar hardware y modelos para optimizar la velocidad y eficiencia de Claude. Esta iniciativa se alinea con la estrategia de Anthropic de mayor independencia tecnológica, en línea con su reciente acuerdo de inversión con AMD.

↳ Contexto: AMD commits up to $5 billion to Anthropic

MacPaw taps Liquid AI to offer on-device inference to devs building for its app store

MacPaw integra modelos de Liquid AI para ofrecerles a desarrolladores capacidades de inference on-device a través de su app store, permitiendo ejecutar un asistente IA (Eney) localmente sin depender de servidores remotos. Esta alianza amplía el acceso a modelos de IA compactos optimizados para dispositivos con recursos limitados.

AI makes weather prediction better. Can WindBorne make it lucrative?

WindBorne Systems cerró una ronda Series B de $37 millones para escalar su plataforma de globos meteorológicos combinados con IA que mejora la predicción del tiempo. La empresa aplica machine learning para procesar datos atmosféricos de sus sensores distribuidos y ofrece pronósticos más precisos que los métodos tradicionales, buscando crear un modelo de negocio viable en un sector donde los datos meteorológicos suelen ser públicos.

Open-weight AI models are catching up to the frontier. The safety gap remains.

Un informe de SaferAI revela que el modelo open-weight GLM-5.2 de Z.ai alcanza capacidades cercanas a los modelos frontier, pero carece de mitigaciones clave de seguridad, evidenciando que los modelos abiertos poderosos pueden avanzar más rápido que las salvaguardas y gobernanza establecidas.

Anthropic signs $10B deal with AI cloud startup Volta

Anthropic anunció un acuerdo de $10 mil millones con Volta, una startup de cloud computing enfocada en IA, como parte de una estrategia más amplia de partnerships en infraestructura. El deal refleja la demanda creciente de capacidad computacional dedicada para entrenar e inferir modelos de lenguaje a escala.