El radar

OpenAI drops another batch of mathematical breakthroughs

OpenAI ha publicado un lote de 722 manuscritos con soluciones a problemas matemáticos abiertos generadas por un modelo frontier no lanzado, agrupados en 372 familias de resultados; según el grupo asesor AGMAI incluye respuestas a "cientos" de preguntas abiertas. La compañía afirma que el "resultado promedio" consumió el equivalente a tres horas de razonamiento de ChatGPT Pro, y el material incluye resúmenes del razonamiento del modelo, estimaciones de cómputo y estadísticas de problemas intentados. La publicación llega después de que AGMAI recomendara publicar resultados matemáticos por canales académicos, divulgar modelo, prompts y coste de cómputo, y no usar estos lanzamientos como marketing; continúa la serie de avances de OpenAI y otros laboratorios que el campo aún está procesando.

Por qué importa: Muestra un caso real de uso de cómputo de inferencia a gran escala sobre un modelo frontier para generar resultados verificables, y sienta precedentes sobre qué metadatos (modelo, prompts, coste de cómputo) empiezan a exigirse al publicar salidas de un LLM.

↳ Contexto: OpenAI keeps bulldozing mathematicians · ver hilo completo

We can’t just change the definition of ‘recording’

Artículo de opinión que analiza cómo las empresas de hardware con IA están redefiniendo qué cuenta como "grabación": cámaras domésticas de Apple que no guardan vídeo sino fragmentos de texto descriptivos, y funciones Live Rewind y Siri Recap del Apple Watch que transcriben y resumen audio sin guardarlo. Google estudia un enfoque similar para las cámaras de sus gafas inteligentes, donde el sensor de imagen no almacenaría footage. El texto señala la falta de normas claras sobre señalización (luces de privacidad) y el problema de distinguir dispositivos que graban de los que no. IMPORTA: Plantea el marco de privacidad y consentimiento que los equipos que construyen agentes con entrada multimodal (visión, audio) tendrán que asumir, porque la retención de datos derivados —transcripciones y resúmenes— es la que determina qué es auditable y qué no.

Por qué importa: Plantea el marco de privacidad y consentimiento que los equipos que construyen agentes con entrada multimodal (visión, audio) tendrán que asumir, porque la retención de datos derivados —transcripciones y resúmenes— es la que determina qué es auditable y qué no.

↳ Contexto: Musicians-turned-detectives are hunting for AI grifters · ver hilo completo

How AI decision models could change content moderation

Musubi ha anunciado PolicyLM-1.7B, un decision model ligero con pesos abiertos diseñado para moderación de contenido en tiempo real, capaz de aplicar una política escrita en lenguaje natural a mensajes en menos de 50 milisegundos sin necesidad de reentrenamiento cuando la política cambia. El modelo se posiciona como una alternativa más rápida y barata que los LLMs al limitar su salida a un juicio binario, manteniendo la flexibilidad de la arquitectura transformer, y llega en un momento de creciente interés por los decision models tras el lanzamiento de Jev de TypeSafe AI. IMPORTA: Para quien construye agentes o plataformas, muestra un patrón de inferencia ultrarrápida y barata basada en salidas restringidas que puede reutilizarse para guardrails, clasificación de políticas o moderación en pipelines propios, sin reentrenar cuando cambian las reglas.

Por qué importa: Para quien construye agentes o plataformas, muestra un patrón de inferencia ultrarrápida y barata basada en salidas restringidas que puede reutilizarse para guardrails, clasificación de políticas o moderación en pipelines propios, sin reentrenar cuando cambian las reglas.

AI computing startup Lambda to raise $4B ahead of planned IPO

Lambda, proveedor cloud de cómputo para IA, levanta hasta 4.000 millones de dólares a una valoración pre-money de 14.500 millones, en la que podría ser su última ronda privada antes de un IPO previsto para 2027, liderada por Coatue Management y Blackstone. Su backlog pasó de 15.000 millones en junio a 50.000 millones en septiembre, aunque buena parte de ese aumento se explica por el compromiso de 35.000 millones de Anthropic firmado a finales de agosto. La noticia continúa lo que ya contamos sobre Lambda, que la semana pasada levantó 1.000 millones adicionales en deuda. IMPORTA: Para quien depende de capacidad GPU, el dato clave es que el backlog de un neocloud dependa en gran medida de un único cliente: eso concentra el riesgo de la capacidad contratada y puede afectar precios y disponibilidad de inference a futuro.

Por qué importa: Para quien depende de capacidad GPU, el dato clave es que el backlog de un neocloud dependa en gran medida de un único cliente: eso concentra el riesgo de la capacidad contratada y puede afectar precios y disponibilidad de inference a futuro.

↳ Contexto: Neocloud Lambda secures $1B in debt to buy more chips · ver hilo completo

Hark releases an AI personal assistant with a focus on privacy

Hark, startup fundada por Brett Adcock, lanza Hark Pro, un asistente personal de IA centrado en la privacidad que funciona como una experiencia a pantalla completa con chat central y "panels" con mini-dashboards. Su modelo está entrenado específicamente para computer use, de modo que opera el ordenador del usuario (email, calendario, disco duro, tarjetas) para ejecutar tareas, y muestra en una pequeña ventana cómo el agente navega la web para generar confianza. La empresa promete además un dispositivo nativo de IA para 2027, y el artículo señala que compite con otros asistentes como Muse, Instinct y Dots. IMPORTA: Para quien construye agentes, el caso de Hark es un ejemplo concreto de modelo especializado en computer use frente a un LLM de frontera, con el trade-off explícito de más velocidad y coste menor a cambio de conocimiento general, además de una decisión de UX de transparencia (mostrar la navegación del agente) relevante para observabilidad y confianza en sistemas agénticos.

Por qué importa: Para quien construye agentes, el caso de Hark es un ejemplo concreto de modelo especializado en computer use frente a un LLM de frontera, con el trade-off explícito de más velocidad y coste menor a cambio de conocimiento general, además de una decisión de UX de transparencia (mostrar la navegación del agente) relevante para observabilidad y confianza en sistemas agénticos.

↳ Contexto: OpenAI launches Dots, its Muse competitor · ver hilo completo

Release v5.19.0

La release v5.19.0 de transformers añade EmbeddingGemma 2, un modelo de embeddings multimodal de Google sobre la arquitectura Gemma 4 que codifica texto, imagen, audio y vídeo en un espacio vectorial compartido de 768 dimensiones con Matryoshka Representation Learning (truncable a 512, 256 o 128). También introduce token-dispatch para expert parallelism (nueva regla ep_dispatch_experts, por defecto en Qwen3 MoE y Mellum, eliminando el requisito de que EP size iguale TP size), cambios en continuous batching (fusión de la actualización de caché, soporte directo en flash/SDPA y deprecación del prefijo "paged|"), configuración de caché por capa en DynamicCache y StaticCache, y correcciones en el manejo de caché cuantizada. IMPORTA: Cambia cómo se despliegan modelos MoE en paralelo (EP sin depender del tamaño de TP) y cómo se gestionan las cachés en serving con continuous batching, algo directamente relevante para quien opera inference a escala con vLLM

Por qué importa: Cambia cómo se despliegan modelos MoE en paralelo (EP sin depender del tamaño de TP) y cómo se gestionan las cachés en serving con continuous batching, algo directamente relevante para quien opera inference a escala con vLLM o stacks similares.

↳ Contexto: Giga-Embeddings: Mixture-of-Experts Encoders for High-Throughput Text Embeddings · ver hilo completo

Advancing computer use with Ironclad

OpenAI e Ironclad colaboran en el entrenamiento y la evaluación de AI agents sobre flujos de trabajo complejos de contratación, con el objetivo de avanzar en el uso de computadoras para trabajo profesional. Es una continuación de nuestra pieza reciente "How AI-native companies turn workflows into operating capability". IMPORTA: Muestra cómo se está llevando la evaluación de agentes de computer use a flujos profesionales reales de contratación, un caso de referencia para quienes diseñan y miden agentes que operan interfaces y procesos de negocio.

Por qué importa: Muestra cómo se está llevando la evaluación de agentes de computer use a flujos profesionales reales de contratación, un caso de referencia para quienes diseñan y miden agentes que operan interfaces y procesos de negocio.

↳ Contexto: How AI-native companies turn workflows into operating capability · ver hilo completo

[AINews] Quasi-Riemann-Hypothesis: OpenAI publishes 722 math papers solving 90 of the top 500 open math problems; “the most significant moment” in >100 years of mathematics

OpenAI publicó en un repo de GitHub 722 manuscritos matemáticos agrupados en 372 familias, generados por un modelo interno de frontera no publicado, a partir de la evaluación de unos 4.000 problemas y con unas tres horas de compute de ChatGPT Pro por resultado. El modelo queda sin publicar; el release incluye papers, artefactos de prueba y resúmenes de razonamiento seleccionados, y se apoyó en el Advisory Group on Mathematics and AI del Institute for Advanced Study. Entre los resultados destacados por comentaristas (sin verificación independiente) hay uno de multiplicación de enteros más rápido que n log n y un resultado de unicidad para el problema inverso elástico abierto en 3D desde 1994, además de avances parciales en Riemann, Hodge y BSD, con una estimación de que cerca del 20% son refutaciones o contraejemplos.

Por qué importa: Marca un salto en el uso de LLMs como herramienta de descubrimiento con verificación formal, algo directamente relevante para quien diseña pipelines de razonamiento largo, evaluación de outputs y uso de compute de inferencia a gran escala.

↳ Contexto: Welcome to the AI crisis in math · ver hilo completo

Validate AI Factory Changes with Digital Twins and AI Agents

NVIDIA presenta DSX Air, un gemelo digital basado en nodos que modela la infraestructura de una AI factory y sus interfaces de software para validar configuraciones y cambios antes de que llegue el hardware. Agentes agénticos pueden interrogar el gemelo, ejecutar checks, comparar resultados contra políticas y producir recomendaciones con evidencia dentro de un bucle de automatización gobernado, con gates human-in-the-loop y controles de política. NVIDIA Brev aporta cómputo GPU bajo demanda que se conecta al entorno DSX Air, y el AI Blueprint de Video Search and Summarization ejemplifica el patrón combinando análisis de video, conocimiento con RAG y orquestación de agentes dentro del gemelo. IMPORTA: Traslada la validación de cambios de infraestructura de IA al pipeline CI/CD antes de tocar producción, lo que permite a equipos de plataforma probar configuraciones de GPU, red y orquestación contra un gemelo digital en lugar de esperar al hardware físico.

Por qué importa: Traslada la validación de cambios de infraestructura de IA al pipeline CI/CD antes de tocar producción, lo que permite a equipos de plataforma probar configuraciones de GPU, red y orquestación contra un gemelo digital en lugar de esperar al hardware físico.

↳ Contexto: Topology-Aware Workload Scheduling with NVIDIA Topograph · ver hilo completo

Scaling Decision Optimization to 100 Million Variables and Beyond with mPDLP in NVIDIA cuOpt

NVIDIA presenta mPDLP, un solver de Linear Programming multi-GPU dentro de cuOpt que distribuye problemas LP entre GPUs conectadas por NVLink mediante min-cut partitioning, reduciendo el corte de ejes en el grafo bipartito de dependencias para minimizar la comunicación entre GPUs. Reporta hasta 6x menos memoria pico por GPU frente al PDLP de una sola GPU, con problemas de hasta 2.1B nonzeros, y speedups de hasta 11.4x en pasos PDLP en los problemas más grandes sobre DGX B200. Kinaxis reportó 3.3x de speedup en un modelo de supply chain con más de 135M variables usando ocho H100 por NVLink, y PSR más de 5x en un modelo estocástico de expansión energética con 185M variables sobre ocho B200.

Por qué importa: Muestra que la optimización matemática clásica (LP) ya escala en memoria y anchura de banda distribuyendo el SpMV entre GPUs, un patrón de paralelización reutilizable en cualquier workload memory-bound de inferencia o entrenamiento que hoy choca contra la capacidad de una sola GPU.

↳ Contexto: From bare metal to diverse AI revenue streams: Navigating the GPU cloud platform challenge · ver hilo completo

Faster Scientific Image Analysis with NVIDIA cuPhoton

NVIDIA presenta cuPhoton, un toolkit open-source de CUDA-X con bloques GPU-acelerados (xDataReader para carga FITS, xRep para alineación, xPois para PSF matching, xFit para dipole fitting, xScan para revisión de candidatos) que mantiene los datos de imagen en la GPU de principio a fin. En cargas representativas con múltiples GPUs sobre NVIDIA GB200 NVL72, reporta aceleraciones de hasta 14.900x en carga de imágenes y 14.550x en procesamiento de señal frente a un baseline x86 CPU. El caso destacado es el Vera C. Rubin Observatory y su LSSTCam, que genera exposiciones de 3,2 gigapíxeles cada 39 segundos y hasta 20 TB por noche, dentro de una ventana de alerta de 60 a 120 segundos. Muestra un patrón de diseño (mantener los datos en el device y distribuir pares de imágenes completas entre workers GPU) aplicable a cualquier pipeline de alto throughput donde la latencia de mover datos entre CPU y GPU es el cuello de botella real.

Por qué importa: Muestra un patrón de diseño (mantener los datos en el device y distribuir pares de imágenes completas entre workers GPU) aplicable a cualquier pipeline de alto throughput donde la latencia de mover datos entre CPU y GPU es el cuello de botella real.

How DOCA GPUNetIO Unifies GPU-Initiated Networking Across the NVIDIA Software Stack

NVIDIA presentó DOCA GPUNetIO como una base unificada de GDA-KI que permite a los kernels CUDA accionar directamente operaciones Ethernet, RDMA, Verbs y DMA sin que la CPU esté en el path crítico. El framework se distribuye en dos formas: la versión completa del DOCA SDK como superset y una implementación open-source enfocada en Verbs que detecta el SDK en runtime y puede llamar a funciones cerradas vía dlopen. Múltiples librerías de comunicación (NCCL, NVSHMEM, UCX/NIXL, Holoscan) convergen sobre esta base compartida en lugar de mantener implementaciones GDA-KI separadas; NCCL GIN integra el path open-source de Verbs desde la versión 2.27 y NVQLink reporta ~2.6 microsegundos de latencia round-trip mínima en IGX Thor con GPU Blackwell y ConnectX-7. Unificar GDA-KI bajo un solo punto de implementación compartido reduce la duplicación entre NCCL, NVSHMEM y UCX/NIXL, lo que simplifica

Por qué importa: Unificar GDA-KI bajo un solo punto de implementación compartido reduce la duplicación entre NCCL, NVSHMEM y UCX/NIXL, lo que simplifica el mantenimiento de transports GPU-initiated en stacks de entrenamiento e inferencia distribuida.

↳ Contexto: Control How Your GPU Shares Work with Green Contexts · ver hilo completo

Fraudster jailed for using 10K bots and AI songs to outstream Taylor Swift

Un hombre de Carolina del Norte, Michael Smith, fue condenado a 18 meses de prisión por usar bots y canciones generadas con IA para inflar artificialmente streams en Amazon Music, Apple Music, Spotify y YouTube Music, en un esquema que operó desde 2017. Según el DOJ, creó cientos de miles de canciones con IA y las distribuyó entre miles de cuentas fraudulentas; en abril de 2023 sus canciones falsas sumaron 80,9 millones de streams frente a 9,3 millones del catálogo completo de Taylor Swift. Es el primer caso penal en EE.UU. por fraude de streaming asistido por IA, y además de la cárcel deberá entregar 8.091.843,64 dólares.

Por qué importa: Es un precedente legal sobre cómo se perseguirá el uso de contenido sintético a escala masiva y la detección de bots, un problema directamente relevante para plataformas y equipos que construyen sistemas anti-fraude y de confianza sobre infraestructura de IA.

Mistral says "Le Chonk" can challenge the best AI models

Mistral ha lanzado Mistral Large 4, apodado "Le Chonk", un modelo de 1 billón de parámetros con pesos abiertos que ya está disponible en preview y cuya versión final llegará a finales de mes, optimizado para coding, ciberdefensa y nichos como manufactura, finanzas e ingeniería eléctrica. Mistral afirma que es el modelo open-weight más capaz desarrollado fuera de China y que está "muy, muy cerca" de algunos modelos propietarios, y asegura haberlo entrenado desde cero. La compañía enmarca el lanzamiento en un contexto de tensiones sobre el acceso a IA de frontera y restricciones de EEUU a modelos de OpenAI y Anthropic. IMPORTA: Refuerza la tendencia de modelos open-weight de gran escala como alternativa ejecutable en infraestructura propia, sin depender de que un proveedor externo mantenga disponible el modelo.

Por qué importa: Refuerza la tendencia de modelos open-weight de gran escala como alternativa ejecutable en infraestructura propia, sin depender de que un proveedor externo mantenga disponible el modelo.

Google rolls out improved SynthID AI content detector, now available globally

Google ha lanzado SynthID.com, un sitio público y global para detectar sus marcas de agua invisibles en contenido generado por IA, que ahora también soporta las marcas de sus socios como OpenAI, Nvidia, Kakao y (próximamente) Apple. El detector requiere login (con cuentas de Google, OpenAI o Apple) y aplica una cuota diaria de unas 10 comprobaciones de imagen, vídeo y audio, límite pensado para evitar que se usen para desarrollar herramientas de eliminación. La herramienta no cubre proveedores con otras tecnologías de watermarking (como Meta), ni modelos sin marca alguna, y solo indica si se usó SynthID para producir o editar el contenido, sin el detalle de regiones que ofrece la herramienta interna.

Por qué importa: Marca un paso hacia la verificación interoperable de contenido IA entre proveedores, un problema directamente relevante para cualquiera que construya pipelines de moderación, confianza o detección de contenido sintético.

b11477: llama: share the nextn tensor flags between models (#30097)

El commit b11477 de llama.cpp mueve a un helper compartido `nextn_flags` en `llama_model_base` la detección de flags trunk-only y MTP-only que antes cada modelo duplicaba, sondeando la primera capa trunk y la primera capa NextN y añadiendo TENSOR_SKIP cuando MTP no está cargado. Con ello deepseek4, nemotron-h, qwen35, qwen35moe, qwen3next y qwen4exp ahora aceptan también un archivo trunk-only, y se evita capturar structured bindings en lambdas (requerido en C++20, rechazado por GCC 15 bajo -Werror). IMPORTA: Es una refactorización interna que cambia qué formatos de checkpoint cargan varios modelos (trunk-only vs MTP en NextN), algo a tener en cuenta si dependes de esos modelos en inference local o en pipelines que gestionan sus pesos.

Por qué importa: Es una refactorización interna que cambia qué formatos de checkpoint cargan varios modelos (trunk-only vs MTP en NextN), algo a tener en cuenta si dependes de esos modelos en inference local o en pipelines que gestionan sus pesos.

b11476

Nuevo commit en llama.cpp (b11476) que extiende el kernel genérico few-row MMA para mat-mul en Metal a los tipos src0 restantes: BF16, Q1_0, Q2_0, MXFP4, Q2_K, Q3_K, TQ2_0 y los tipos IQ. Cada tipo activa el kernel a partir del número de filas donde supera a los kernels actuales en un M3 Ultra (5 filas para TQ2_0, 4 para BF16, 3 para MXFP4/Q2_0/Q2_K/IQ4_NL, 2 para el resto). En el benchmark test-backend-ops perf (MUL_MAT, m=4096, k=14336, M3 Ultra) se reporta una mejora de tiempo de 0.23 a 0.98 desde el umbral hasta 8 filas, de 0.24 a 0.33 entre 9 y 16 filas, y de 0.99 a 1.01 en 1 y 512 filas. IMPORTA: Amplía

Por qué importa: Amplía la cobertura de un kernel optimizado de mat-mul en Metal a más tipos de cuantización, lo que se traduce en mejor rendimiento de inference local en Apple Silicon para esos formatos en cargas con pocas filas.

b11475

Release b11475 de llama.cpp corrige un bug en el backend Metal donde la fusión MUL_MAT+ADD fallaba cuando el residual era a su vez otro MUL_MAT. En ese caso el kernel resolvía el residual al propio output del mat-mul fusionado (nunca escrito) y sumaba basura, haciendo que las probabilidades colapsaran hacia uniforme en Metal mientras el backend CPU daba el resultado correcto. El fix hace que el encoder seleccione el operando por identidad, como ya hacía el chequeo de fusión, y añade un modo MUL_MAT_ADD a test-backend-ops que antes fallaba en 27 de 28 casos en Metal. IMPORTA: Afecta a cualquiera que sirva modelos cuantizados en Apple Silicon con llama.cpp, ya que introducía salidas silenciosamente incorrectas (no un crash) que solo se detectaban comparando contra CPU o desactivando la fusión.

Por qué importa: Afecta a cualquiera que sirva modelos cuantizados en Apple Silicon con llama.cpp, ya que introducía salidas silenciosamente incorrectas (no un crash) que solo se detectaban comparando contra CPU o desactivando la fusión.

b11472

Nuevo commit en llama.cpp (b11472) que aplica selección greedy a las cadenas con temperatura cero, unificando este comportamiento en las rutas de CPU y de gramática/reasoning-budget. Se mantiene el muestreo por distribución para temperatura dinámica y cuando se solicitan probabilidades, y se cubre el comportamiento en los tests de sampler existentes. IMPORTA: Afecta directamente a la reproducibilidad y al determinismo de la inferencia en llama.cpp para casos con temperature=0, algo crítico al depurar agentes y pipelines que asumen salidas estables.

Por qué importa: Afecta directamente a la reproducibilidad y al determinismo de la inferencia en llama.cpp para casos con temperature=0, algo crítico al depurar agentes y pipelines que asumen salidas estables.

EmbeddingGemma 2: an open, lightweight multimodal embedding model

Google DeepMind lanza EmbeddingGemma 2, un modelo de embeddings multimodal (texto, imágenes, audio, video y código) de 740 millones de parámetros bajo licencia Apache 2.0, construido sobre la arquitectura Gemma 4. Mantiene el rendimiento multilingüe de EmbeddingGemma y mejora 9.92 puntos en MTEB Code (de 68.76 a 78.68), y al compartir tokenizer de texto y encoder de audio con Gemma 4 permite pipelines unificados con menor huella de memoria combinada. IMPORTA: Un embedding multimodal sub-1B que corre en device habilita RAG local offline y búsqueda semántica cross-modal para agentes, con privacidad de datos y menor latencia sin depender de APIs externas.

Por qué importa: Un embedding multimodal sub-1B que corre en device habilita RAG local offline y búsqueda semántica cross-modal para agentes, con privacidad de datos y menor latencia sin depender de APIs externas.

↳ Contexto: Release v5.19.0 · ver hilo completo

Agent Lightning v1.0: A 3,500-Line Lightweight Agentic RL Framework for Training Agents with Real Harnesses

Microsoft Research Asia presenta Agent Lightning v1.0 y el paradigma Harnessed Agentic RL, en el que el mismo harness usado en despliegue participa directamente en el entrenamiento por RL mediante un proxy compatible con OpenAI, sin reimplementar el agente dentro del framework. El framework completo ocupa unas 3,500 líneas de código (API Gateway, Rollout Controller y Customized Trainer sobre verl), corre agentes como jobs estándar de Kubernetes sin depender de servicios de sandbox comerciales, e introduce Collocated Async RL para compartir GPUs entre rollout y actualización. Con un pipeline sobre SWE-smith, mini-SWE-agent y Qwen3.5-9B, unos 6,000 samples de entrenamiento elevaron el Pass@1 en SWE-bench Verified de 41.8% a 56.4%. Esto se relaciona con nuestra cobertura previa de harnesses para agentes, como "Harness-G". IMPORTA: Permite entrenar con RL el agente tal como se despliega, sin reimplementar su loop ni pagar sandboxes comerciales, lo que abarata

Por qué importa: Permite entrenar con RL el agente tal como se despliega, sin reimplementar su loop ni pagar sandboxes comerciales, lo que abarata y simplifica llevar coding agents y sistemas agénticos a producción sobre la infraestructura Kubernetes ya existente.

↳ Contexto: Harness-G: A Graph-Structured Harness for Search Agents · ver hilo completo

JudgeMoE: Distributional Aggregation for LLM-as-a-Judge

JudgeMoE es un agregador ligero que asigna pesos específicos por ejemplo a las distribuciones de scores de jueces LLM ya cacheados y las fusiona antes de calcular un score final, en lugar de comprimirlos a un escalar. El estudio de protocolo muestra que la elección del rango de puntuación es inestable entre configuraciones juez-dataset y que el scoring suave suele superar al decodificado duro. En el benchmark original de 10 celdas mejora la Spearman media en +0.079 sobre el pooling logarítmico uniforme, y al aplicar la misma configuración a seis celdas adicionales logra +0.0393 de ganancia media frente al mejor juez individual local en 16 celdas, con diferencias positivas en 12/16 y un Wilcoxon unilateral con p=0.0091. Para quien construye pipelines de evaluación con LLM-as-a-judge, esto sugiere que conservar las distribuciones de scores en vez de colapsarlas a un escalar y agregarlas con pesos por ejemplo da ganancias medibles en correlación con el juicio humano

Por qué importa: Para quien construye pipelines de evaluación con LLM-as-a-judge, esto sugiere que conservar las distribuciones de scores en vez de colapsarlas a un escalar y agregarlas con pesos por ejemplo da ganancias medibles de correlación con el juicio humano, algo directamente aplicable a sistemas de evaluación de modelos en producción.

CroissantMiner: Automated Extraction and Validation of Croissant Metadata for ML Datasets

Se presenta CroissantMiner, el primer benchmark para evaluar de forma end-to-end la extracción de metadata de datasets ML alineada con el esquema Croissant, compuesto por 602 papers (102 con anotaciones gold validadas por humanos y 500 con anotaciones silver generadas por LLM) que cubren campos core y de Responsible AI. Evalúa sistemas de extracción que abarcan modelos frontier, modelos open-weight y arquitecturas agénticas bajo un marco de dos niveles que combina scoring basado en reglas con un LLM judge seleccionado mediante auditoría humana. El hallazgo principal es que la extracción de un solo paso (single-pass) supera consistentemente a las cuatro arquitecturas agénticas evaluadas, con la mayor brecha en campos RAI de formato largo.

Por qué importa: Aporta evidencia empírica de que descomponer una tarea en pipelines agénticos puede degradar la precisión frente a una sola pasada de contexto completo, un dato directamente relevante para quien diseña arquitecturas de extracción o agentes sobre documentos largos.

Identifying Introspection From the Inside

Un paper de arXiv identifica firmas mecanicistas de auto-reporte fiel en LLMs usando un setting controlado donde se entrena a los modelos, con low-rank adapters, a decidir según funciones de preferencia lineales latentes de personajes ficticios. Encuentran que el fine-tuning sostenido puede generar auto-reporte preciso de las preferencias aprendidas sin supervisión explícita de self-report, y que esto se acompaña de un desplazamiento de las representaciones de preferencia hacia capas más tempranas. Mediante attribution patching, los modelos fieles muestran mayor similitud de atribución entre las tareas de decisión y de auto-reporte, una firma mecanicista que distingue fieles de infieles sin necesidad de interpretar el contenido del reporte.

Por qué importa: Ofrece un método mecanicista concreto para auditar si lo que un modelo dice de sí mismo corresponde a su cómputo interno real, algo directamente aplicable a evaluación y seguridad de sistemas de IA que se auto-describen.

TIDE 2.0: an open, model-agnostic engine for keyed de-identification of clinical notes

TIDE 2.0 es un motor open source (licencia MIT) para de-identificación de notas clínicas con clave, con dos etapas separables: un recognizer intercambiable y un anonimizador con clave. Genera sustitutos criptográficamente sin tabla de linkage almacenada, desplaza fechas por un offset por paciente que preserva intervalos y mantiene el mismo sustituto para cada valor bajo una misma clave, de modo que una release bajo una nueva clave no puede enlazarse con anteriores. Incluye TIDE2-Sentry, un recognizer destilado de un LLM, y reporta sobre dos corpus anotados recall a nivel de span de 0.88 in-domain y 0.77 en el segundo corpus, con precision de 0.88 y 0.87. IMPORTA: Muestra un patrón de diseño para pipelines de de-identificación (reconocimiento separado del anonimizado con clave, sin tabla de linkage) que es reutilizable en cualquier sistema que necesite anonimizar datos sensibles preservando estructura temporal para análisis posteriores.

Por qué importa: Muestra un patrón de diseño para pipelines de de-identificación (reconocimiento separado del anonimizado con clave, sin tabla de linkage) que es reutilizable en cualquier sistema que necesite anonimizar datos sensibles preservando estructura temporal para análisis posteriores.

llm-openai-decisions 0.1a0

Simon Willison publica llm-openai-decisions 0.1a0, un plugin para LLM que da soporte a la nueva Decisions API de OpenAI, anunciada en el DevDay de la semana anterior. El plugin, inspirado en su anterior llm-typesafe, soporta tres tipos de pregunta (sí/no, opciones y puntuaciones), y a diferencia de Jev el modelo gpt-6-luna acepta también entrada de imagen. Ambos modelos cobran solo por input: 10 centavos por millón de tokens en OpenAI frente a 4,2 centavos en Jev. Este lanzamiento continúa el trabajo previo del autor en llm-typesafe, ya cubierto en este digest. IMPORTA: Para quien integra decisiones estructuradas (sí/no, categorías, scores) en pipelines de agentes, este plugin ofrece una vía directa desde LLM hacia la nueva API, con input multimodal y un modelo de coste solo por input.

Por qué importa: Para quien integra decisiones estructuradas (sí/no, categorías, scores) en pipelines de agentes, este plugin ofrece una vía directa desde LLM hacia la nueva API, con input multimodal y un modelo de coste solo por input.

↳ Contexto: llm-typesafe 0.1a0 · ver hilo completo

EmbeddingGemma 2

Simon Willison comenta que EmbeddingGemma 2 se publica bajo licencia Apache 2.0, algo que considera especialmente importante para modelos de embeddings. Argumenta que usar modelos de embeddings propietarios y solo alojados es arriesgado, porque si el proveedor deja de ofrecerlos hay que recalcular y volver a almacenar millones de vectores ya guardados, y recuerda que en abril de 2024 OpenAI se ofreció a cubrir el coste de re-embedding de los usuarios. Prefiere pagar por una versión alojada sabiendo que, si desaparece, puede ejecutar los pesos abiertos por su cuenta o cambiar de proveedor. IMPORTA: Para quien construye pipelines de RAG o memoria vectorial, la licencia y la disponibilidad de pesos de un modelo de embeddings determina si su índice almacenado queda cautivo de un proveedor o es portable a otra infraestructura.

Por qué importa: Para quien construye pipelines de RAG o memoria vectorial, la licencia y la disponibilidad de pesos de un modelo de embeddings determina si su índice almacenado queda cautivo de un proveedor o es portable a otra infraestructura.

↳ Contexto: Release v5.19.0 · ver hilo completo