// espacio-latente.com / radar

El radar

Píldora diaria de lo que se mueve en IA: laboratorios, papers, blogs de referencia y releases relevantes, resumido y con link al original. Se actualiza dos veces al día. · ← volver a espacio-latente.com · archivo · RSS

Panorama de hoy

La observabilidad y confianza en sistemas autónomos se alza como tema central: desde zkVMs que adjuntan pruebas criptográficas verificables de ejecuciones (Magnetar) hasta patrones concretos de control en agentes financieros (identidad acotada, aprobación selectiva, kill switches) y trazabilidad de contenido sintético vía watermarking y C2PA, el día refleja cómo la industria está llevando a producción mecanismos para verificar y auditar lo que hacen máquinas e IA sin sacrificar autonomía. En paralelo, dos presiones regulatorias distintas confluyen: estados de EE.UU. demandan a OpenAI por seguridad de menores y protección de datos, mientras Character.AI enfrenta bancarrota con 40 fiscales generales exigiendo salvaguardas antes de cualquier venta, marcando que edad, privacidad y crisis mental ya no son opcionales sino requisitos legales explícitos. La capacidad de medir y evaluar LLMs de forma fiable también g

2026-10-15

Google Research modelos
★★★☆☆

Research@ 2026: 10 ways we're amplifying human ingenuity

Google Research presentó en su evento Research@ 2026 diez avances, entre ellos la expansión del acceso a Google Earth AI y sus modelos fundacionales geoespaciales (RSFM, PDFM), un orquestador multi-agente para reproducir y aplicar metodologías científicas, y el sistema agéntico Deep Review, ya usado para revisar más de 16.000 publicaciones enviadas a conferencias de informática, que ahora se abre al público. También anunció TimesFM y TabFM, modelos fundacionales para series temporales y datos tabulares que se integrarán próximamente en Gemini for business, y un nuevo chip Edge AI de bajo consumo co-diseñado con Synaptics sobre IP de código abierto de Google.

Por qué importa: Muestra hacia dónde apunta el tooling agéntico aplicado a workflows reales de verificación y descubrimiento científico, con modelos fundacionales numéricos (más allá de texto) que un equipo técnico puede empezar a evaluar para forecasting y pipelines de datos operativos.

Google Research agentes
★★★★☆

Putting Earth AI to work: Geospatial agents for our planet's biggest challenges

Google Research publica un informe técnico sobre su Geospatial Reasoning agent, que combina modelos fundacionales de Earth AI (WeatherNext, Flood Forecasting, PDFM, AlphaEarth Foundations, Remote Sensing Foundations) con Google Maps Platform, Earth Engine y Data Commons, empaquetados como skills modulares que el agente invoca solo cuando la consulta los necesita. El agente construye un plan de análisis por pasos y ejecuta las operaciones en un workspace fuera de la ventana de contexto, permitiendo además incorporar datasets propios vía API (CSV, GeoJSON, tablas cloud) y entrenar modelos predictivos personalizados con el Planetary Prediction Engine. El informe compara cuatro configuraciones de agente sobre Gemini 3.8 Flash y Gemini 3.1 Pro en cuatro benchmarks (CBGB, UnivEARTH y dos nuevos: GeoExpertQueries y GeoKTools, con sus splits de desarrollo liberados), y concluye que las skills específicas de dominio son esenciales frente a un agente con solo búsqueda web y grounding.

Por qué importa: Es un caso concreto y medido de por qué el planning explícito y las skills de dominio superan a un LLM genérico con herramientas básicas, y de cómo sacar operaciones pesadas de la ventana de contexto — un patrón directamente aplicable a agentes que trabajen sobre datos grandes o formatos especializados, no solo geoespaciales.

↳ Contexto: Planetary prediction engine: Automating global models via Earth AI · ver hilo completo

Google Research investigacion
★★★★☆

Analyzing technical documents with Deep Review

Google Research lanza públicamente Deep Review, un sistema agéntico de IA que da feedback y verificación técnica sobre documentos complejos (papers, documentos legales y financieros, Google Docs y presentaciones), tras haber operado como Paper Assistant Tool (PAT) con más de 16.000 manuscritos en pilotos en STOC, ICML, NeurIPS e ICLR. El sistema usa un pipeline agéntico de cuatro etapas y ahora incorpora soporte de Gemini 4 Argon; PAT no recopilaba datos para entrenamiento y borraba los papers tras cada programa. También presentan el Teamwork Deep Document Review Pattern, un patrón de revisión multi-agente integrado en Antigravity invocable con /teamwork-preview.

Por qué importa: Muestra un pipeline agéntico multi-etapa real para verificación de documentos largos, un caso de uso directamente trasladable a revisión de código, contratos o documentación técnica en flujos de trabajo autónomos.

Hugging Face Blog modelos
★★★★☆

HiRO-ACEv2: Simulating extreme weather at 3 km resolution for a fraction of the cost

El equipo Ai2 presenta HiRO-ACEv2, una actualización de su sistema de emulación climática que combina ACE (modelo a 100 km) con HiROv2, un downscaling que ahora predice varios campos de alta resolución a la vez (no solo lluvia) y mejora la reproducción de eventos extremos. El sistema genera datos climáticos globales a 3 km con estadísticas que coinciden con X-SHiELD dentro del 3%, incluso para eventos que ocurren una vez por millón de puntos, y a aproximadamente 1/300 del coste de X-SHiELD. Los modelos están disponibles para descarga con notebooks de tutorial.

Por qué importa: Es un caso concreto de cómo un modelo de IA reemplaza una simulación física costosa manteniendo fidelidad estadística, un patrón de sustitución de cómputo por inferencia que es directamente relevante para quien diseña pipelines de inferencia a gran escala.

The Verge · IA seguridad
★★★☆☆

Eight states sue OpenAI, saying ChatGPT isn’t safe for kids

Ocho estados de EE.UU. (Iowa, Kansas, Nebraska, West Virginia, Arkansas, Arizona, Idaho y Montana) demandan por separado a OpenAI acusándola de poner beneficios por delante de la seguridad y de engañar al público sobre la seguridad de ChatGPT, en particular para menores, citando demandas de familiares de adolescentes y adultos. Alegan violaciones de leyes locales de protección al consumidor, recolección de datos de menores y falta de advertencias sobre riesgos, y piden sanciones civiles, el cese de afirmaciones engañosas y la eliminación de datos recogidos ilegalmente; OpenAI afirma tener protecciones por edad y controles parentales. La noticia continúa la línea de presión regulatoria sobre ChatGPT que ya cubrimos con la iniciativa de Florida. IMPORTA: Es una señal más de que las obligaciones de seguridad, control de edad y tratamiento de datos de menores se están volviendo un requisito legal explícito para quien despliega productos basados en LLMs, no solo un tema de reputación.

Por qué importa: Es una señal más de que las obligaciones de seguridad, control de edad y tratamiento de datos de menores se están volviendo un requisito legal explícito para quien despliega productos basados en LLMs, no solo un tema de reputación.

↳ Contexto: Florida seeks a ban on ChatGPT acting like a person · ver hilo completo

The Verge · IA seguridad
★★★★☆

Now that Character.AI is going bankrupt, what happens to all of its users’ data?

Character.AI se declara en bancarrota (Chapter 11) y planea vender parte de sus activos a Disney, lo que ha llevado a 40 fiscales generales de EE. UU., liderados por la de Nueva York, a presentar un aviso de interés en el caso para exigir protecciones sobre los datos de los usuarios antes de cualquier venta. El escrito revela que varios estados investigaban ya a la empresa desde 2024 por protección al consumidor y privacidad, tras la demanda de la madre de un menor de 14 años que se suicidó tras hablar con el chatbot, y señalan riesgos como chatbots que se hacían pasar por profesionales licenciados, exposición a contenido sexual y violento, controles de edad débiles y posibles violaciones de leyes estatales de privacidad. Los fiscales piden al juez que el comprador implemente verificación de edad efectiva, restricciones al uso por menores, salvaguardas de crisis y la posibilidad de que los usuarios borren sus datos.

Por qué importa: Muestra que los datos de conversaciones con chatbots pueden convertirse en activos vendibles en una quiebra, lo que obliga a cualquiera que diseñe productos de IA conversacional a tratar la retención, el borrado y la verificación de edad como requisitos de ingeniería y cumplimiento desde el primer día.

↳ Contexto: Florida seeks a ban on ChatGPT acting like a person · ver hilo completo

The Verge · IA investigacion
★★★★☆

Microsoft has a new machine learning tool to improve weather forecasts

Microsoft Research publicó en Nature un método llamado Probabilistic Bias Correction (PBC) que usa machine learning para corregir el sesgo sistemático de modelos meteorológicos existentes en lugar de crear uno nuevo, y lo liberó como open-source. Según el paper, PBC mejoró la precisión de un modelo físico del ECMWF en el 98% de los objetivos de precipitación y el 92% de los de temperatura, y duplicó la precisión del sistema de forecasting con IA del ECMWF. El método corre solo en CPUs, y una de sus autoras lo prueba ahora con el Servicio Meteorológico de Kenia para alertas tempranas. Esto se suma a lo que ya cubrimos con "Google says its AI weather model is getting better".

Por qué importa: Muestra un patrón reutilizable para quien despliega sistemas de IA —corregir el sesgo de modelos ya en producción con un corrector ligero en CPU en vez de reentrenar o sustituir el modelo— aplicable a forecasting y a pipelines de inference mucho más allá del clima.

↳ Contexto: Google says its AI weather model is getting better · ver hilo completo

The Verge · IA seguridad
★★★☆☆

Android is using AI to suss out scammers in Google Messages

Android introduce un modo opcional de "enhanced protection" en Google Messages que usa modelos de Gemini en la nube para evaluar las intenciones de remitentes desconocidos y detectar estafas, complementando la detección on-device existente. El modo también usa Gemini Nano en el dispositivo para inspeccionar señales web de URLs desconocidas antes de abrirlas, y Google afirma que los datos se cifran y procesan en un espacio dedicado inaccesible para terceros. Se añaden además el bloqueo del desvío de llamadas y el ocultado automático de información sensible al compartir pantalla en Chrome y Android WebView, y la detección de estafas en notificaciones de chat se expande a fabricantes como Xiaomi, Oppo, Honor o Motorola.

Por qué importa: Muestra un patrón híbrido on-device + nube (Gemini Nano para señales locales, Gemini en la nube para análisis más profundo) relevante para quien diseña pipelines de detección con LLMs donde privacidad y latencia condicionan qué cómputo va en el dispositivo y qué va al cloud.

↳ Contexto: Amazon’s AI assistant can now spot fake emails from the company · ver hilo completo

TechCrunch · IA agentes
★★★☆☆

Apate sends AI agents undercover to get scammed so they can gather fraud intelligence

Apate.ai despliega AI agents de forma encubierta para que sean estafados, con el objetivo de recopilar inteligencia sobre fraude. El artículo contrasta este uso con el habitual de los agentes, orientado a acelerar productos o workflows, y lo enmarca como una aplicación novedosa. Muestra un patrón de agentes autónomos diseñados para exponerse deliberadamente a entornos hostiles y extraer de ahí datos de amenaza, algo relevante para quien diseña agentes en producción y necesita pensar en aislamiento, contención y observabilidad frente a inputs adversariales.

Por qué importa: Muestra un patrón de agentes autónomos diseñados para exponerse deliberadamente a entornos hostiles y extraer de ahí datos de amenaza, algo relevante para quien diseña agentes en producción y necesita pensar en aislamiento, contención y observabilidad frente a inputs adversariales.

Latent Space agentes
★★★★☆

Crossing the Threshold: How OpenAI and Anthropic Approach Autonomy and Safety in Financial Agents

En el AIE New York, responsables de OpenAI, Anthropic, Two Sigma y Bloomberg expusieron sus enfoques para dar autonomía a agentes en finanzas sin perder control. Joseph Kim (OpenAI) habló del "threshold of usefulness" y de la trazabilidad para verificar el origen de cada dato, mientras que Keon Shahab (Anthropic) describió una "trust layer" basada en identidad y permisos, sandboxing con aprobación humana y estabilidad ante cambios de variables. Desde el lado de los usuarios, Two Sigma presentó controles composables con classifiers de auto-mode para enrutar solo las decisiones importantes a personas, y Bloomberg detalló defensas como identidades y credenciales acotadas, control de tool calls, restricciones de tráfico saliente, audit trails, presupuestos y kill switches. IMPORTA: Es un mapa concreto de patrones de control (identidad acotada, aprobación selectiva por classifiers, kill switches, controles deterministas fuera del modelo) para quienes diseñan agentes autónomos en producción y deben decidir dónde poner el juicio humano sin caer en approval

Por qué importa: Es un mapa concreto de patrones de control (identidad acotada, aprobación selectiva por classifiers, kill switches, controles deterministas fuera del modelo) para quienes diseñan agentes autónomos en producción y deben decidir dónde poner el juicio humano sin caer en approval fatigue.

↳ Contexto: Anthropic and OpenAI want to embed safety evaluators. Will they really be independent? · ver hilo completo

NVIDIA Technical Blog modelos
★★★★☆

Scale Agentic Coding Workflows with Meta’s Muse Spark Open on NVIDIA GB300 NVL72

Meta lanza Muse Spark Open, un modelo MoE de 816B parámetros totales que activa 42B por token mediante routing top-8 sobre 256 expertos, con ventana de contexto de 1M tokens y entrenado en NVIDIA GB300 NVL72 Blackwell Ultra para workflows de agentic coding. Incluye un encoder de percepción de 1.8B parámetros que procesa texto, imágenes, vídeo y audio intercalados, además de checkpoints NVFP4 optimizados para Blackwell Ultra. NVIDIA reporta hasta 50K tokens por segundo por GPU y 600 tokens por segundo por usuario, con soporte para SGLang, vLLM y TensorRT LLM vía recetas de Dynamo, post-training con NeMo AutoModel y despliegue con NIM. Es una continuación de nuestro "Introducing Muse Code and Muse Spark 1.2". IMPORTA: Para quien sirve modelos grandes, la combinación de MoE disperso, contexto de 1M tokens y NVFP4 en un dominio NVLink de 72 GPUs marca có

Por qué importa: Para quien sirve modelos grandes, la combinación de MoE disperso, contexto de 1M tokens y NVFP4 en un dominio NVLink de 72 GPUs marca cómo se dimensiona el serving de cargas agénticas de contexto largo, y los stacks soportados (vLLM, SGLang, Dynamo con routing KV cache-aware) dictan qué se puede desplegar sin cambiar la infraestructura existente.

↳ Contexto: Introducing Muse Code and Muse Spark 1.2 · ver hilo completo

Ars Technica · IA producto
★★★☆☆

Singer or clanker? YouTube Music will tell you with new gen AI labeling.

Google empieza a etiquetar en YouTube Music las canciones creadas total o significativamente con IA generativa, con una etiqueta visible en la página del reproductor que al pulsarla abre más información. El etiquetado combina la declaración voluntaria de quien sube el contenido (fully, partially o no gen AI), herramientas propias de detección, el watermarking SynthID en contenido generado con IA de Google y metadatos C2PA. La ausencia de etiqueta no garantiza que la canción sea humana, y no hay opción de bloquear las pistas etiquetadas. Esto se suma a lo que ya publicamos sobre músicos que investigan por su cuenta el contenido generado con IA. IMPORTA: Muestra cómo se está llevando a producción la trazabilidad de contenido sintético (watermarking y metadatos C2PA), un patrón que quien construye pipelines de contenido o sistemas de moderación tendrá que integrar tarde o temprano.

Por qué importa: Muestra cómo se está llevando a producción la trazabilidad de contenido sintético (watermarking y metadatos C2PA), un patrón que quien construye pipelines de contenido o sistemas de moderación tendrá que integrar tarde o temprano.

↳ Contexto: Musicians-turned-detectives are hunting for AI grifters · ver hilo completo

Ars Technica · IA producto
★★★☆☆

Epic says its new vibe-coded Epic Games Launcher is faster than Steam

Epic ha publicado una build "Preview" de su Epic Games Launcher, reescrito desde cero con un stack tecnológico distinto y usando IA como herramienta para escribir y revisar features, con el objetivo de igualar la funcionalidad del anterior sin reutilizar su código. Según Epic, el nuevo launcher arranca en frío unos segundos más rápido que Steam, soporta Windows y Mac y tendrá versión para Linux. La Preview aún tiene bugs y carece de ciertas funciones sociales y de gestión de cuenta, aunque añade peticiones antiguas como una lista de juegos recientes y un hub de descargas. Esto llega días después de que Bloomberg informara de un giro de Epic hacia un modelo de desarrollo "AI first" para un próximo shooter.

Por qué importa: Es un caso público y medible de reescritura de un producto real apoyada en IA, útil como referencia sobre qué se gana (eficiencia con equipos pequeños, portabilidad multiplataforma) y qué se sacrifica (paridad de features, bugs) al adoptar este flujo.

llama.cpp (release) infraestructura
★★★☆☆

b11647

Commit en llama.cpp (b11647) que optimiza el backend Vulkan en AMD: para el caso de KV cache en f16 se usa una copia con stride en lugar de un dequant, eliminando un shader dedicado y despachando el pipeline de copia existente. La copia se describe en orden de memoria origen para que el acceso con stride caiga sobre las escrituras (que hacen streaming) en vez de sobre las lecturas, que concentrarían la carga en pocos canales de memoria.

Por qué importa: Afecta directamente al rendimiento de inference local en GPUs AMD vía Vulkan, donde la gestión de memoria y el layout de acceso determinan el throughput de decodificación en llama.cpp.

llama.cpp (release) infraestructura
★★★☆☆

b11645

El release b11645 de llama.cpp añade una variante BF16 del kernel de flash attention de la tensor API para Metal, y mueve los kernels tensor FA al archivo kernels/fa_tensor.metal. Es una continuación del trabajo reciente sobre la tensor API en el backend Metal. IMPORTA: Añade soporte BF16 en el kernel de flash attention de Metal, lo que afecta a quienes ejecutan inference local de LLMs en hardware Apple y siguen la evolución del backend Metal de llama.cpp.

Por qué importa: Añade soporte BF16 en el kernel de flash attention de Metal, lo que afecta a quienes ejecutan inference local de LLMs en hardware Apple y siguen la evolución del backend Metal de llama.cpp.

↳ Contexto: b10982 · ver hilo completo

llama.cpp (release) infraestructura
★★★★☆

b11644: kv-cache: honor PARTIAL_ONLY in the plain KV cache (#30514)

Commit en llama.cpp que corrige el manejo del flag PARTIAL_ONLY en la KV cache plana: un llama_kv_cache no-SWA no guarda estado parcial, pero state_write serializaba todas las celdas, haciendo que un draft context (MTP head, draft denso) copiara toda su KV en cada checkpoint del servidor y creciera por token. Ahora las caches aplican el flag por sí mismas y los wrappers (hybrid, hybrid-idx, dsa-iswa, iSWA) solo delegan, marcando el indexer como stale únicamente cuando un restore reescribe celdas. test-llama-context añade un caso que verifica que el estado parcial no supera al completo y que, sin SWA, no crece con los tokens. IMPORTA: Reduce el tamaño de los checkpoints de KV cache en servidores con draft context/speculative decoding, evitando crecimiento de memoria por token en inference y model serving con llama.cpp.

Por qué importa: Reduce el tamaño de los checkpoints de KV cache en servidores con draft context/speculative decoding, evitando crecimiento de memoria por token en inference y model serving con llama.cpp.

llama.cpp (release) infraestructura
★★★☆☆

b11643

Nueva release de llama.cpp (b11643) que corrige un fallo por el cual un grafo solo de embeddings quedaba vacío: como no tenía logits y build_pooling() retorna antes cuando los embeddings están desactivados, los modelos ya no expandían t_embd y los inputs nunca se asignaban. La corrección expande t_embd en ese caso. El release incluye builds para macOS/iOS, Linux (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL), Android y Windows. IMPORTA: Es un fix de correctitud en el grafo de cómputo que afecta a quien usa llama.cpp para generar embeddings, un caso de uso central en pipelines de RAG y búsqueda semántica sobre inferencia local.

Por qué importa: Es un fix de correctitud en el grafo de cómputo que afecta a quien usa llama.cpp para generar embeddings, un caso de uso central en pipelines de RAG y búsqueda semántica sobre inferencia local.

llama.cpp (release) infraestructura
★★★★☆

b11642

llama.cpp publica la build b11642 con cambios en el prompt cache del server: ahora solo se guardan estados de slot restaurables, y las tareas de rerank, embedding, decision e infill dejan de llenar la caché sin que se lean después. Cada slot rastrea con cache_pending si su estado es restaurable, y las tareas de infill y decision también restauran desde la caché, con la caché desactivada por defecto para modelos de decision salvo que se pase --cache-ram. IMPORTA: Reduce el consumo de RAM del prompt cache en servidores llama.cpp con tareas heterogéneas, evitando escrituras de estados que nunca se reutilizan y mejorando el reaprovechamiento entre tareas que sí comparten estado.

Por qué importa: Reduce el consumo de RAM del prompt cache en servidores llama.cpp con tareas heterogéneas, evitando escrituras de estados que nunca se reutilizan y mejorando el reaprovechamiento entre tareas que sí comparten estado.

Google DeepMind agentes
★★★★☆

Accelerating the search for antimicrobial peptides with Google Antigravity

Google DeepMind describe cómo su plataforma de desarrollo agéntico Google Antigravity se usó como banco de trabajo científico para descubrir un nuevo péptido antimicrobiano candidato en Streptococcus pseudopneumoniae, partiendo de millones de secuencias sin caracterizar de UniProt anotadas con ProtNLM. El agente orquesta consultas cruzadas a bases de datos, análisis estructural vía AlphaFold Database y BLAST, revisión de literatura y contexto genómico, y genera un protocolo de laboratorio accionable; el candidato está ahora en validación wet-lab. También presentan el Biomolecular Structure Viewer integrado en Antigravity, con estado visual compartido y bidireccional entre investigador y agente.

Por qué importa: Muestra un patrón concreto y replicable de agente que orquesta múltiples herramientas y bases de datos externas sobre un estado compartido con el humano, útil para quien diseña workflows agénticos más allá del código.

Microsoft Research investigacion
★★★★★

Proof-based general-purpose computing with Magnetar

Microsoft Research presenta Magnetar, un zkVM que prueba la ejecución de programas escritos en Rust, Go o C (compilados para RISC-V) sin necesidad de reescribirlos como circuitos criptográficos. Procesa entre 7,2 y 8,7 millones de instrucciones por segundo en un portátil, es 10-39 veces más rápido en promedio que los zkVMs más rápidos existentes en 15 benchmarks, y verifica pruebas en unos 12 milisegundos. Su seguridad se apoya solo en funciones hash estándar como SHA-256 o SHA-3, sin curvas elípticas, sin trusted setup y sin suposiciones no probadas, lo que lo hace post-cuántico. IMPORTA: Ofrece un mecanismo práctico para que agentes de IA y pipelines de datos adjunten pruebas criptográficas verificables de que sus ejecuciones cumplieron una política dada, sin exponer los inputs, algo directamente relevante para observabilidad y confianza en sistemas autónomos.

Por qué importa: Ofrece un mecanismo práctico para que agentes de IA y pipelines de datos adjunten pruebas criptográficas verificables de que sus ejecuciones cumplieron una política dada, sin exponer los inputs, algo directamente relevante para observabilidad y confianza en sistemas autónomos.

arXiv cs.CL agentes
★★★★☆

HERO: Harnessing Evidence for Test-time Refinement and Prompt Optimization in Program Generation

HERO es un método que combina optimización de harness offline y en tiempo de test para generación de programas (text-to-SQL, text-to-Python). Aprovecha la ejecución del código generado como señal de verificación: en la primera etapa aprende actualizaciones de prompt reutilizables a partir de éxitos y fallos verificados por ejecución, validando cada revisión candidata antes de adoptarla; en test time trata el código generado como un harness específico de instancia y lo refina con feedback de ejecución. En cuatro benchmarks de SQL, Cypher y Python logra el mejor rendimiento offline, mejorando pass@1 en 7.6 puntos sobre el prompt inicial, y el refinamiento en test time añade 2.0 puntos más y mejora la eficiencia de ejecución.

Por qué importa: Muestra un patrón concreto y medible para iterar prompts y scaffolding de coding agents usando la ejecución del propio código como ground truth, evitando que las actualizaciones propuestas por el LLM rompan comportamientos ya correctos.

arXiv cs.CL investigacion
★★★★★

How to Evaluate When You Don't Know How to Evaluate? Choosing Reliable Setups for Base Language Model Benchmarking

Un paper de arXiv aborda la falta de criterios científicos al diseñar setups de evaluación de LLMs, analizando 8 aspectos de diseño (como formulación de tareas o número de ejemplos in-context) bajo tres criterios meta: monotonicidad, no aleatoriedad y consistencia de ranking entre checkpoints intermedios. Evalúan estos setups en 26 modelos monolingües de 2B parámetros entrenados con distintos tipos de datos sobre 80 tareas en cuatro idiomas, y también en tres LLMs de ≥7B para ver cómo cambian las preferencias con la escala. Concluyen con recomendaciones concretas: algunas decisiones como usar múltiples prompts son siempre útiles, mientras que otras como la formulación de tareas dependen de la escala del modelo. Ofrece un marco replicable para elegir setups de evaluación fiables en pretraining, algo crítico para equipos que necesitan señales de benchmark estables antes de comprometer recursos en runs de entrenamiento costosos.

Por qué importa: Ofrece un marco replicable para elegir setups de evaluación fiables en pretraining, algo crítico para equipos que necesitan señales de benchmark estables antes de comprometer recursos en runs de entrenamiento costosos.

arXiv cs.CL investigacion
★★★★☆

NEPSEE: A Double-Annotated Benchmark for Nepali Sentiment Analysis

Se presenta NEPSEE, un benchmark de análisis de sentimiento en nepalí anotado de forma doble y ciega por dos personas sobre 5.614 frases de tuits de figuras públicas nepalíes, del que se conservan 3.189 con polaridad coincidente. En la tarea de tres clases, NepBERTa obtiene un macro-F1 de 0.877 e IndicBERTv2 de 0.867, mientras que tres LLMs comerciales logran entre 0.882 y 0.896 en zero-shot sin diferencias significativas; en la escala de cinco puntos, Claude Opus 5.5 supera a los mejores encoders por 0.10 a 0.12 de macro-F1. Una auditoría de tokenizers muestra que los tokenizers por defecto de tres modelos BERT nepalíes eliminan los signos vocálicos Devanagari no espaciados y el virama, y restaurarlos sube el macro-F1 en 0.084 para NepBERTa pero lo baja en 0.095 en un modelo preentrenado con texto despojado de esas marcas

Por qué importa: Refuerza que la calidad del tokenizer es un factor de rendimiento medible y a menudo ignorado en idiomas no latinos, y que en tareas de anotación ambigua los LLMs pueden superar a encoders especializados, algo relevante para quien evalúa o elige modelos fuera del inglés.

Construir este día costó 197.072 tokens de entrada y 22.802 de salida en 97 llamadas a modelos — unos 0,1412 $.