El radar

Humans, not rogue AI, are still the biggest cybersecurity risk to energy systems

Análisis de The Verge sobre el riesgo que la IA generativa supone para la ciberseguridad de infraestructuras energéticas, con declaraciones de expertos como Joshua Corman (IST) y Sophie McDowall (FDD). Los expertos señalan que el mayor peligro actual son los actores maliciosos humanos equipados con IA, que actúa como multiplicador de fuerza al permitir a adversarios menos capacitados atacar sistemas OT para los que antes necesitaban conocimiento especializado, más que los agentes rogue autónomos. El artículo menciona el hackeo de un modelo de OpenAI a Hugging Face como ejemplo de capacidades emergentes, el compromiso de OpenAI de destinar 1.000 millones de dólares a defensa de infraestructura crítica, y las dificultades estructurales de actualizar sistemas OT antiguos, muchos sin parches disponibles. Para quien diseña o defiende sistemas conectados, el mensaje operativo es que la IA está acelerando la velocidad de los ataques contra infraestructura crítica mientras los ciclos de parcheo de los sistemas OT siguen siendo trimestrales o

Por qué importa: Para quien diseña o defiende sistemas conectados, el mensaje operativo es que la IA está acelerando la velocidad de los ataques contra infraestructura crítica mientras los ciclos de parcheo de los sistemas OT siguen siendo trimestrales o anuales, lo que obliga a replantear la segmentación, la capacidad

↳ Contexto: It’s time to panic about AI safety · ver hilo completo

Elastic Threshold Attention: Learned Contextual Sparsity for Long-Context Decoding

ETA es una arquitectura de atención entrenable end-to-end que predice umbrales contextuales dinámicos desde las representaciones de query, permitiendo asignar contexto denso a pasos de recuperación o razonamiento difíciles y podar tokens rutinarios. El entrenamiento con supresión multiplicativa de logits bajo el umbral (en lugar de borrarlos) elimina los attention sinks en los tokens iniciales, y permite hard-pruning de bloques KV en inference. Un modelo ETA de 1.45B rivaliza con atención densa con ~85% de sparsity en entrenamiento y ~38% de densidad activa en decode, con un kernel en Triton que da hasta 2.5x de speedup sobre FlashAttention-2 en secuencias de hasta 512K tokens, más calibración offline que reduce otro 27% el cómputo de atención.

Por qué importa: Ataca directamente el cuello de botella de memoria y ancho de banda del KV cache en decodificación de contexto largo, con hard-pruning de bloques KV y un kernel propio, algo que repercute en coste y latencia de serving de LLMs de contexto largo.

↳ Contexto: Looped Latent Attention: Cross-Loop KV Compression for Looped Transformers · ver hilo completo

Do Quantum Models Scale Like LLMs?

El paper estudia las neural scaling laws de RydbergGPT, un transformer autorregresivo entrenado sobre datos de medición proyectiva de qubits en arrays de átomos de Rydberg. Encuentra que cerca del punto crítico la loss frente al tamaño del dataset sigue una power-law con corrección de loss floor, mientras que lejos de la criticalidad esa descripción pierde calidad. Comparando la estructura estadística de las mediciones y de corpus de lenguaje natural mediante una función de información mutua "two-point" normalizada por entropía, observa que las estadísticas cerca del punto crítico son las más parecidas al lenguaje natural, lo que respalda que la dependencia multi-escala contribuye a un scaling estable y que el scaling es una propiedad del par modelo-datos.

Por qué importa: Refuerza la idea de que las curvas de scaling dependen tanto del modelo como de la estructura estadística de los datos, algo directamente relevante al estimar cómo se comportará un LLM según el dataset y no solo según el tamaño del modelo.