Persistent State Machines: LLM Attention with INT4 In-Memory Cells

AI的“记忆库”终于要装进大脑里了！这项新技术让大模型在处理信息时，不再需要频繁到外部“仓库”搬运数据，而是直接把关键记忆存放在芯片内部。以前AI每思考一步都要把临时记忆写进慢速内存，既费电又拖慢速度，现在相当于在AI的工作台上直接建了四层楼高的“便签墙”，读写都快了十几倍。最直接的影响是，未来手机上的语音助手能秒懂复杂指令，不用再等云端转圈；智能眼镜、手表这些小设备也能跑动专业级AI，离线翻译、实时导航会变得更流畅自然。简单来说，这项技术让AI反应更敏捷、成本更低，而且更省电，就像给AI换了副“永不离身”的眼镜，看得清、想得快。开发者还能用它做出更聪明的自动回复、更懂你的健康监测功能，未来一年内，你的智能设备可能悄悄变聪明好几个档次，而你几乎感觉不到它“动脑”的过程。