过去几年，预训练 Scaling Law 让人们逐渐形成了一种共识：模型能力会随着数据量和算力的增加，以相对可预测的方式持续提升。但当大模型真正进入真实世界之后，一个更贴近应用的问题开始出现：它还能不能在与环境的持续交互中继续学习，并不断变强？
近日，我们发布了用于衡量真实世界环境学习的超长程评测集 EdgeBench。该评测集包含 134 个真实且多样的任务，横跨六大能力领域，Agent 在每个任务上都可持续工作至少 12 小时。
基于这些任务上的长程环境交互运行结果，我们发现，Agent 在“环境学习”过程中的整体表现遵循一条高精度的 log-sigmoid 曲线，平均拟合精度 R² 达到 0.998。同时，从不同代际的前沿模型来看，Agent 的学习速度大致呈现出每三个月翻一倍的趋势。
目前，EdgeBench 已开源其中 51 个任务及完整评测框架，供社区进一步研究 Agent 如何从真实世界环境中学习。
项目链接：https://seed.bytedance.com/edgebench论文链接：https://edge-bench.org/paper.pdf代码链接：https://github.com/ByteDance-Seed/EdgeBench数据链接：https://huggingface.co/datasets/ByteDance-Seed/EdgeBench
真实世界中的模型表现，不只取决于它在训练中学到什么。很多关键知识并不直接存在于训练语料里，真实工作所依赖的也不只是现成信息，还包括反复试错、解读反馈和持续修正的过程。
与此同时，现实环境本身始终在变化，新工具、新问题和新知识不断出现，这意味着任何静态训练数据都不可能提前覆盖一切。因此，Agent 从环境中学习并持续提升任务表现的能力，正变得越来越重要。
——
本文节选自 豆包（字节Seed） 的《EdgeBench：衡量真实世界环境学习，发现新 Scaling Law》，原文链接：https://seed.bytedance.com/zh/blog/edgebench-measuring-real-world-environment-learning-and-discovering-a-new-scaling-law
