New benchmark from @Apodex_AI worth digging into.
TRACES scores AI systems on discoveries where the answer isn't confirmed yet.
This is a crucial capability to measure in agents used for real research problems.
Here's the breakdown:
Elvis Saravia 转发 Apodex 的 Apodex Discovery 框架论文,其中 TRACES 基准用于给 AI 系统在答案尚未确认的发现类问题上的表现打分。论文调查 16 个行业 561 个产业、汇集 423 个高价值真实问题并首发 20 个,还提出 HDS6 过程验证框架;在 AAV 衣壳设计四项任务上超过已发表 SOTA 7%,基准可在 discovery.apodex.com 获取。
Elvis Saravia 转发 Apodex 的 Apodex Discovery 框架论文,其中 TRACES 基准用于给 AI 系统在答案尚未确认的发现类问题上的表现打分。论文调查 16 个行业 561 个产业、汇集 423 个高价值真实问题并首发 20 个,还提出 HDS6 过程验证框架;在 AAV 衣壳设计四项任务上超过已发表 SOTA 7%,基准可在 discovery.apodex.com 获取。
New benchmark from @Apodex_AI worth digging into.
TRACES scores AI systems on discoveries where the answer isn't confirmed yet.
This is a crucial capability to measure in agents used for real research problems.
Here's the breakdown:
来源:elvis· x.com