4月3日，美国开放人工智能研究中心（OpenAI）推出AI Agent评测基准PaperBench，旨在评估AI智能体复现前沿AI研究的能力。该基准要求智能体从零开始复现20篇ICML2024 Spotlight和Oral论文，涵盖理解论文贡献、开发代码库及成功执行实验等环节。
观点网讯：4月3日，美国开放人工智能研究中心（OpenAI）宣布推出AI Agent评测基准PaperBench。该基准旨在评估AI智能体复现前沿AI研究的能力，要求智能体从零开始复现20篇ICML2024 Spotlight和Oral论文，涵盖理解论文贡献、开发代码库及成功执行实验等环节。
在测试中，表现最佳的智能体Claude3.5Sonnet（新版）结合开源框架，平均复现得分为21.0%。即便招募顶尖机器学习博士尝试部分测试集，其表现也未超越人类基线。
免责声明：本文内容与数据由观点根据公开信息整理，不构成投资建议，使用前请核实。
审校：杨晓敏
版权声明：觀點網絡信息科技有限公司及广州观点信息资讯服务有限公司拥有及保留其主办暨承办网站、论坛及活动的所有资料（包括但不限于文字、图片、音频、视频资料及页面设计、编排、软件等）的所有权、版权等其他相关知识产权。除经授权合法使用上述资料外，未征得我司书面许可并付费，任何单位和个人不得以任何理由及方式使用上述资料（包括但不限于转载、转让、授权他人使用等），否则我司将依法追究其法律责任以及赔偿责任。
观点 © 2001- guandian.cn, All Rights Reserved. 粤ICP备20003243号-1
| 网上110
粤公网安备 44010402001235号
移动端下载