5月20日，甲骨易AI研究院 “超越”中文大模型测试集正式发布。据介绍，“超越” 的意义是希望中文大语言模型 “超” 出多数模型只能基于英文数据集测试的现状，通过发现大模型的缺陷，从而促进大模型理解中文语言的能力，使其 “越” 来越强大。 这里“超”和“越”要单独来理解，并不是超越别人的意思。
甲骨易AI研究院首席研究员Felix透露，4月推出了MMCU的测试集和测试方法。数据集的测试内容涵盖四大领域：医疗、法律、心理学和教育。题目的数量达到1万+，其中包括医疗领域2819道题，法律领域3695道题，心理学领域2001道，教育领域3331道。
“我们是把大模型当作一个真正的人类来看待，”Felix表示，测试集之所以涉及语、数、物理、化学这些科目，因为人工智能必须像人类一样，具备对于世界的基础的认知；而医疗、法律、心理学专业领域则是将大模型视为专业人士进行考核。
您可能也喜欢这些文章
资讯是全球知名展览公司百科展览集团旗下的专业媒体平台，自1994年品牌成立以来，一直专注于安全&自动化产业前沿产品、技术及市场趋势的专业媒体传播和品牌服务。从安全管理到产业数字化，资讯拥有首屈一指的国际行业展览会资源以及丰富的媒体经验，提供媒体、活动、展会等整合营销服务。
粤公网安备 44030402000264号
