点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:大语言模型意识水平测评报告显示:DeepSeek-R1语义一致性表现较好
首页> 数字化频道> 产业·技术 > 正文

大语言模型意识水平测评报告显示:DeepSeek-R1语义一致性表现较好

来源:科技日报2025-03-04 15:35

  近日,记者从世界人工意识协会国际人工智能DIKWP测评标准委员会获悉,由该协会主导、全球10余个国家与地区的90多家机构和企业参与的《全球首个大语言模型意识水平“识商”白盒DIKWP测评2025报告(100题版)》(以下简称《报告》)日前出炉。

  《报告》的核心亮点在于全球首创的意识水平测评体系。《报告》基于DIKWP模型,从数据、信息、知识、智慧、意图等方面,构建全链路评估体系。测试题全面覆盖大语言模型的感知与信息处理、知识构建与推理、智慧应用与问题解决、意图识别与调整四大模块,对主流大语言模型的意识水平进行系统化、量化深度剖析。

  《报告》对当前主流的大语言模型进行了全面测评,包括DeepSeek-V3、ChatGPT-o1、通义千问-2.5、ChatGPT-4o、Kimi、文心大模型-3.5和Llama-3.1等。测评结果显示,不同模型在不同模块的表现各有千秋。

  例如,感知与信息处理部分主要考察模型在处理原始数据、提取信息和保持语义一致性方面的表现。ChatGPT-4o和ChatGPT-o1在数据转换和格式处理方面表现出色,体现出稳定性。ChatGPT-o3-mini、ChatGPT-o3-mini-high、通义千问-2.5、Kimi和Grok在信息提取方面表现优异,特别是在数据到信息转化路径上的表现尤为突出。DeepSeek-R1、ChatGPT-4o、Kimi和ChatGLM-4 Plus在保持语义一致性方面表现较好。

  知识构建与推理部分的测评考察模型将信息整合为知识的能力,以及逻辑推理能力。结果显示,通义千问-2.5、ChatGLM-4 Plus和ChatGPT-4o表现突出。

  意图识别与调整部分的测评重点考察模型对用户意图的理解能力,以及根据意图调整输出的能力。结果显示,豆包和Gemini-2.0 Flash Thinking Experimental表现较好,能够准确理解用户的问题并提供相关回答。 (记者王祝华)

[ 责编:王一涵 ]
阅读剩余全文()

相关阅读

您此时的心情

光明云投
新闻表情排行 日/周
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 习近平会见瑞士联邦主席帕姆兰

  • 跨越千年而来,杜甫、岑参、诸葛亮为您亲测数智生活

独家策划

推荐阅读
安徽省黄山市黟县宏村镇塔川国家森林公园的缤纷秋色渐入最佳观赏期。乌桕、枫香等树木由绿转黄、由黄渐红,五彩斑斓的枝叶与错落有致的古民居交相辉映
2026-10-31 17:49
少年儿童是祖国的未来,守护未成年人平安健康成长,是全社会共同的责任。近期,各地公安、法院、消防等单位纷纷走进校园,面向中小学、幼儿园及高校学生,开展形式多样的安全与法治宣教活动。
2026-10-31 17:36
山东省青岛市即墨区金口镇青山前村的枫树林逐渐迎来最佳观赏期。林中枫叶由绿转红,绚丽多彩、美不胜收,勾勒出一幅和美灵动的乡村生态画卷,吸引不少游客慕名而来
2026-10-31 17:25
湖北省襄阳市樊城区青少年桨板比赛现场,各中小学选手挥桨竞渡、劈波斩浪。襄阳市积极落实"健康第一"教育理念,以特色项目为载体深化体教融合,引导更多的学生在竞技中强健体魄、锤炼意志
2026-10-31 17:23
为期五天的2026南昌航空产业博览会在江西南昌绿地国际博览中心拉开帷幕。本届博览会聚焦航空制造、商业航天、低空经济三大领域,规划展览面积3万平方米,吸引300余家行业优质企业参加
2026-10-31 17:20