公司动态
JioNLP大语言模型测评发布:“360智脑”多项能力国内领跑
时间:2023-05-26浏览次数:
 B体育鞭牛士报道 5月23日,JioNLP大语言模型评测发布最新测试结果,360版GPT——认知智能通用大模型“360智慧大脑”(简称“360智脑”)成为“国内大语言模型目前最好的”。此前,360智脑在中文通用大模型基准(SuperCLUE)评测结果中,多项能力也是位列国产大模型第一。  近期国内众多公司的大模型产品集中涌现,为把所有公测大模型拉齐到同一个水平线上进行横向比较, JioNLP制

  B体育鞭牛士报道 5月23日,JioNLP大语言模型评测发布最新测试结果,360版GPT——认知智能通用大模型“360智慧大脑”(简称“360智脑”)成为“国内大语言模型目前最好的”。此前,360智脑在中文通用大模型基准(SuperCLUE)评测结果中,多项能力也是位列国产大模型第一。

  近期国内众多公司的大模型产品集中涌现,为把所有公测大模型拉齐到同一个水平线上进行横向比较, JioNLP制作了一份大语言模型评测数据集,用于考察各个大语言模型的实际效果。在其最新一次评测结果中,360智脑得分68分,仅次于ChatGPT和GPT4,高于科大讯飞等国产大模型,属于国产大模型之首。

  JioNLP表示360智脑的表现超出预期,“相比其它国内模型,优势主要体现在客观题回答准确率相对较高,问答类题型准确性较好,说明模型训练的文本数据分布较广,最值得一提的是模型对于编程题目的准确性较高,测试题3道程序题目,全部答对,没有出现明显的偏离和瞎答。”

  专业人士分析,作为搜索引擎厂商,360做大模型有天然优势,其海量多样高质量的训练语料和工程化的调度能力,是很多厂商不具备的。同时,搜索引擎数据实时更新、知识校对准确,而大模型能自动剔除垃圾信息,因此两者融合相互增强,形成良性循环。因此JioNLP认为“360智脑准确性较高”是有原因的。

  据360相关负责人介绍,未来,360集团将依托多年人工智能技术积累及搜索、浏览器等场景优势,进一步布局“两翼齐飞+四路并发”大模型战略,一方面坚持核心技术研发,另一方面做大优势场景,在场景中不断提升大模型的核心技术能力。返回搜狐,查看更多

Copyright © 2002-2022 B体育·(中国)官方网站 版权所有 Powered by EyouCms  备案号:粤ICP备17037895号-2  
地址:B体育·(中国)官方网站  邮箱:brazilianbooks.com  电话:400-123-4567