全球热文:“百模”赛事正酣 路径演变多端 - 综合 -

当前位置:首页  >  综合  > 正文

全球热文:“百模”赛事正酣 路径演变多端

全球热文:“百模”赛事正酣 路径演变多端
2023-06-02 01:35:54 来源:21世纪经济报道

过去的三个月里,大模型如雨后春笋般涌现。根据《中国人工智能大模型地图研究报告》不完全统计,目前国内已经发布了79个参数规模在10亿以上的大模型,可以说“百模大战”已经开始了。

行业沸腾的背后,各家模型实力究竟如何?大模型技术未来将会如何演进?它会为我们的生活带来哪些改变?近日,在举办的“21科技峰会·潮起AIGC:大模型崛起”闭门研讨会上,多位业内专家、企业代表围绕技术演进、应用创新以及行业监管等方向进行了深入讨论。


【资料图】

对于此轮AI技术的爆发,中国信通院云大所内容科技部副主任刘硕认为,以大模型为代表的深层次AI技术,目前应用场景还比较局限,结合相关企业进展来看,行业总体上仍然处于发展的早期阶段。关于AI技术可能存在的一些误判,在于长期内低估以及短期内高估。

一方面,大模型技术潜力在业界已经有了相当充足的论证,未来在产业技术革新上的推动价值不能忽视。另一方面,大量企业机构一窝蜂地投入到大模型研发上,也可能会产生挤占其它需要长期探索的技术所需资源的问题。

算力成“绕不开”的门槛

2018年6月,OpenAI发布了GPT-1,至目前迭代到GPT-4,是当前最为强大的语言模型,在GPT-1发布两个月后,谷歌发布了BERT模型,在参数量上,3亿的BERT远超1.2亿的GPT-1。

此后,Facebook(Meta)、百度等国内外研究团队也随之跟进,纷纷加入大模型研发的队伍中,大语言模型的时代大幕也正式揭开。

在此背景下,大模型参数量开始指数级增长:2019年2月发布的GPT-2参数量增长至15亿;2020年5月发布GPT-3参数量更是飙升至1750亿。直至今日,GPT-3不仅能够生成流畅自然的文本,还能完成问答、翻译、创作小说等一系列NLP(自然语言处理)任务,甚至能进行简单的算术运算。

参数规模狂飙的同时,AI的算力需求也在飞速增长。简单来说,大模型算力需求主要分布在训练和推理两个环节,其中训练算力占据大头,根据OpenAI的公开数据,ChatGPT训练算力消耗达到3640PF-days,也就是说按照每秒计算一千万亿次的速度,需要计算3640天。

以英伟达针对AI训练提供的DGX A100系统为例,该服务器包含8张A100芯片并可提供5PetaFLOP的算力。微软在2019年与OpenAI达成合作关系后,其为OpenAI构建的AI超级计算机配备了上万张A100芯片。

在供不应求的情况下,目前单张A100芯片售价就已经达到近10万元,在大模型训练环节,仅芯片这一项硬件投资规模就达到10亿元。

尽管诸多行业玩家尝试以更小的参数量的模型追平ChatGPT,但业界公认只有千亿参数规模以上的大模型,才可能“涌现”出大模型独有的泛化能力。

多位与会嘉宾也在会上表示了认同,算力成为大模型竞赛中几乎无法绕开的门槛。

“对于打造大模型,我们说从0分到60分很简单,60分到80分也没那么难。但是从80分到90分,甚至再往前走的时候,投入就会非常巨大,如果要对标GPT-4这类模型,对算力、调优、部署以及团队的工程经验等一系列环节,都提出了极高的要求。”中兴通讯首席发展官崔丽表示。

未来如何演进

多位与会嘉宾共同认为,更大参数、更多模态仍然会是未来大模型技术的重要进化方向。

目前,ChatGPT属于NLP领域的单模态模型,尽管擅长理解和生成文本,但不支持从文本生成图片、音频、视频等功能,升级至GPT-4之后,开始转向多模态,支持输入图像或文本后生成文本。另一边,在视觉创作领域掀起革命的模型,也仅支持文到图的单一跨模态功能。因此,打通各种模态能力,实现任意模态之间转化,成为大模型的未来发展的重要方向。

在AI技术爆发的过程中,另一个不容忽视的趋势是,GPT-4等顶尖模型都在走向封闭。

“从GPT-3开始,OpenAI不再开源模型和代码,过程中更关键的数据处理和微调技术细节全部没有。到GPT-4发布时,OpenAI更是明确宣布架构、硬件、训练、数据构建、训练方法等技术细节全都不再公开,在大模型上迅速跟进的谷歌也是一样,第一代PaLM模型还有很多信息提供出来,到PaLM-2也同样的开始不完全公开,包括最近一段时间,也有很多消息讲谷歌未来会推迟或减少相关论文的发表。”华为昇思MindSpore营销总监戴金伟在会上表示。

而在崔丽看来,未来大模型发展路线上将会是开源和闭源并存,OpenAI在自身发展到一定阶段后,出于某些考量选择了闭源,但这不意味着未来大模型会完全走向封闭,值得注意的是,以Meta、Hugging Face为代表的开源势力也同样在不断壮大与飞速进步。

“一方面,OpenAI等企业会继续向着通用人工智能的方向努力,延承‘暴力美学’,做更大的模型、更多的参数、更多的模态,探索大模型的天花板,另一个方向是针对GPT-4的黑盒去倒推,虽然像开源模型这些开放资源,目前的效果可能会差一些,但在大幅度降低大模型技术的参与门槛后,探索垂直场景下GPT-4能力复现也很值得尝试。”崔丽分析指出。

今年2月底,Meta开源了参数量从70亿到650亿不等的LLaMA系列大模型,迅速点燃开源社区的创新热情,斯坦福大学、加州大学伯克利分校等机构陆续推出了Alpaca、Vicuna等多个开源大模型,开源社区内迅速聚集起“羊驼”生态。

“虽然目前以GPT-4为代表的闭源模型目前处于领先,但在垂直场景等方面,迭代更快、成本更低的开源模型也完全有机会做出优势。”崔丽分析表示。

寻找商业闭环

“我们回看IT时代,CPU刚出来的时候,大家都觉得这个东西计算能力很强,于是想着把各种业务问题转换成计算问题,到今天AIGC涌现,所以我们看大家都在想办法把实际业务问题变成一个chat问题。”有参会嘉宾表示。

亚马逊云科技资深解决方案架构师经理、数据分析专家郭立表达了同样的观点,“在一些基础的UI设计以及代码工作中,已经能够看到大模型展现出很强的可替代性,我们只需把需求要告诉ChatGPT,它就能够输出高质量代码等内容,这就让未来的工作方式变成了怎样去精准定义问题,从招聘角度有可能未来演变成公司倾向于招一个能够把事情讲清楚的员工。”

与此同时,大模型对于内容的理解,使得在涉及处理海量信息的问题上,AI应用的想象空间也在极速扩容。尽管在降本增效的方向上,新能力涌现的AI并不缺少落地场景,但多位与会嘉宾共同指出,构建商业闭环仍然是AI技术落地的核心。

云从科技数据研究院院长姜迅认为,AIGC带来的是范式的变化,“过去每一个任务都需要做单独训练,这导致AI公司陷入一个困境:尽管能看到各行各业对于AI技术的需求,比如监测鸡屎颜色来判断鸡的健康情况、检验螺丝钉有没有裂纹等等,但这些小的需求没有办法建立起正的商业循环,干了就亏,不干又感觉错过了一个机会。”也有与会嘉宾将此形容为“为了喝一口水,挖了一口井”。

“预训练大模型其实很好地解决了这个问题,我们确定了基础模型以后,只需要在这个基础上加入新的知识,原有投入得到了保护,同时随着大量的模型开源,行业问题也可以基于这些开源模型以更低的成本去做,对于整个社会的算力资源也是一种保护。”姜迅在会上表示。

“虽然很多实际场景问题都能够用AI解决,但问题是客户愿意在这上面花多少钱,像检验螺丝钉有没有裂纹,客户的预算顶破天也就二十万,远远不够覆盖AI团队的支出。AI用起来不划算是传统行业AI技术落地缓慢的主要原因。而AI之所以在互联网、金融等行业走得更快,是因为广告推荐精准度以及风险控制效果提升一两个点,都会为企业带来巨大的收益,所以我们看AI的应用市场呈现明显的两极分化。单纯讲降本增效是有些理想化,更多应该围绕主营业务,探索AI技术能够带来哪些实质性经营价值。”戴金伟进一步分析指出。

“百模大战”

随着各个领域的大模型涌现,与会嘉宾们也分享了诸多关于“百模大战”的思考。

尽管在GPT-3以前的版本中,Open AI选择了开源,模型的基本结构都已经通过论文等方式公开,但各厂商由于在工程实践方面的差距,包括在数据的清洗、标注以及模型的微调、训练方法等方面,仍需要长时间的研发投入和经验积累。如何判断各家的技术优劣以及与头部模型的差距?

有与会嘉宾指出,相比于更加权威的专业测试题库,支撑各个厂家“通用领域追平ChatGPT、垂直领域反超GPT-4”说法的数据样本远远不足。

“比如GPT-3在论文里公布了TriviaQA的测试结果,TriviaQA里面包含六十多万道不同领域的题目,对于这样一些值得参考的成绩,我们目前却没有看到其它厂商们公布自家模型的相关测试结果,如果仅凭一些单点测试,其实没有办法判断与OpenAI之间真实的差距。”上述与会嘉宾表示。

另一位智能驾驶行业的与会嘉宾则分享了垂直行业对大模型技术的思考,“在每一个行业的应用场景里,都会积累很多技术秘密,这个过程中沉淀下来的东西就已经可以进行高中低频的分析。中高频需求其实是相对固定的,通过适当的裁剪让大模型更好的解决实际问题,是一个比较可行的路径。比如我们认为语音可能取代按键成为未来人车交互的主流方式,而出行场景中的语音交互最需要的是快速高效响应,在本地化部署的过程中,我们的思路也是通过蒸馏和裁剪大模型,牺牲部分推理能力以换取更好的理解能力。”

在与会嘉宾们看来,未来更加关注实现某种功能的最低算力需求是多少,以及在硬件范围内能够提供哪些能力?同时也会加强边缘侧和端侧的计算水平。

监管如何引导

另一方面,在全球范围内,各经济体也在逐步重视对AIGC的监管力度,其中也不乏企业与监管间的冲突。

欧盟在5月11日通过《AI法案》提案的谈判授权草案,禁止“对人类安全造成不可接受风险的AI系统”,并要求AI公司对其算法保持人为控制,提供技术文件,且为高风险应用建立风险管理系统。

而作为此轮技术革命的领头羊,OpenAI CEO Sam Altman却在近日公开表示,如果无法遵守欧盟即将出台的AI法规,该公司可能会考虑退出欧洲市场,“目前的欧盟AI法案草案将会造成过度监管的情况,但我们听说它将回调。”

在预防技术风险之外,也有业内观点指出,此轮AI产业仍处在发展初期,不应该追求零风险而牺牲发展效率。APUS高级技术总监朱传奇则联想到2018年欧盟出台的GDPR(《通用数据保护条例》),有统计数据显示受GDPR影响的公司平均预计利润下降8.1%,对于中小企业来说,既要面临合规成本问题,还要在与大企业的竞争劣势下做创新,受到影响更加明显,如何在监管中照顾到中小企业发展是未来非常值得思考的问题。

一直以来,国内应用层创新更加活跃已成业内共识。刘硕却注意到,以GPT为代表的大模型出来以后,国外的AIGC应用层出不穷,国内由于缺乏相对成熟的接口产品以及监管层面的原因,反倒要落后一些。

“我们应该从工具视角去看待AI,技术落地应用时,大厂的价值观就非常重要,因为它有更多的资源、技术和先发优势,在这种情况下可以建立一些相对严格的规则去引导行业有序发展。相比之下,对于中小企业可以提供更加宽松的监管环境,会让行业发展创新变得更加多元和富有生命力。”崔丽表示。

业内对于AI监管也有诸多讨论。3月29日,图灵奖得主Yoshua Bengio、马斯克等人联名发表公开信,呼吁所有AI实验室立即暂停训练比GPT-4更强大的AI系统,为期至少6个月,以确保人类能够有效管理其风险。

这也引来Meta首席人工智能科学家杨立昆等行业大牛的批评,并将AI威胁论视为蒙昧主义。

“由于过往对于技术进步的预期往往是线性的,当GPT-4以指数级成长的速度出现时,让几乎所有人都始料不及,”与会嘉宾谈到,“AI总有一天会超过人类的认知和智慧,到那时对人类生存就必然构成潜在威胁,举个可能不太恰当的例子,当机器人觉得生锈是一件很讨厌的事情,于是决定把空气里的氧气抽干净,人类肯定不能接受,因此将机器和人类的价值观对齐,一直是一项艰难且极其重要的研究课题。”

标签:

(责任编辑:news01)
欧盟修订灭菌丹在某些产品中的最大残留限量

欧盟修订灭菌丹在某些产品中的最大残留限量

据欧盟官方公报消息,2023年5月30日,欧盟委员会发布(EU)2023 1042号条例,修订灭菌丹(folpet)在某些产
05-31 00:43:34
断路器十大厂家_国内断路器十大品牌

断路器十大厂家_国内断路器十大品牌

1、据我了解,我公司内部所有的开关断路器全部采用的是中国制造的德国品牌西门子。2、反馈的意见质量还不错
05-31 00:39:35
风油精倒进白醋里,解决了家家户户的烦恼,不知道就太可惜了

风油精倒进白醋里,解决了家家户户的烦恼,不知道就太可惜了

可能对于很多朋友来说,夏天是一年当中最喜欢的节日之一了,因为在夏季正是各种蔬菜水果大量上市的时候
05-30 23:58:46
环球信息:盐城最好的医院排名(盐城最好的私立小学)

环球信息:盐城最好的医院排名(盐城最好的私立小学)

每日小编都会为大家带来一些知识类的文章,那么今天小编为大家带来的是盐城最好的私立小学方面的消息知识,
05-30 23:47:26
法网女单:王欣瑜力克布兹科娃晋级第二轮 全球今热点

法网女单:王欣瑜力克布兹科娃晋级第二轮 全球今热点

北京时间5月30日,2023法国网球公开赛继续首轮比赛。
05-30 22:43:32
活珠子都有什么营养_活珠子是蛋白质还是脂肪活珠子有什么营养成分

活珠子都有什么营养_活珠子是蛋白质还是脂肪活珠子有什么营养成分

今天为大家带来的关于活珠子是蛋白质还是脂肪活珠子有什么营养成分方面的信息,如果各位小伙伴对于活珠子是
05-30 22:19:56
焦点速读:蜂助手:公司的主要客户已在招股说明书中予以披露,具体内容详见公司在巨潮资讯网披露的招股说明书

焦点速读:蜂助手:公司的主要客户已在招股说明书中予以披露,具体内容详见公司在巨潮资讯网披露的招股说明书

蜂助手(301382)05月30日在投资者关系平台上答复了投资者关心的问题。
05-30 21:54:22
中金公司:四大指标初步提示A股偏底部特征 当前位置不必悲观

中金公司:四大指标初步提示A股偏底部特征 当前位置不必悲观

【中金公司:四大指标初步提示A股偏底部特征当前位置不必悲观】中金公司发布的最新研报称,综合来看,目前
05-30 21:49:48
qq自动回复可以维持多久 qq自动回复规则-天天热门

qq自动回复可以维持多久 qq自动回复规则-天天热门

qq自动回复可以维持多久,以火花为例,其qq自动回复续火花可以续七天左右。且火花是要与好友互发消息才会有
05-30 21:43:12
金百泽:公司暂未涉及CPO产品 未向英伟达供货

金百泽:公司暂未涉及CPO产品 未向英伟达供货

金百泽晚间披露股票交易严重异动公告称,公司暂未涉及CPO(共封装光学)产品;且公司未向英伟达公司供货,不
05-30 21:29:15
医院科室直接成本和间接成本的区别(直接成本和间接成本的区别)-环球快资讯

医院科室直接成本和间接成本的区别(直接成本和间接成本的区别)-环球快资讯

今天小编宋丹来为大家解答以上的问题。医院科室直接成本和间接成本的区别,直接成本和间接成本的区别相信很
05-30 21:09:24
孙东:香港大幅提升人才库人才待遇 博士薪酬待遇每月4.5万港元

孙东:香港大幅提升人才库人才待遇 博士薪酬待遇每月4.5万港元

国内首家中文网络媒体、79家中央新闻网站之一。内容涵盖国家公派留学、自费出国留学、国际教育、教育科技人
05-30 21:06:13
俄媒:莫斯科遭无人机袭击 暂无人伤亡_今日热议

俄媒:莫斯科遭无人机袭击 暂无人伤亡_今日热议

中新网5月30日电据塔斯社报道,莫斯科市长索比亚宁在社交媒体平台Telegram上发布消息称,莫斯科几栋住宅楼
05-30 20:42:04
京东大时尚携手百大品牌超万家线下店 发起沸腾烟火气行动 全球新动态

京东大时尚携手百大品牌超万家线下店 发起沸腾烟火气行动 全球新动态

日前,京东大时尚与周大福、中国黄金、波司登、JACK&JONE、MCM、安德玛、雅戈尔、喜德盛,洲克、斐乐、安踏
05-30 20:39:42
环球快资讯:特斯拉Roadster再次开启国内市场预订

环球快资讯:特斯拉Roadster再次开启国内市场预订

近日,我们从特斯拉中国官网获悉,全新Roadster再度开放预订页面,订金仍为33 20万元(交付前可随时退款)
05-30 20:36:12
如何遏制校园安全事故发生?多部门明确了

如何遏制校园安全事故发生?多部门明确了

如何遏制校园安全事故发生?多部门明确了
05-30 19:52:20
郑州高新区拟出台8大措施振兴超硬材料产业,最高5000万落地补助

郑州高新区拟出台8大措施振兴超硬材料产业,最高5000万落地补助

自企业设立登记或项目投产后首个产生区级实际贡献的完整会计年度起,三年内分别按照企业年度对区经济实际贡
05-30 19:39:44
滚动:北部湾航空助力扩展广西至东盟航线网络

滚动:北部湾航空助力扩展广西至东盟航线网络

中新网南宁5月30日电(黄艳梅黎莉娜莫菲)记者30日从中国海航航空集团旗下北部湾航空获悉,今年北部湾航空将
05-30 19:31:58
快播:怎样做牛肉好吃(怎样做牛肉好吃又嫩)

快播:怎样做牛肉好吃(怎样做牛肉好吃又嫩)

1、准备材料:牛肉1000g、土豆2个、洋葱2个、西红柿4个、胡萝卜1个、葱姜适量、老抽1大勺、料酒1大勺、醋1
05-30 18:51:52
环球最新:NBA那些离谱的伤病!乔丹抽雪茄剪断手指,一人冰敷睡着直接报销

环球最新:NBA那些离谱的伤病!乔丹抽雪茄剪断手指,一人冰敷睡着直接报销

NBA三十支球队每赛季的最大对手根本不是其他任何一支球队,而是伤病,一支球队想要走到最后去争夺总冠军,
05-30 18:48:22
好听的老歌曲80后(好听的老歌)|全球滚动

好听的老歌曲80后(好听的老歌)|全球滚动

今天小编岚岚来为大家解答以上的问题。好听的老歌曲80后,好听的老歌相信很多小伙伴还不知道,现在让我们一
05-30 18:07:21
大熊猫被恶意泼水!刚刚通报:终身禁入-世界要闻

大熊猫被恶意泼水!刚刚通报:终身禁入-世界要闻

5月29日成都大熊猫繁育研究基地大熊猫园润被一男子恶意泼水据拍摄者潘女士称泼水者是一个年轻小伙子当时多
05-30 17:55:42
终于定档上线!高口碑手游《重返未来:1999》5月31日正式公测 全球报道

终于定档上线!高口碑手游《重返未来:1999》5月31日正式公测 全球报道

终于定档上线!高口碑手游《重返未来:1999》5月31日正式公测,
05-30 17:42:39
每日热议!雷电+大风+小冰雹 上海今晚需谨慎出行

每日热议!雷电+大风+小冰雹 上海今晚需谨慎出行

北京时间2023年5月29号下午17:50分上海中央气象台发布了大风黄色预警。上海受雷暴云团影响预计在未来的6个
05-30 17:08:30
世界快资讯丨中简科技:公司千吨线根据客户需求合理释放产能

世界快资讯丨中简科技:公司千吨线根据客户需求合理释放产能

中简科技(300777)05月30日在投资者互动平台表示:您好,公司千吨线根据客户需求合理释放产能。感谢您的关
05-30 16:47:07
石墨烯商品报价动态(2023-05-30)|天天热门

石墨烯商品报价动态(2023-05-30)|天天热门

交易商品牌 产地交货地最新报价石墨烯 粉末;黑色湖南丰化材料有限公司湖南丰化湖北省 襄樊市35元 克
05-30 16:36:42
环球热推荐:今日纸黄金价格走势最新查询(2023年5月30日)

环球热推荐:今日纸黄金价格走势最新查询(2023年5月30日)

今日纸黄金价格走势最新查询(2023年5月30日)
05-30 16:13:27
聚焦:微信视频号上线原创声明功能

聚焦:微信视频号上线原创声明功能

【环球网科技综合报道】5月30日消息,微信官方日前宣布视频号上线原创标记外显、原创保护记录及新的创作分
05-30 16:07:54
江苏交通综合执法部门圆满完成2022-2023年度南水北调期间水上交通安全保障工作 微速讯

江苏交通综合执法部门圆满完成2022-2023年度南水北调期间水上交通安全保障工作 微速讯

5月29日,2022-2023年度南水北调东线江苏段调水任务正式结束,此次调水累计运行139天,共调水12 03亿立方米
05-30 15:58:40
上海云锦东方云筑项目开盘销售摇号排序暂停-每日消息

上海云锦东方云筑项目开盘销售摇号排序暂停-每日消息

上海云锦东方云筑项目开盘销售摇号排序暂停2023年05月30日15:04中国网财经
05-30 15:29:30

为您推荐

精彩推送