2022年11月30日,openai开放测试聊天机器人chatgpt,两个月后月活跃用户数已达1亿,成为历史上用户数增长最快的消费者应用。chatgpt标志着大模型能力取得关键突破,标志着对信息获取和消费模式的颠覆,将推动劳动力数字化进程。人工智能进入“基础大模型 微调”的新时代,aigc技术和产业生态将迎来蓬勃发展。本文参阅了多家机构研究报告及专家观点,对chatgpt发展历程与趋势及其对人工智能发展的影响进行分析。
一、chatgpt发展历程及趋势展望
(一)chatgpt技术突破及应用场景
2022年11月30日,openai〔1〕开放测试聊天机器人chatgpt(chat generative pre-trained transformer),其基于生成大模型gpt-3.5和人类反馈强化学习机制(reinforcement learning from human feedback,rlhf)〔2〕构建,两个月后月活跃用户数已达1亿,成为历史上用户数增长最快的消费者应用,标志着大模型能力取得关键突破,新一代人工智能进入全新发展阶段。chatgpt具有支持多轮对话,易于修正,人机交互效果更好、更快、更高效等优势,应用场景包括搜索引擎、智能客服、虚拟人、代码编程、文学创作等。
美国时间3月1日,openai宣布开放chatgpt api接口,允许第三方开发者通过api将chatgpt功能集成到自己的应用程序和服务中。chatgpt api并非基于此前的gpt-3.5模型,而是gpt-3.5-turbo模型。该接口对每1000个字符处理单元收费0.002美元,即支付两美元可处理约75万个英文单词。
(二)新一代人工智能发展历程回顾
2012年深度学习技术的出现,驱动了新一代人工智能的快速发展,有别于传统人工智能的封闭性和解决确定问题,新一代人工智能具有开放性,通过交互学习和记忆解决不确定问题,其发展可分为三个阶段。
2012~2018年是第一个阶段。该阶段的关键技术是标记数据驱动的有监督深度学习模型,通过神经网络的层次堆叠,可构建任意深度学习模型,大幅提高了模型表示能力,在计算机视觉和语音识别领域获得了产品和商业上的成功。
2018~2020年是第二个阶段。该阶段的关键技术是自监督预训练大数据驱动的通用大模型。2017年,谷歌提出了transformer模型〔3〕,并逐渐发展为ai 领域的通用模型。基于transformer模型,分别提出bert模型和gpt-1模型,二者均采用自监督预训练的思路,无需标注数据就可以训练。其中gpt-1是单向模型,即输入前面的文本,模型预测输出后面的文本;bert是双向模型,可利用上下文存在的约束进行训练,在当时效果更好,成为nlp(自然语言处理)领域里程碑工作之一。然而openai并未止步于gpt-1模型,在接下来的两年,在几乎没有改变模型架构的基础上,陆续推出参数更大的迭代版本gpt-2、gpt-3模型。2020年7月提出的gpt-3直接把模型参数量从15亿提升到1750亿,训练所用的数据量更是达到45tb,引领大模型进入千亿参数时代,不再依赖于下游任务领域数据的再训练,基本可完成nlp的绝大部分任务。
图表 1 chatgpt演化进程
2020年至今是第三个阶段。openai在gpt-3基础上引入rlhf,获得了更真实、更无害、更好遵循用户意图的语言模型instructgpt(又称gpt-3.5),同期chatgpt开始构建,可针对用户的输入,输出对用户更友好的回答。以chatgpt为代表的新范式有可能成为该阶段的核心驱动技术,即首先基于自监督预训练的大模型,再结合基于少量优质数据反馈的强化学习技术,形成模型和数据的闭环反馈,获得进一步的技术突破。
图表 2 chatgpt提升的原因——引入rlhf
(三)chatgpt带来的机遇和启示
1.发展机遇
chatgpt能通过学习和理解人类的语言来进行对话,并能根据聊天的上下文进行互动,甚至能完成撰写邮件、视频脚本、文案、翻译、代码等任务,显示了从算法到工程上的突破,是工程体系的创新。同时标志着对信息获取和消费模式的颠覆,有专家认为chatgpt甚至有可能取代搜索引擎,成为新一代获取信息的交互方式。chatgpt的影响类似于iphone的诞生,是人机交互的变革,人机之间最基本的触面,将可能不再是移动互联网时代的app,“智能互联网”时代会到来,并引发众多场景的范式迁移,每一个细分领域都可能成长出众多机遇。此外,chatgpt将推动劳动力数字化进程,延伸出以信息查询类、专家咨询类、助手类、交流类为主的四大对话式应用场景,引发生产力的第五次变革。
2.重要启示
人工智能已成为中美两国竞争的着力点,科技部已表示将把人工智能作为战略性新兴产业给予大力支持,无论是出于国家安全考虑还是科技竞争角度,我国建立自己的大模型能力都是必需的。大模型背后离不开大算力、大数据。在算力层面,由于美国出口管制政策,我国算力支持仍面临挑战,加快构建自主可控的算力基础设施非常重要。在数据层面,一方面开源的生态和程度不够,另一方面数据都掌握在平台级企业里,形成了数据“孤岛”,我国中文语料的开放程度和标准化程度、规模还有很大的优化空间。综合来看,大模型、算力、数据方面,我国与美国都存在一定差距,发展任重道远。
此外,openai的成功,可以看到团队成员强烈技术信仰的重要性,同时openai无论在创新性、投入、决心,还是在顶尖人才储备上,都是一如既往地坚持,也正是因为他们能够坚持长期主义、纯粹创新,才能做出真正有深度的产品。
(四)chatgpt商业化的制约因素
1.成本因素
计算资源集群消耗成本高是chatgpt商业化的主要制约因素。训练阶段,gpt-3迭代训练(遍历学习)一次成本约为460万美元,训练总成本高达1200万美元。使用阶段,c端用户大概每次使用所产生的平均成本为0.01~0.20美元。目前更适合如搜索、推荐等规模化的场景,专业模型打磨和系统构建成本还较高。
2.技术局限性
chatgpt的技术局限性主要体现在依赖历史数据、易受到人类训练师偏好影响和输出内容可控性弱三个方面。(1)主要训练集仅截至2021年,单次迭代成本高,无法实现低成本及时迭代数据,导致信息时效性不够;(2)训练方式受人类训练师偏好影响,模型训练优化方向会围绕人类的标注去设计;(3)模型复杂度高,目前尚无法解读大模型参数间的作用机制,有可能回答出存在事实性错误的答案。
3.伦理与法规
chatgpt目前有一些伦理层面的问题,同时,也带来用户个人数据处理、算法模型训练、技术不当使用等方面的风险。
(五)aigc〔4〕投融资情况
aigc应用领域包括文本、代码、图片、语言、视频、3d等,chatgpt属于文本生成模态应用模型。近年来,全球aigc投融资笔数和金额呈快速上升趋势。2019年由于微软投资openai 10亿美元,融资金额大幅增长。大部分融资由龙头企业获得,超过一半的初创企业融资轮次为a轮或天使轮,行业仍处于发展初期。据钛媒体统计,2022年国内aigc行业共发生12笔融资,其中上半年3笔,下半年增长为9笔。
图表 3 全球aigc投融资情况
二、国内人工智能大模型发展现状
(一)全栈式布局公司
百度在人工智能领域已深耕多年,具有全栈式布局,包括底层的芯片、深度学习框架、大模型以及最上层的搜索等应用。拥有产业级知识增强文心大模型ernie,具备跨模态、跨语言的深度语义理解与生成能力,对标chatgpt的产品为“文心一言”(ernie bot),已于3月16日发布。
(二)依托场景垂直布局的平台公司
阿里、腾讯、京东、华为、字节跳动、科大讯飞等已经依托各自的业务场景在应用层布局,其中,阿里、腾讯、华为和商汤等平台公司也已经开始自研大模型。在结合自有业务场景作应用布局方面,字节跳动主要是“ai 内容”,自动生成投稿和辅助写作;阿里、京东等电商类平台主要在智能客服领域布局,其次是“ai 营销”,结合商品,自动生成描述商品的高质量文案,提高营销效率;腾讯则以广告为主,支持广告智能制作。
(三)研发机构
研发机构主要在模型层布局,目前有北京智源和idea研究院。智源开展大模型研究时间较早,在gpt-3发布后的一年,智源“悟道”发布,是当时世界上最大的1.75万亿模型。近日又发布flagopen(飞智)大模型技术开源体系,旨在建设大模型领域的“linux”。idea研究院也做了一系列的几亿到几十亿的开源模型,已经形成的封神榜预训练大模型体系在中文nlp起到支撑作用。
图表 4 大模型代表企业
三、chatgpt对人工智能发展的深远影响
(一)人工智能进入“大模型 微调”的新技术范式
近年来,以深度学习、神经网络为代表的人工智能浪潮遇到了技术瓶颈和商业化难题,在ai技术赋能和增值情况方面较为有限。而chatgpt和aigc技术的出现成为重要的拐点,尤其是gpt-3大模型展示了从算法到工程上的突破。大模型的研究和应用将逐渐成为人工智能发展的关键方向〔5〕,并且通过微调方式将大模型能力有效转移到各种应用场景中。如此,将不再需要重新从零开始做模型,从而大大降低开发成本,使得模型应用变得更迅速、更有效。
(二)分析式ai到生成式ai演化,aigc蓬勃发展
分析式ai(analytical ai)利用机器学习技术学习数据分布,主要进行分析、判断、预测工作,应用方向包括推荐系统和风控系统的辅助决策、自动驾驶和机器人的决策智能体。生成式ai(generative ai)起源于分析式ai,更强调学习归纳后进行演绎创造,生成全新的内容,本质是对生产力的大幅提升和创造。gartner将生成式ai列为最有商业前景的人工智能技术,根据其发布的2022年人工智能技术成熟度曲线,预计生成式ai将在2~5年内进入生产成熟期。
图表 5 aigc全景图
chatgpt的出现以及相应商业化的落地进一步加速了aigc的发展。一方面,gpt作为nlp生成模型的突破,将迅速解决ai文本生成、ai代码生成等领域的痛点;另一方面,以上突破发展也将带动aigc在音视频、游戏等场景中的加速渗透。不断创新的生成算法、预训练模型、多模态等技术融合将带来一系列aigc技术变革。
(三)“ ai”与“ai ”结合,加速对产业赋能
《中国新一代人工智能科技产业发展报告(2022)》〔6〕数据显示,中国人工智能企业布局侧重在应用层,占比最高达85.18%。ai已在众多垂直领域(如金融、交通、医疗等)实现应用,并且可通过两种方法对产业赋能。一是帮助各传统领域实现快速高效处理数据,提高生产效率、降低成本,即“行业 人工智能”;二是创造出新的需求和新的增长点,打造新商业模式、构建新经济增长点,即“人工智能 各个领域”。
chatgpt提升了aigc在编程语言、新闻撰写、文案创作等自然语言方面创作能力的上限,搜索引擎、文学创作、智能客服等领域的行业格局与商业模式或将在未来发生较大改变。此外,基于ai技术打造的智能网联汽车,使汽车成为各种服务和应用的入口,将催生新的商业模式。未来,包括大模型在内的人工智能技术,在生命科学、材料科学、能源科学和环境健康等方面,都将生成、驱动新的研究发现。
(四)为基础设施层、模型层、应用层带来全新机遇
aigc产业生态加速形成和发展,其产业链大致呈现基础设施层、模型层和应用层三层架构。其中,底层基础设施层包括计算硬件(芯片、服务器等)和云计算平台;模型层又分为两层,分别是大模型基础层以及通过调用大模型,进行特定训练,形成垂直化、场景化、定制化的专用模型中间层;应用层即提供图像、语音、文字生成等各种aigc应用。
中美具有不同的商业化土壤,我国aigc的商业化能力及构建的生态与美国相比有很大不同。综合来看,我国aigc的基础设施层、模型层、应用层均迎来全新的发展机遇。
从基础设施层来看,将催生对算力、网络等硬件的持续需求,成长空间较大且专业性壁垒高。在芯片方面,大模型的出现提高了芯片算力、存储容量、通信带宽等多维度的技术要求;在云计算硬件设备方面,服务器、光模块、存储器等也将加速发展。
图表 6 aigc产业链
从模型层来看,与美国相比,我国的底层模型公司尚不成熟,大模型很难有场景和产品直接向c端收费。而专用模型孵化成本低,可能涌现出一批专门负责调整大型模型以适应具体ai应用需求的初创企业,模型即服务(model-as-a-service,maas)成为潜在方向,预计将对商业领域产生巨大影响〔7〕。
从应用层来看,对于纯粹基于基础模型的应用,美国的商业化土壤更好;国内的b端和c端重服务甚于产品,对工具产品的付费意愿较弱,商业化面临巨大挑战。对于拥有自有大模型能力的端到端应用,大公司很难在细分场景中有明显优势,因此我国创业公司机会更大。此外,由于紧靠场景提供网络赌钱app下载的解决方案,b端的付费意愿更大,商业化能力更强。
(国新基金)
注释
〔1〕 openai成立于2015年,由特斯拉ceo埃隆·马斯克、paypal联合创始人彼得·蒂尔、linkedin创始人里德·霍夫曼、创业孵化器y combinator总裁阿尔特曼(sam altman)等人出资10亿美元创立。起初是一个非营利组织,但在2019年成立openai lp子公司,目标是盈利和商业化,并引入了微软的10亿美元投资。
〔2〕 rlhf可训练出奖励模型以训练学习模型,即用ai训练ai。rlhf在一定程度上解决了生成模型的一个核心问题—人工智能对齐(ai alignment),即要求ai系统的目标和人类的价值观与意图保持一致。
〔3〕 transformer是一种基于自注意力机制、并行化处理数据的深度神经网络。自注意力机制(self-attention mechanism)是注意力机制(attention mechanism)的改进,其减少了网络对外部信息的依赖,更擅长捕捉数据或特征内部的相关性。
〔4〕 aigc(ai-generated content)指利用人工智能技术自动生成内容,是在专业生成内容(pgc)和用户生成内容(ugc)后一种新型生成内容方式。广义aigc即生成式ai,指具备生成创造能力的ai技术。
〔5〕 北京智源人工智能研究院发表《chatgpt和aigc爆火背后,ai大模型的发展和机遇》,2022.12。
〔6〕 中国新一代人工智能发展战略研究院发布,2022.6。
〔7〕 腾讯研究院发布《aigc发展趋势研究报告2023—迎接人工智能的下一个时代》,2023.1。
免责声明
本文的分析及建议所依据的信息均来源于公开资料,我们对这些信息的准确性和完整性不作任何保证,也不保证所依据的信息和建议不会发生任何变化。我们已力求文章内容的客观、公正,但文中的观点、结论和建议仅供参考,不构成任何投资建议。投资者依据文章提供的信息进行投资所造成的一切后果,概不负责。文章未经书面许可,任何机构和个人不得以任何形式翻版、复制和发布。如引用、刊发,需注明出处为国新资讯,且不得对文章进行有悖原意的引用、删节和修改。
- 电解制氢技术崛起氢能变革加速2023-03-14
- 国内外健康医疗大数据产业发展状况及启示2023-03-06
- 多层级reits市场下的类reits产品表现2023-02-13