可扩展:文心一言中文可以随着新数据的加入不断训练,从而随着时间的推移提高其性能。(可扩展文件名)
文心一言中文是一款由百度开发的多模态人工智能语言模型。其可扩展性是一个重要的特性,使该模型能够随着新数据的加入不断训练和提高性能。
可扩展性带来的优势
-
持续改进:
随着模型不断学习新数据,其准确性和可靠性将持续提高。 -
适应性强:
模型可以适应动态变化的语言环境,例如新单词和表达方式的出现。 -
处理不断增长的数据:
随着数据量的不断增长,模型的容量和处理能力可以相应扩展,以满足处理需求。
文心一言中文的可扩展性机制
文心一言中文通过以下机制实现可扩展性:
-
增量训练:
模型可以通过分批加入新数据进行增量训练,避免了从头开始重新训练的巨大计算成本。 -
参数化:
模型的容量和复杂度可以通过调整参数进行配置,以适应不同规模和类型的数据集。 -
分布式并行训练:
模型可以在多个处理器或计算机上分布式训练,以充分利用计算资源并加速训练过程。
适用场景
文心一言中文的可扩展性使其适用于处理大量不断增长的文本数据,特别是在以下场景中:
- 搜索引擎优化
- 自然语言处理
- 问答系统
- 机器翻译
- 文本生成
案例
百度在开发文心一言中文时采用了可扩展性策略,取得了显著的成果。例如,在处理海量中文文本数据集时,该模型通过增量训练机制保持了较高的准确率和效率。文心一言中文已被成功应用于百度搜索、百度翻译和百度智能客服等产品中,为用户提供了更加准确和高效的语言理解和处理服务。
未来展望
文心一言中文的可扩展性是一种持续演进的技术。随着人工智能领域的发展,预计该模型的可扩展性将进一步增强,以满足未来更大规模和更复杂的数据处理需求。这将为人工智能应用程序带来新的可能性,例如实时语言理解、个性化对话生成和高级决策支持。
国内使用的频率比较高的大语言模型
国内使用频率较高的大语言模型是网络公司开发的文心一言,可以协助完成范围广泛的任务并提供有关各种主题的信息,比如回答问题,提供定义和解释及建议。
文心一言是一种基于自然语言处理技术的机器学习模型,它通过海量的文本数据训练,能够理解和生成自然语言文本。
该模型的核心机制在于对语言规则的深度学习和模式识别,它能够分析文本中的语法、语义和上下文关系,从而生成合理且连贯的回应。
文心一言在对话生成方面表现出色,能够根据用户的提问或输入,提供准确且有用的信息。
在国内,文心一言之所以使用频率高,一方面是因为其背后有网络强大的技术支撑和丰富的数据资源。
网络作为国内领先的搜索引擎和人工智能技术公司,拥有庞大的用户群体和广泛的应用场景,这为文心一言提供了良好的发展环境和应用基础。
另一方面,文心一言在实际应用中展现出了高效、便捷的特性,能够满足用户在信息检索、知识问答、文本生成等方面的需求。
举个例子,当用户在文心一言中输入“如何学习编程”这样的问题时,模型能够快速理解用户的意图,并从海量的知识库中检索相关信息,最终生成一份详尽的学习指南或建议列表。
这种智能化的信息处理方式大大提高了用户获取信息的效率和准确性,也使得文心一言成为了国内用户喜爱的大语言模型之一。
综上所述,文心一言凭借其先进的技术基础、丰富的数据资源和高效便捷的应用特性,在国内获得了广泛的使用和认可。
随着人工智能技术的不断发展和应用领域的不断拓展,相信文心一言将会在未来发挥更加重要的作用。
计算机集群 专家进
一、集群的基本概念有一种常见的方法可以大幅提高服务器的安全性,这就是集群。
Cluster集群技术可如下定义:一组相互独立的服务器在网络中表现为单一的系统,并以单一系统的模式加以管理。
此单一系统为客户工作站提供高可靠性的服务。
大多数模式下,集群中所有的计算机拥有一个共同的名称,集群内任一系统上运行的服务可被所有的网络客户所使用。
Cluster必须可以协调管理各分离的组件的错误和失败,并可透明地向Cluster中加入组件。
一个Cluster包含多台(至少二台)拥有共享数据存储空间的服务器。
任何一台服务器运行一个应用时,应用数据被存储在共享的数据空间内。
每台服务器的操作系统和应用程序文件存储在其各自的本地储存空间上。
Cluster内各节点服务器通过一内部局域网相互通讯。
当一台节点服务器发生故障时,这台服务器上所运行的应用程序将在另一节点服务器上被自动接管。
当一个应用服务发生故障时,应用服务将被重新启动或被另一台服务器接管。
当以上任一故障发生时,客户将能很快连接到新的应用服务上。
二、集群的硬件配置镜像服务器双机集群中镜像服务器双机系统是硬件配置最简单和价格最低廉的解决方案,通常镜像服务的硬件配置需要两台服务器,在每台服务器有独立操作系统硬盘和数据存贮硬盘,每台服务器有与客户端相连的网卡,另有一对镜像卡或完成镜像功能的网卡。
镜像服务器具有配置简单,使用方便,价格低廉诸多优点,但由于镜像服务器需要采用网络方式镜像数据,通过镜像软件实现数据的同步,因此需要占用网络服务器的CPU及内存资源,镜像服务器的性能比单一服务器的性能要低一些。
有一些镜像服务器集群系统采用内存镜像的技术,这个技术的优点是所有的应用程序和网络操作系统在两台服务器上镜像同步,当主机出现故障时,备份机可以在几乎没有感觉的情况下接管所有应用程序。
因为两个服务器的内存完全一致,但当系统应用程序带有缺陷从而导致系统宕机时,两台服务器会同步宕机。
这也是内存镜像卡或网卡实现数据同步,在大数据量读写过程中两台服务器在某些状态下会产生数据不同步,因此镜像服务器适合那些预算较少、对集群系统要求不高的用户。
硬件配置范例:网络服务器 两台服务器操作系统硬盘 两块服务器数据存贮硬盘 视用户需要确定服务器镜像卡(部分软件可使用标准网卡) 两块网络服务网卡 两块三、双机与磁盘阵列柜与镜像服务器双机系统相比,双机与磁盘阵列柜互联结构多出了第三方生产的磁盘阵列柜,目前,豪威公司、精业公司等许多公司都生产有磁盘阵列柜,在磁盘阵列柜中安装有磁盘阵列控制卡,阵列柜可以直接将柜中的硬盘配置成为逻辑盘阵。
磁盘阵列柜通过SCSI电缆与服务器上普通SCSI卡相连,系统管理员需直接在磁盘柜上配置磁盘阵列。
双机与磁盘阵列柜互联结构不采用内存镜像技术,因此需要有一定的切换时间(通常为60?D?D180秒),它可以有郊的避免由于应用程序自身的缺陷导致系统全部宕机,同时由于所有的数据全部存贮在中置的磁盘阵列柜中,当工作机出现故障时,备份机接替工作机,从磁盘阵列中读取数据,所以不会产生数据不同步的问题,由于这种方案不需要网络镜像同步,因此这种集群方案服务器的性能要比镜像服务器结构高出很多。
双机与磁盘阵列柜互联结构的缺点是在系统当中存在单点错的缺陷,所谓单点错是指当系统中某个部件或某个应用程序出现故障时,导致所有系统全部宕机。
在这个系统中磁盘阵列柜是会导致单点错,当磁盘阵列柜出现逻辑或物理故障时,所有存贮的数据会全部丢失,因此,在选配这种方案时,需要选用一个品质与售后服务较好的产品。
硬件配置范例:网络服务器 两台服务器操作系统硬盘 两块第三方生产的磁盘阵列柜 一台磁盘柜专用SCSI电线 两根磁盘阵列柜数据存贮硬盘 视用户需求确定网络服务网卡 两块除此之外,一些厂商还有更优秀的技术的解决方案,比如 HP.四、HP双机双控容错系统HP NetServer为双机双控容错系统提供了高品质和高可靠的硬件基础……HP双机双控容错系统结合了HP服务器产品的安全可靠性与Cluster技术的优点,相互配合二者的优势。
硬件配置范例:HP L系统的网络服务器 两台服务器操作系统硬盘 两块HP硬盘存贮柜(SS/6,RS/8,RS/12) 一台磁盘柜专用SCSI集群适配电缆 两根磁盘柜数据存贮硬盘 视用户需求确定HP集群专用阵列卡 两块网络服务网卡 两块五、HP光纤通道双机双控集群系统光纤通道是一种连接标准,可以作为SCSI的一种替代解决方案,光纤技术具有高带宽、抗电磁干扰、传输距离远、质量高、扩展能力强等特性,目前在FC-AL仲裁环路上可接入126个设备。
光纤设备提供了多种增强的连接技术,大大方便了用户使用。
服务器系统可以通过光缆远程连接,最大可跨越10公里的距离。
它允许镜像配置,这样可以改善系统的容错能力。
服务器系统的规模将更加灵活多变。
SCSI每条通道最多可连接15个设备,而光纤仲裁环路最多可以连接126个设备。
光纤集群系统组成:HP光纤集群系统硬件设备包括有两台HP服务器(需支持光纤卡,目前有LC2000、LH3000、LH4、 LH6000、LT6000、LXr8000、LXR8500)及光纤适配卡,可以使用RS/12FC光纤磁盘阵列柜,需另加一对或两对网卡用于心跳检测和与客户端连接。
在配置过程中还需另外选配光纤卡到光纤存贮设备的光纤电缆。
硬件配置:HPL系统的网络服务器 两台服务器操作系统硬盘 两块HP光纤阵列存贮柜(RS/12FC) 一台光纤磁盘柜专用光纤电缆 两根光纤磁盘柜数据存贮硬盘 视用户需求确定HP光纤适配卡 两块网络服务网卡 两块六、集群的软件配置基于NT平台的集群软件Microsoft的MSCS,也有许多第三方的专业软件公司开发的集群软件,如豪威的DATAWARE,VIN CA公司的STANDBY SERVER,NSI公司的 WolfPack的特点MS WolfPack是MS Cluster server的别称,是 微软针对Cluster技术研制开发的双机软件。
它集成在NT SERVER上,支持由二台机器组成的双机系统,提供一种高可用且易管理的应用环境。
主要特点:自动检测和修复服务器或应用程序的错误可实现对服务器中应用程序的切换可通过TCP/IP连接各种客户端,如MS-DOS、WINDOWS 3.X/9X/NT,Apple Macintosh、UNIX等生产主机无需人工干涉即可自动恢复数据并接管任务易管理性:可自动审核服务器和应用程序的工作状态可建立高可用性的应用程序、文件共享、打印请求等可灵活设置应用程序和数据的恢复策略简单操作即可进行应用程序的离线,重新再线,服务器间的迁移。
目前,WINDOWS 2000 Advanced Server与WINDOWS 2000 DataCenter Server都集成有更先进集群技术。
其它的网络操作系统平台上也有许多集群软件,比如:基于novell平台的集群软件有Novell HA Server、Novell SFT III基于sco UNIX平台的集群软件有Sentinel集群软件基于Linux平台的集群软件有TurboCluster七、集群技术的发展趋势集群技术随着服务器硬件系统与网络操作系统的发展将会在可用性、高可靠性、系统冗余等方面逐步提高。
未来的集群可以依靠集群文件系统实现对系统中的所有文件、设备和网络资源的全局访问,并且生成一个完整的系统映像。
这样,无论应用程序在集群中的哪台服务器上,集群文件系统允许任何用户(远程或本地)都可以对这个软件进行访问。
任何应用程序都可以访问这个集群任何文件。
甚至在应用程序从一个节点转移到另一个节点的情况下,无需任何改动,应用程序就可以访问系统上的文件。
在今天,利用服务器的集群技术,通过周密计划和网络维护,系统破坏的机率是非常小的。
所以,企业服务器的稳定必须使用集群技术。
百度文心一言是什么?你对文心一言有什么期待?
网络文心一言是每日更新的一句古诗词,旨在激发读者的思考,增强文人文魂。
我期待文心一言能够带给我更多美好的文学体验,更深刻的文化意境,以及更多有趣的历史故事。
进入3月中旬,全球科技巨头再次竞相亮相大语言模型赛道。
一周之内,开发出ChatGPT的美国初创公司OpenAI,对OpenAI投入巨资的科技巨头微软,以及中国互联网龙头企业网络,相继发布了在大语言模型(LLM)领域的最新动态。
这也再次引发了全球对该领域的关注。
当地时间3月14日,OpenAI公布了其大型语言模型的最新版本——GPT-4,它比GPT-3.5的问答质量和技术都有明显提升。
3月16日下午,网络开启新一代大语言模型、生成式AI产品文心一言测试,从而成为第一家加入该赛道竞争的中国企业。
在发布会现场,网络创始人、董事长兼首席执行官李彦宏通过问答的形式,展示了文心一言在文学创作、商业文案创作、数理推算、中文理解、多模态生成等五个使用场景。
几个小时后,微软宣布,将把GPT-4接入Office全家桶,新名为“Microsoft 365 Copilot”。
正如财经E法在2月17日发布的文章(OpenAI独家回应|ChatGPT为何不向所有中国用户开放注册?)所述,中国内地和中国香港的手机号均无法注册ChatGPT账号。
此外,虽然OpenAI的应用程序编程接口(API)已向161个国家和地区开放,但不包括中国内地和中国香港。
一方面,业界普遍关注,在AIGC(生成式人工智能)势不可挡的科技浪潮中,谁将成为下一个弄潮儿?另一方面,在中美科技竞合的敏感期,各方亦颇为关注网络迈出的第一步带来的涟漪,以及中国企业该如何应对。
01“真的ready了吗?”
3月16日,李彦宏身着白衬衫和运动鞋演讲。开场就直面疑问,“最近一段时间,很多朋友问我,为什么是今天,你们真的ready了吗”?
李彦宏的回答是,虽然网络已投入AI研究十多年,为发布文心一言做了充分准备,但“不能说完全ready了”,因为文心一言对标ChatGPT、甚至是GPT-4,门槛很高,还“有很多不完美的地方”。
但他强调“一旦有了真实的人类反馈,文心一言的进步速度会非常快”。
李彦宏解释,之所以选择当天发布,是因为市场有需求:客户和合作伙伴都希望能早一点用上最新最先进的大语言模型。
如何理解李彦宏所言的“对标GPT-4的门槛很高”?
当地时间3月14日,OpenAI公布了其大型语言模型的最新版本——GPT-4。
值得注意的是,GPT-4是大型的多模态模型,即能够接受图像和文本类型的输入。
而GPT-3.5只能接受文本输入。
在展示视频中,OpenAI总裁兼联合创始人格雷格·布罗克曼(Greg Brockman)用笔和纸画了一幅网站草图,并将图片输入GPT-4。
仅1到2秒后,GPT-4就生成了网页代码,制作出了与草图高度相似的网站。
根据OpenAI发布的实验数据, GPT-4模型相较前一代GPT-3.5已取得了巨大的进步,在许多专业测试中表现出超过绝大多数人类的水平。
浙江大学国际联合商学院数字经济与金融创新研究中心联席主任盘和林认为,文心一言未来还有待全面开放来获得用户检验。
无论是通过B端API还是直接向C端用户开放,用户体验口碑都是硬道理。
当前ChatGPT没对中国用户开放,在国内市场,网络将获得先发优势。
对OpenAI和网络的产品均做过测评的艾媒咨询CEO兼首席分析师张毅表示,GPT系列大模型,包括GPT-4与文心一言本质上都是同一类产品,只是它们各自的数据覆盖范畴和数据模型的积累长短不一。
从短期看,OpenAI的产品准备时间相对更加充足,智能程度暂时领先一些。
但是对文心一言而言,能在这么短的时间内训练出这样的一个产品,也是非常了不起的。
同时,张毅也对网络做出更好产品更有信心,他的理由是,从人工智能、大数据、大模型的人才储备来看,中国会更有优势。
中央财经大学数字经济融合创新发展中心主任陈端则认为,与海外竞争对手相比,网络最大的优势是立足本土,构建了语言和文化层面理解的护城河。
作为中国公司研发的大语言模型产品,文心一言的中文理解能力备受关注。
重要原因是,此前很多评论人士认为,ChatGPT的中文问答能力不如英文问答能力强。
李彦宏表示,作为扎根于中国市场的大语言模型,文心一言具备中文领域最先进的自然语言处理能力。
在现场展示中,文心一言正确解释了成语“洛阳纸贵”的含义、“洛阳纸贵”对应的经济学理论,还用“洛阳纸贵”创作了一首藏头诗。
李彦宏称,文心一言的训练数据包括:万亿级网页数据,数十亿的搜索数据和图片数据,百亿级的语音日均调用数据,以及5500亿事实的知识图谱等,这让网络在中文语言的处理上能够独一无二。
受访专家也指出,由于汉语的特殊性,中国企业在研发大模型时面临的难度更大,但若突破了,也会在提供本土服务时,具备更大的优势。
法国里昂商学院人工智能与商业分析教授丁文璿日前对媒体指出,语言对话模型训练,需要让机器对文字产生理解,英语比中文稍微容易一些。
丁文璿解释,中国人工智能技术所处理的中文语言,大多都是象形词,而英文是解释性的,相较而言词语也并非特别丰富。
此外,上海交通大学约翰·霍普克罗夫特计算机科学中心助理教授林洲汉认为,未来大语言模型大概率会往多模态、交互式的方向发展,进一步将视觉、语音、强化学习等领域的技术综合进来。
李彦宏也表示:“多模态是生成式AI一个明确的发展趋势。
未来,随着网络多模态统一大模型的能力增强,文心一言的多模态生成能力也会不断提升。
”
在多模态生成方面,李彦宏展示了文心一言生成文本、图片、音频和视频的能力。
文心一言在现场用四川话朗读了一段内容,并根据文本生成了一段视频。
但李彦宏透露,文心一言的视频生成成本较高,现阶段还未对所有用户开放,未来会逐步接入。
李彦宏称,文心一言的训练数据包括:万亿级网页数据,数十亿的搜索数据和图片数据,百亿级的语音日均调用数据,以及5500亿事实的知识图谱等,这让网络在中文语言的处理上能够独一无二。
受访专家也指出,由于汉语的特殊性,中国企业在研发大模型时面临的难度更大,但若突破了,也会在提供本土服务时,具备更大的优势。
法国里昂商学院人工智能与商业分析教授丁文璿日前对媒体指出,语言对话模型训练,需要让机器对文字产生理解,英语比中文稍微容易一些。
丁文璿解释,中国人工智能技术所处理的中文语言,大多都是象形词,而英文是解释性的,相较而言词语也并非特别丰富。
此外,上海交通大学约翰·霍普克罗夫特计算机科学中心助理教授林洲汉认为,未来大语言模型大概率会往多模态、交互式的方向发展,进一步将视觉、语音、强化学习等领域的技术综合进来。
李彦宏也表示:“多模态是生成式AI一个明确的发展趋势。
未来,随着网络多模态统一大模型的能力增强,文心一言的多模态生成能力也会不断提升。
”
在多模态生成方面,李彦宏展示了文心一言生成文本、图片、音频和视频的能力。
文心一言在现场用四川话朗读了一段内容,并根据文本生成了一段视频。
但李彦宏透露,文心一言的视频生成成本较高,现阶段还未对所有用户开放,未来会逐步接入。
发布会前后,网络的股价经历了大落大起。
3月16日,港股网络盘中股价跌幅一度扩大超10%,报120.1港元。
截至收盘,网络股价跌幅为6.36%,报125.1港元。
但网络股价在美股势头强劲,当日网络美股开盘低开高走,振幅超7%。
截至收盘,报138.16美元,涨幅为3.8%。
3月17日,网络港股表现强势,盘中一度大涨超15%。
截至当日收盘,网络港股涨幅为13.67%,报142.2港元。
文心一言宣布开启邀请测试一小时内,排队申请文心一言企业版API调用服务测试的企业用户已达3万多家,申请产品测试网页多次被挤爆,网络智能云官网流量飙升百倍。
文心一言的市场热度持续飙升,资本市场也给予了价值重估。
张毅认为,这也代表了公众对大语言模型/生成式AI “既期待,又担忧,然后是希望”的心情。
02谁都不能错过的科技革命
事实上,“真的ready了吗?”并不仅针对网络,也是伴随此轮“ChatGPT”热潮以来,公众普遍的疑问。
李彦宏观察到,从2021年开始,人工智能技术开始从“判别式”向“生成式”转变。
创新工场董事长兼CEO李开复3月14日在一场趋势分享会上表示,AI 2.0时代的第一个现象级应用,就是以GPT-4为代表的AIGC,又称生成式AI(Generative AI)。
李开复表示,AI2.0 是绝对不能错过的一次革命,它将会是一个巨大的平台性机会,这个机会将比移动互联网大十倍。
他还表示,AI 2.0也是中国在AI领域的第一次平台角逐机会。
受访专家普遍认为,此前全世界的AI企业都遇到了一个极大的问题:即使技术储备十分丰富,AI应用并没有给它们带来丰厚的收益。
造成这一问题的原因在于,AI产品的应用主要集中在B端(企业用户)和G端(政府用户),AI产品在进入企业或机构时往往流程复杂,这在某种程度上会限制AI产品在市场上的快速扩张。
因此,张毅认为,AIGC的产品应用方向在C端更有可能产生巨大的商业机会。
他分析说,在美国市场,此前C端市场被谷歌、亚马逊、Meta等企业抢占,让微软压力非常大,更需要一款产品来扳回一局。
在中国市场,网络的优势和谷歌一样,都有强大的搜索引擎对数据的抓取能力,以及储存、整理、分析能力的基础。
中国本身拥有十几亿人口的巨大市场,网络完全可以做得很优秀。
“网络和微软、谷歌本质上是两个不同市场的竞争,所以我相信文心一言以及系列产品也一定会跑出来。
”张毅说。
李彦宏坚称,文心一言不是“中美科技对抗的工具”。
但他也承认,ChatGPT 的成功,加快了网络推出该产品的进度。
网络CTO王海峰表示,人类进入AI时代,IT技术的技术栈可以分为四层:芯片层、框架层、模型层和应用层。
网络是全球为数不多、在这四层进行全栈布局的人工智能公司,在各个层面都有领先业界的自研技术。
例如,高端芯片昆仑芯、飞桨深度学习框架、文心预训练大模型以及搜索、智能云、自动驾驶、小度等应用。
王海峰认为,网络全栈布局的优势在于,可以在技术栈的四层架构中,实现端到端优化,大幅提升效率。
文心一言与ChatGPT一样,都使用了SFT(模型微调)、RLHF(从人类反馈中进行强化学习)以及Prompt(提示)作为底层技术。
此外,文心一言还采用了知识增强、检索增强和对话增强技术。
王海峰表示,这三项是网络已有技术优势的再创新。
陈端认为,在当前技术创新的集成性越来越高的当下,全栈式布局的单一公司在内部技术研发统筹能力和后期商业化进行中的协同能力上具有比较优势。
信心很重要,但差距无法忽视。
在本月初的两会期间,中国科技部部长王志刚在回应ChatGPT相关的问题时,用足球打比方,指出中国还有很多工作要做。
“踢足球都是盘带、射门,但是要做到梅西(足坛巨星利昂内尔·梅西)那么好也不容易。
”
王志刚指出,中国在这方面也作了很多布局,在该领域的研究也进行了很多年,并且有一些
成果,“但目前要达到像 OpenAI 的效果可能还要拭目以待”他补充道。
王志刚说,ChatGPT出来以后,引起了大家的关注。
实际从技术本身源头来讲,它叫做NLP、NLU,也就是自然语言处理和自然语言理解。
ChatGPT之所以引起关注,在于它作为一个大模型,有效结合了大数据、大算力、强算法,计算方法有进步。
同样一种原理,做得有区别。
比如大家都能做出发动机,但质量是有不同的。
然而,无论是ChatGPT还是文心一言,其背后的大语言模型是核心竞争力。
北京大学王选计算机研究所研究员赵东岩告诉财经E法,国内大模型在数据、训练方法和费用投入方面和OpenAI还有一定差距。
一位科技系统人士则对财经E法指出,客观而言,中美目前在该领域的基础研究成果差距较大。
这些基础研究成果包含自然语言处理(NLP)、数据库、GPU产品,“美国切断GPU芯片(的供应),(中国的)算力就跟不上”。
大型算力的核心在于高性能GPU芯片。
北京航空航天大学软件学院助理教授周号益告诉财经E法,在GPU芯片等计算硬件上,中国与国际的差距在十年左右,硬件水平会严重制约大语言模型以及科学计算类模型的发展。
周号益认为,在技术和模型上,中国的科技公司与OpenAI并没有代差,差距仅在五年以内,在一些较小的技术领域差距只有2-3年。
在数据采集方面,以GPT-3大模型为例,其训练的语料中中文只占5%,中国科技企业对中文语料的积累具有一定优势,因此极有可能在中文领域实现突破。
03巨头下一步:构建生态
对于以ChatGPT为代表的大语言模型赛道如何实现盈利,是各方公认的难题(ChatGPT爆火的冷思考:盈利难题与治理挑战)。
开发出ChatGPT的OpenAI仍是一家亏损中的创业公司。
而2023年1月,投资银行摩根士丹利(Morgan Stanley)的一份分析报告称,ChatGPT的一次回复成本大约是谷歌搜索查询平均成本的6倍-28倍。
但腾讯研究院高级研究员曹建峰和经纬创投前副总裁庄明浩都认为,ChatGPT能带来多少盈利,并不是OpenAI关注的重点,重点是基于它的模型能长出什么样的服务和应用,从而构建起一个生态系统。
“ChatGPT的发展需要一个产业生态,比如它和微软相关应用的融合就是很好的思路。
”曹建峰说。
当地时间3月15日,微软副总裁兼消费者首席营销官余瑟夫·梅迪发文表示,新版必应搜索引擎已经在 GPT-4 上运行。
另据OpenAI披露,GPT-4是在微软Azure AI 超级计算机上进行训练的,并将基于Azure 的AI基础架构向世界各地的用户提供 GPT-4服务。
谷歌则宣布开放其大语言模型PaLM的API接口,并推出面向开发者的工具MakerSuite。
通过PaLM API 接口,开发者们可以将PaLM用于各种应用程序的开发。
MakerSuite则可以让开发者快速对自己的想法进行原型设计,并且随着时间的推移,该工具将具有用于快速工程、合成数据生成和自定义模型调整的功能。
微软迅速跟进。
当地时间3月16日,微软宣布将把GPT-4接入Office全家桶。
新功能名为“Microsoft 365 Copilot”。
李彦宏则在发布会上表示,文心一言定位于人工智能基座型的赋能平台,将助力金融、能源、媒体、政务等千行百业的智能化变革。
根据文心一言的邀请测试方案,3月16日起,首批用户可通过邀请测试码,在文心一言官网体验产品,后续将陆续开放给更多用户。
此外,网络智能云即将面向企业客户开放文心一言API接口调用服务。
该服务于3月16日起开放预约。
截至3月18日早11点,排队申请网络智能云文心一言企业版API调用服务器测试的企业用户增加到9万家,网络收到关于文心一言合作的咨询 6588条。
陈端认为,这一轮的竞争,不仅是商业主体的竞争,实际上也是关乎下一轮国家数字竞争力的竞争。
所以,网络的当务之急不完全是技术层面的研发,也需要引领更多初创型企业、生态合作伙伴加盟生态阵营。
在陈端看来,中国在构建生态系统上具有优势。
陈端指出,中国的移动互联网经过多年发展,应用层生态化的配套创新已经非常成熟。
应用层的很多中小微创业团队,在过去配合移动互联生态做了大量的局部、垂类场景端的创新,把过去的这种模式以及底层基础设施从移动互联迁移到大模型领域依然适用。
04中小企业还有机会吗?
面对大语言模型的浪潮,中国企业该如何抓住机遇,避免风险?
在中国,布局ChatGPT的企业有两种类型:第一种是传统的互联网大公司,第二种是一些初创企业。
陈端认为,目前市场上的初创公司已经错过了布局大模型的初始创业阶段。陈端分析说,
重新打造生成式AI企业,跟时机、底层的生态支撑度,还有创始人自身的阅历、经验、视野、个人IP的自然调动能力都是息息相关的。
此外,大模型在前期的投入,不管是算力还是其他的成本,以及时间窗口都很重要。
陈端表示,目前,网络有能力把自己的其他的产品与文心一言协同,就像微软把Office与GPT-4协同推出Copilot,而“创业者单纯去拼大模型却没有配套生态,这是很成问题的”。
张毅也认为,对于能够有资金、实力支撑的企业来讲,单独构建大模型产品可能会更受资本和创业者的青睐。
但对于中小企业来讲,依托文心一言的开放平台去嫁接自己在细分领域的应用,也是一个不错的选择。
因为要做出大语言模型,需要长时间,以及巨额资金的投入。
OpenAI成功的背后,是微软多年来的巨额投入。
美国时间2023年1月23日,微软宣布将对OpenAI进行为期数年、价值数以十亿计美元的投资。
在2019年和2021年,微软曾向OpenAI两次投资。
2019年的投资为10亿美元,而2021年的投资未公开金额。
AI公司“彩云科技”的创始人袁行远在接受36氪采访时指出,要想跑通一次100亿以上参数量的模型,至少要做到“千卡/月”这个级别,即:用1000张GPU卡,然后训练一个月。
即使不用最先进的英伟达A100,按照一张GPU五万元的均价计算,1000张GPU意味着单月5000万的算力成本,这还没算上算法工程师的工资。
“无论是哪家公司,都不可能靠突击几个月就能做出这样的大语言模型。
”李彦宏在发布会上表示,深度学习、自然语言处理,需要多年的坚持和积累,没法速成。
大模型训练堪称暴力美学,需要有大算力、大数据和大模型,每一次训练任务都耗资巨大。
网络提供的数据显示,网络近十年累计研发投入超过 1000 亿元。
2022 年网络核心研发费用 214.16 亿元,占网络核心收入比例达到 22.4%。
但网络并未透露大模型研发在核心研发费用中的占比。
李彦宏在发布会上表示,网络对文心一言的定位,是一个通用的赋能平台,金融、能源、媒体、政务等千行百业,都可以基于这个平台来实现智能化变革,实现效率提升,创造巨大的商业价值。
李彦宏认为,大模型时代将产生三大产业机会,分别为新型云计算公司、进行行业模型精调的公司和基于大模型底座进行应用开发的公司,即应用服务提供商。
李彦宏断言,对于大部分创业者和企业来说,真正的机会并不是从头开始做ChatGPT和文心一言这样的基础大模型,这很不现实,也不经济。
基于通用大语言模型抢先开发重要的应用服务,这可能才是真正的机会。
目前,基于文本生成、图像生成、音频生成、视频生成、数字人、3D等场景,已经涌现出很多创业明星公司,可能就是未来的新巨头。
“大模型、生成式AI最终的产品形态还不得而知,所以这条路注定是长跑,需要整个科技界在资本、研发、模式创新上密切、持续地跟跑。
”张毅说。
李开复认为,AI2.0会最先应用在能容错的领域,而毫无疑问最大的应用领域现在是内容创造。
每个领域都可以把原有的App重写一次,创造出更赚钱的商业模式,最终AI2.0的生成能力会把成本降的几乎到0。