基于大模型的生成式AI异军突起,给整个AI产业带来了蓬勃生机,众多企业、研究机构和开发者蜂拥而至。相比消费级大模型市场的炙手可热,企业级大模型更有可能后发先至,成为大模型最大的应用领域。事实上,越来越多的企业开始接入大模型,或是开发基于大模型的应用,也有一些企业致力于通过充裕且经济的AI算力供给,推动“百模千态”的发展。
AI大模型产业,忽如一夜春风来,千树万树梨花开!
企业需要“更懂行、更安全”的大模型
源于长期的行业积累,大型企业拥有丰富的私有数据资源,这些数据对企业的运营具有极为重要的价值。为了保障数据安全和隐私合规,除了通过联邦学习、机密计算等多层次的措施外,对于很多大型企业而言,他们更倾向于将数据留在本地,确保“数据不出域”。
另一方面,每个行业、每个企业业务特点都不尽相同,差异化的大模型能力供给至关重要。大模型的训练需要海量的高质量数据,在公共和开放数据集的基础上,还必须要企业的私有数据参与训练过程,通过增量训练和微调,让大模型更懂行业、懂企业。
因此,本地化部署的企业专属大模型可以很好地平衡“安全”与“懂行”之间的矛盾,将成为未来行业大模型的重要部署形态,既满足业务创新诉求,也缓解企业对数据安全和隐私的担忧。
专属大模型建设的选择与挑战
未来,每个企业都会用到大模型,但并非每个企业都需要从零开始打造一个基础大模型,这既不必要,也不现实。首先,高昂的资金投入是最显而易见的挑战,基础大模型的训练需要消耗大量的算力,单次训练可能就需要成百上千万的资金投入,还需要耗费大量时间准备高质量的算料,此外还有人才培养成本等诸多因素。因此,站在巨人肩上也许才是最好的选择,甚至可能事半功倍。
开源将一如既往对大模型产业发展产生巨大推动作用。目前,业界已经有LLaMA 2、PaLM 2、Claude等众多优秀的开源预训练大模型。但基于开源构建专属大模型也充满挑战。首先,是企业所选择的大模型从参数规模、准确率到泛化性是否能满足业务场景需求;其次,用户需要自主选择AI算力、框架和部署模式,如果缺乏必要的软硬结合的调优能力,将难以充分发挥算力潜能;第三,大模型的开发部署是一个系统工程,开源大模型往往缺乏完善的工具链支撑,企业对模型进行二次开发和精调将非常复杂。
企业亟需商业化的专属大模型,并能通过一站式的部署,降低建设和使用门槛。
基于混合云的专属大模型最优解
7月,华为云面向业界发布了盘古大模型3.0,用户可以基于华为公有云快速获取。9月21日,华为云将大模型能力叠加到混合云上,发布华为云Stack 8.3版本,让用户在本地数据中心,也能一站式建设自己的专属大模型。
华为云Stack 8.3支持业界最完整的AI生产链,包括多元算力、计算架构、AI框架、开发平台以及工程套件,结合行业实践经验提供丰富的模型开发与辅助运营专业服务,降低大模型的建设门槛。通过算子融合与混合精度的优化实现软硬协同,单卡环境性能相比开源框架提升45%,多卡环境性能提升28%,让算力潜能得以充分发挥。
华为云坚持AI for industries的理念,不仅读万卷书,更要行万里路、做最难的事,让大模型在千行万业的生根发芽。当前,华为云已经联合10多个客户探索行业大模型,沉淀了丰富的经验。例如,在金融坐席场景,大模型将坐席问答搜索从5次降至1次,效率大幅提升;在铁路列车故障检测场景,实现从“人看”到“AI看”的改变,覆盖100%的故障场景;在电力巡检场景,通过大模型进行线路异常自动识别,仅1个大模型就能覆盖全部缺陷。
华为云Stack总裁尚海峰表示:“大模型不应是少数企业的专利,我们希望基于华为云Stack和盘古大模型的强大能力与经验,让AI产业百花齐放,让每个企业都拥有自己的专属大模型。”