测评丨抖音团队在用的大模型服务平台「火山方舟」，我们也上手体验了一把_OUYI

来源：机器之心点这里查看OUYI！

作者：蛋酱点这里进入OUYI！

图片来源：由无界 AI工具生成

点这里进入OUYI！2023 上半年，海内外经历了一场「百模大战」。从科技巨头、科研机构、创业公司到各传统行业，纷纷掀起了炼大模型的热潮。

当大模型成为新的风口，我们却发现，相比于上一波 AI 爆发浪潮，AI 创业的门槛其实明显被拉高了。

对于任何想要入局的创业者来说，大模型首先是「体量大」，需要顶尖的研发技术，且投入极高的前期训练成本。以 1750 亿参数的 GPT-3 为例，海外媒体曾做出估计，GPT-3 的存储需求高达 350GB、训练成本超过 1200 万美元。至于今年的 GPT-4，参数量仍是秘密，训练成本想必只增不减。

其次，自研大模型的成本不会止于训练。从算力消费的角度来说，第一条增长曲线是模型训练，第二条增长曲线则是模型的应用和调优，而且在不久的将来，第二条增长曲线必然会超过第一条。

说到底，大模型技术想要广泛落地，最终还是要过成本关：对于大模型提供商来说，怎样才能让大模型以真正具有性价比的方式融入千行百业？对于每个行业来说，如何「多快好省」地用好大模型这一利器？

在这样的背景下，AI 领域形成了一种全新的商业模式：Model as a Service（MaaS），模型即服务。「模型即服务」能够将大模型、工具平台、应用场景三者联合起来。对于行业来说，这是一种无需巨额前期投入即可完成大模型训练、推理的途径；对于大模型提供商来说，这是一种探索商业化落地、获得资金回报的可靠方法。

最近，这个赛道又迎来了一位重磅玩家。6 月 28 日，在北京举行的火山引擎体验创新科技峰会上，「火山方舟」MaaS 平台正式启航。

火山引擎总裁谭待

「火山方舟」面向企业提供模型精调、评测、推理等全方位的 MaaS 平台服务。基于其独特的多模型架构，企业可通过「火山方舟」同步试用多个大模型，选用更适合自身业务需要的模型组合。此外，「火山方舟」实现了大模型安全互信计算，更加注重为企业客户确保数据资产安全。

「火山方舟」到底怎么用？好不好用？仅通过发布会的 PPT 内容，还不足了解到产品全貌。为了全面、深入地了解「火山方舟」，机器之心对其进行了一次「摸底」。

体验「火山方舟」

首先，登陆火山引擎机器学习平台账号，你会看到产品界面顶端上线了「大模型平台」入口：

目前，火山方舟提供了「模型广场」、「体验中心」、「模型精调」、「模型测评」等版块。

模型广场：从选择、体验到真正落地

发布会上，火山方舟公布了模型广场的首批入驻大模型，包括百川智能、出门问问、复旦大学 MOSS、IDEA 研究院、澜舟科技、MiniMax、智谱 AI（以拼音首字母排序）等多家 AI 科技公司及科研院所的大模型，并已启动邀测。

我们可以将「模型广场」理解为一家「商店」，模型供应方可以在模型广场进行模型创建、上传、部署等，模型使用方可以在模型广场查看模型、快捷体验。

比如我们选择「ChatGLM-130B」，任务就是帮我们写这篇文章的提纲：

除了 AI 对话类的应用，火山方舟现在还提供 AI 绘画类的应用体验。这里我们以「文生图」为例，让它帮我们生成一张「符合前沿科技调性的文章插图」：

通过火山方舟大模型服务平台，企业可一站式接入各种大模型产品和服务，同时也可以在火山方舟平台上训练自己的大模型，进行对比之后再决定，为自己的业务场景找到最合适的解决方案。

在未来的规划中，火山方舟平台将为用户提供跨越多个模态的大模型选择，包括当下最火的大型语言模型、图像生成类模型，以及语音识别类模型。

模型精调：百尺竿头更进一步

当然，在选定大模型之后，企业客户仍然可以根据自己的业务需求进行精调。

鉴于一些垂直场景对大模型的要求较高，客户需要利用自有数据或领域非公开数据进行持续训练，以及建设和积累自己的精调数据集。对精调手段的良好运用，能够帮助企业客户利用更小的模型尺寸，在特定任务上达到媲美通用大模型的水平，由此进一步降低推理成本。

对于这些有复杂需求的场景，企业客户只需手动设置高级参数、验证集、测试集等，更自由地使用模型精调功能。平台也会给出总训练费用预估作为参考：

在平台中，企业客户可以记录下每一次的精调版本：

模型评估环节也是火山方舟重点关注的一环，包括数据准备、指标定义以及人工评估和自动化评估等诸多全方位的工具。

在火山方舟平台上，模型在发起精调任务的同时将进行自动化评估，精调的效果和运行指标也将在平台实时跟踪。

从下图中能看到，各项评测指标在精调前后的变化：

同时，火山引擎提供安全互信的推理方案，保障模型提供商与模型使用者的模型与数据安全，客户可直接使用模型供应方已部署的在线服务或便捷地将精调模型部署为在线服务。

做好大模型服务，还需要解决三个问题

大模型领域的百花齐放，不仅仅带来了算力需求的大幅增长，还让人们意识到：模型也可以成为一种资产。

在现场，谭待分享了自己眼中「做好大模型面临的三个问题」，这也是火山方舟大模型服务平台希望解决好的三个问题。

第一个问题是「安全和信任」。

相比于以往「自产自销」的 AI 模型，今天的大语言模型突出了「模型作为资产」的重要性。模型提供商提供了模型参数和模型结构，自然希望保护知识资产，避免千辛万苦研发出来的核心技术泄露；而模型使用方希望调用模型的输入和输出不被获取和记录，保护自己核心的业务数据、精调数据不会泄露。「资产」能否获得合格的保护，将深刻影响大模型应用的市场格局。

针对这个问题，火山方舟面向不同的业务场景和需求， 将安全沙箱与三方审计、硬件支持、联邦学习三种流派将融合为多套方案，为大模型服务商和应用企业提供了双向的信任机制。

目前，平台已经上线了基于安全沙箱的大模型安全互信计算方案，利用计算隔离、存储隔离、网络隔离、流量审计等方式，实现了模型的机密性、完整性和可用性保证，适用于对训练和推理延时要求较低的客户。同时还在探索基于 NVIDIA 新一代硬件支持的可信计算环境、基于联邦学习的数据资产分离等多种方式的安全互信计算方案，更全面地满足大模型在不同业务场景的数据安全要求。

第二个问题是「性价比」。

未来的大模型市场必然是百花齐放的生态，在这样一个生态系统中，可能同时存在少数的超级大模型、多个中等规模的大模型和无数面向具体行业的垂类模型。超大的基座模型未必能够搞定一切，有时候，一个经过良好 finetune 的小模型，在垂直领域的一项特定任务上的表现可能不亚于一个通用的大基座模型，但推理成本能降低到原来的十分之一。

对于企业客户来说，这意味着解决实际业务场景问题可能需要一套「组合拳」，对于大模型的应用会呈现出「1+N」的应用模式。

不过，挑战也是一目了然的：首先，选择和决策的过程会非常复杂，逐家试用反而会导致更高的成本；其次，如何做 prompt、如何组织 metric 和数据集、如何科学地 fine-tuning，也需要一些经验和技术的积累才能完成。

在真实的应用场景里面，成本和收益的比例是无法绕过的问题，所以选择大模型优先要考虑性价比。只有把模型的推理成本做到足够低，才能让大模型真正地被广泛使用起来。

火山方舟丰富的模型精调和评测支持可以让这件复杂的事情简单化，企业用统一的工作流对接多家大模型，可设置高级参数、验证集、测试集等功能，再通过自动化和人工评估直观对比模型精调效果，在不同业务场景里还可灵活切换不同的模型，实现最具性价比的模型组合。这些自定义指标和评估数据的积累，也将成为企业在大模型时代宝贵的数据资产。

第三个问题是「生态系统」。如果大语言模型被比喻为 CPU，那么火山方舟要做的事情就是制造出整块主板，丰富下游服务，进一步提升大模型的落地表现。

后续计划包括两项：首先，工具链和下游应用插件需要持续完善。火山方舟团队将基于大模型基座的理解能力和规划能力打造工具链，提供大量的插件并为每个插件配套数据集；其次，打造垂直领域模型的微服务网络，内置包括图像分割、语音识别等众多专业模型，便于企业客户随时调用、自由组合。

方舟，与其背后的「引擎」

从整个大模型应用市场来看，大模型服务平台获得企业客户的前提之一，也包括持续获得众多大模型提供商的支持。

能够迎来国内数家顶尖大模型提供商的积极入驻，火山方舟当然有自己的优势。

对于模型提供商来说，一方面，火山方舟是「大模型技术」与「火山引擎机器学习平台」的有机整体，能够提供可靠的算力供应、持续的性能优化、有竞争力的性价比。

作为首批入驻的大模型提供商，据智谱 AI CEO 张鹏介绍，智谱 AI 在火山引擎平台上解决了千亿模型训练的稳定性、性能优化等挑战；MiniMax 联合创始人杨斌则表示，MiniMax 在火山引擎上实现了从月至周级别的大模型迭代速度，和指数级的用户交互增长。

另一方面，借助火山方舟平台，模型提供商不需要去管理非常底层、复杂的事项，就能够向客户提供稳定服务，更低成本触达广泛客户，快速获得技术的回报。在技术之外，火山引擎的算法团队、解决方案团队和交付团队也会共同协助企业客户与大模型提供商之间对齐需求，促进大模型的落地加速。

此前，很多国内训练大模型的厂商都使用火山引擎的云服务，而从今以后，它们不仅能在火山引擎平台上花钱，还能够在火山引擎平台上赚钱。

每一次技术的大变革，都会带来体验创新的新机会。在大模型热潮的推动下，包括火山引擎在内的云厂商同样面临着快速变化的行业格局。能否把握住变革中的机会，却与此前的技术布局分不开。

如下图所示，位于基础设施层的火山引擎为大模型的推理提供高可靠的保障以及企业级的负载均衡和容错能力。随着平台的不断迭代，其对大模型的资源供应将更为弹性、动态和廉价。利用流量错峰、训推一体等手段，大模型推理的单位成本将进一步降低，这也是「大模型上云」带来的重要优势。

除此之外，火山引擎还将与大模型提供商联合进行深度的性能优化。以 Lego 算子库为例，在训练场景下，使用该高性能算子库可将 Stable Diffusion 模型在 128 张 A100 的训练时间从 25 天减少到 15 天，训练性能提升 40%。

在火山引擎的发展历程中，与英伟达的紧密合作也是一大亮点。此前，双方共同完成的 GPU 推理库 ByteTransformer 在 IEEE 国际并行和分布式处理大会（IPDPS 2023）上获得最佳论文奖。火山引擎和英伟达还联合开源了高性能图像处理加速库 CV-CUDA，并在大规模稳定训练、多模型混合部署等方面的技术合作上取得成效。

NVIDIA 开发与技术部亚太区总经理李曦鹏表示，未来双方将继续深化合作，包含在 NVIDIA Hopper 架构进行适配与优化、机密计算、重点模型合作优化、共同为重点客户提供支持，以及 NeMo Framework 适配等，携手助力大模型产业繁荣。

据了解，在火山方舟推向市场之前，团队已经利用众多的内部场景打磨和改进了平台。迄今，字节跳动有 10 余个业务线正在探索接入和试用火山方舟平台，覆盖文本和图像生成、对话代码辅助、信息检索、营销创意、电商办公效率等应用。

在大模型落地的关键探索时期，火山方舟的诞生恰逢其时，也收获了足够的注视。但作为一个新生事物，它必然还要广阔的成长空间，而接下来的路，就需要大模型领域中的每一位参与者共同携手走下去了。