Blog Home

JFrog & Qwak： 加速将模型投入生产 – DevOps 方法

By Yuval Fernbach, CTO & Co-founder, Qwak

3 min read

JFrog Qwak

我们非常高兴地分享一些激动人心的消息： Qwak 将加入 JFrog 大家庭！ 大约四年前，Qwak 成立，其愿景是使机器学习（ML）工程师能够通过其基于 ML 的产品产生真正的影响，并取得有意义的业务成果。 我们的使命始终是加速、扩展和保护 ML 应用程序的交付。

JFrog 的新篇章将标志着 Qwak 旅程中的一个重要里程碑，我们非常高兴能够共同前进。 构建 ML 模型复杂又费时，许多数据科学家都在努力将概念转化为生产就绪模型，将它们部署到生产环境中就更加困难。 对于精简这一过程，弥合 MLOps 和 DevSecOps 工作流之间的差距至关重要。

什么是 ML 平台？

构建机器学习模型是一项复杂且多方面的任务。 它涉及几个关键阶段，包括模型开发、超参数配置以及执行大量“实验”以优化性能。 获得令人满意的模型后，下一步就是创建一个可部署的工件，该工件可以集成到生产系统中，用于实际应用。 这个过程不仅需要技术专长，还需要对问题域的深刻理解、仔细的规划和严格的测试，以确保模型在实时环境中的可靠性和效率。

随着生成式人工智能（GenAI）和涉及大型语言模型（LLM）的应用程序的出现，这项任务变得更加复杂。 传统的 ML 模型通常专注于特定任务，例如基于结构化或半结构化数据的分类、回归或聚类。 相比之下，LLM 与 GenAI 中使用的 LLM 一样，旨在理解和生成类似人类的文本，使其适用于广泛的应用，例如自然语言处理、对话代理和自动内容创建（这可以从 ChatGPT 和类似技术的快速兴起，以及无数的聊天机器人和“助手”技术中看出）。 GenAI 应用程序中的运营规模和交互的动态性质显着增加了对开发和部署过程的要求，因此必须拥有专门的工具和策略来有效应对这些挑战。

MLOps LLMOps FeatureStore

Qwak 等 ML 平台解决了这些挑战中的三个关键领域，以帮助组织在交付机器学习和 AI 应用程序时克服复杂性：

  1. MLOps： 用于构建、训练和部署机器学习模型的综合解决方案。 从实验管理到生产部署，该区域涵盖了 ML 模型的整个生命周期，确保了效率和可扩展性。
  2. LLMOps： 专门的解决方案，用于应对基于大型语言模型的应用程序的独特挑战。 这包括提示管理、处理复杂的体系结构以及实施高级监控技术，以确保最佳性能和可靠性。
  3. Feature Store： 一个强大的数据引擎，支持数据科学家的需求，包括特征管道、特征服务以及创建和存储向量的能力。 该组件可确保正确的数据随时可用于模型开发和部署。

JFrog 与 Qwak 联手的原因

MLOps 平台在将模型投入生产时，使数据科学家多方面的生活与工作变得更加轻松，但也存在科学家们可能在孤立的系统中不会触及的许多领域。 在我们最初的集成之后，随着我们共同努力开发集成更全面的解决方案，JFrog 和 Qwak 相互补充，以帮助个人和公司更快实现 AI 的潜在价值，赢得更多的信任。 这归结为三个关键领域：

  1. 加速开发： 通过将 Qwak 的托管 ML 平台与 JFrog 的 DevSecOps 工具集成，开发团队将能够简化他们的工作流程，减少将模型从概念到生产所需的时间。
  2. 增强的安全性： JFrog 全面的安全套件确保 ML 模型在生命周期的每个阶段（从开发到部署）都是安全的。 这种集成将有助于在传统组件和 ML 模型本身中提早识别漏洞并降低风险。
  3. 改进的协作： 这种集成将促进数据科学家、开发人员和安全团队之间更好的协作。 这些团队可以使用通用平台更有效地开展协作，从而获得更高质量的软件版本，并用更少的时间解决跨工具集和部门问题。

提示： 要立即开始使用 JFrog 和 Qwak 解决方案，请参阅这些 分步说明。

ML 工程/数据科学团队和 DevSecOps 专业人员都将认可这些有助于互相驱动的关键技术功能，从而提升简易性和速度：

  • 统一流水线： 用于 ML 模型管理和软件开发的单一、有凝聚力的软件供应链管道可确保阶段之间的更平稳过渡，从而减少摩擦和错误。
  • ML 资产的版本控制： Qwak 和 JFrog 都为所有模型资产和相关依赖项提供强大的版本控制，允许团队跟踪更改、管理版本并在必要时回滚——如果发现任何问题，这是一项关键功能。
  • 合规性和可审计性： 该集成提供了对所有模型的安全性和合规性状态的可见性，从而促进了组织对开源机器学习模型的信任。

让我们举个例子;假设我正在 Qwak 平台上微调 Flan-T5 模型。 该模型可通过 Hugging Face 访问。 具备集成功能：

  • 我直接从 JFrog 虚拟 Hugging Face 存储库下载了该模型，利用了 JFrog 的缓存和合规性功能。
  • 我在 Qwak 上训练了我的模型，利用其构建系统和基础设施管理功能。
  • 所有工件，包括经过训练的模型、可部署的 Docker 容器和超参数，都保存在我的 JFrog 帐户中。

Fine-tuning a Flan-T5 model in the Qwak platform

在 Qwak 平台中微调 Flan-T5 模型

All model artifacts saved in JFrog Artifactory

保存在 JFrog Artifactory 中的所有模型工件

从 MLOps 迁移到 MLSecOps

在上述示例的构建过程中，Qwak 通过 Artifactory 检索 HuggingFace 模型。 每个模型都缓存在远程制品库中，并经过 JFrog Xray 和 JFrog Advanced Security 扫描，它们不仅检查漏洞，还检查模型的许可。 这种全面的扫描确保每个模型都符合高安全标准。 此外，在 JFrog 中配置的任何 Xray 策略和监视都得到遵守，确保一致的策略执行和干净的安全态势。

这种集成将很快超越传统的 MLOps，通过整合更高级的安全性和合规性措施：

  • 实时依赖项分析： JFrog Xray 持续扫描依赖项中的漏洞，提供对潜在安全风险的实时洞察。
  • 持续控制和合规： JFrog 的工具强制执行合规性策略，确保所有工件和模型都符合行业和监管标准。 遵守在 JFrog 中配置的任何策略和监视方法，保持一致的安全态势。
  • 模型策管： 系统会自动阻止不合规的组件，确保仅将安全合规的模型部署到生产环境中。

回到上面的例子，让我们考虑一个场景，我的一个模型包含恶意代码。 JFrog 会自动扫描我的模型;如果检测到漏洞，我可以查看详细信息并使用现有的 JFrog 策略来管理模型使用情况。 例如，我可以自动阻止任何发现存在严重漏洞的模型。

Model vulnerabilities detected by JFrog Xray

JFrog Xray 检测到的模型漏洞

我们“合作会更好”的原因

JFrog 的愿景是通过管理和保护软件发布的整个生命周期，实现从开发人员到设备的可信和无缝的软件供应链。 随着 ML 模型和 AI 应用程序成为大多数软件产品不可或缺的一部分，JFrog 和 Qwak 旨在增强基于 AI/ML 的软件版本，确保我们领先于市场需求。

Platform diagram: planned JFrog and Qwak merger technical outcomes

平台图： 计划中的 JFrog 和 Qwak 合并技术成果

大家能够看到，优化模型投入生产的唯一有效方法不仅仅是“集成”，而是完全统一的解决方案，它跨越 ML 模型、AI 组件和传统软件的端到端流水线。 作为客户软件基础架构的关键部分，JFrog Platform 实现了这一愿景，增加 Qwak 的 ML 平台带来了在其 AI 倡议中扩展客户解决方案所需的 AI 交付技术。

JFrog 和 Qwak 将共同帮助您在 ML 模型开发和部署生命周期的各个方面建立治理、透明度、可见性和安全性。 通过“模型即软件包”方法，我们将为 ML 和 AI 驱动的应用程序提供简单、可信的软件供应链，使将模型投入生产成为一个完全自动化的过程，可以面向任何组织进行扩展。 从管理依赖关系到确保合规性和优化存储，这种集成使您的组织能够自信、高效地采用机器学习。 此外，它极大地弥合了 ML 工程师和其他开发团队之间的差距，尤其是考虑到 GenAI 应用的出现。这样就使整个组织的协作更加流畅自然，无缝衔接。

下一步是什么？

诚邀您参加 2024 年 7 月 22 日的联合深入网络研讨会。我们将探索真实世界的使用案例，让您当前和未来的 MLOps 旅程得到提升。 在那之前，正如 JFrog 总是指出的那样， 愿青蛙与你同在。 但是现在，也有一些“鸭力”！

Popular Tags