JFrog & Qwak:モデルを迅速に本番環境へ – DevOpsスタイル
わくわくするようなニュースを共有できることを非常に喜ばしく思います。QwakがJFrogファミリーに加わります!約4年前、Qwakは、機械学習 (ML) エンジニアがMLベースの製品で真のインパクトを発揮し、有意義なビジネス成果を達成できるようにするというビジョンを掲げて設立されました。私たちの使命は、常にMLアプリケーションのデリバリーを加速し、拡張し、保護することでした。
JFrogとのこの新しい章はQwakの旅における重要なマイルストーンであり、一緒に前進できることをこれ以上ないほど楽しみにしています。MLモデルの構築は複雑で時間のかかる作業であり、多くのデータサイエンティストは、その概念を実稼働可能なモデルに変換することに苦労しています。ましてやそれらを自分たちで本番環境に移行することはさらに難しいです。このプロセスを合理化するには、MLOpsとDevSecOpsワークフロー間のギャップを埋めることが重要です。
MLプラットフォームとは
機械学習モデルの構築は、複雑で多面的なタスクです。これには、モデル開発、ハイパーパラメーター構成、パフォーマンスを最適化するための多数の「実験」の実行など、いくつかの重要な段階が含まれます。満足のいくモデルが得られたら、次のステップは、実際のアプリケーションの運用システムに統合できるデプロイ可能な成果物を作成することです。このプロセスには、技術的な専門知識だけでなく、問題領域の深い理解、慎重な計画、およびライブ環境でのモデルの信頼性と効率を確保するための厳格なテストも必要です。
このタスクは、ジェネレーティブAI(GenAI)や大規模言語モデル(LLM)を含むアプリケーションの出現により、さらに複雑になっています。従来のMLモデルでは、通常、構造化データまたは半構造化データに基づく分類、回帰、クラスタリングなどの特定のタスクに重点が置かれています。対照的に、LLMは、GenAIで使用されているものと同様に、人間のようなテキストを理解して生成するように設計されているため、自然言語処理、会話エージェント、自動コンテンツ作成などの幅広いアプリケーションに適しています(これは、ChatGPTなどのテクノロジーの急速な台頭、および無数のチャットボットと「アシスタント」テクノロジーに見られます)。GenAIアプリケーションにおける運用の規模と相互作用の動的な性質により、開発および展開プロセスに対する要求が大幅に増加し、これらの課題を効果的に処理するための特別なツールと戦略が不可欠になっています。
QwakなどのMLプラットフォームは、これらの課題の3つの重要な領域に対処し、組織が機械学習とAIアプリケーションを提供する際の複雑さを克服できるよう支援します。
- MLOps:機械学習モデルの構築、トレーニング、デプロイのための包括的なソリューション。実験管理から本番環境へのデプロイまで、この領域はMLモデルのライフサイクル全体をカバーし、効率性とスケーラビリティを確保します。
- LLMOps:大規模言語モデルベースのアプリケーション特有の課題に取り組むための専用ソリューション。これには、最適なパフォーマンスと信頼性を確保するための迅速な管理、複雑なアーキテクチャの処理、高度な監視技術の実装が含まれます。
- 特徴量ストア:特徴量パイプライン、特徴量サービング、ベクトルの作成と格納機能など、データサイエンティストのニーズをサポートする堅牢なデータエンジン。このコンポーネントにより、モデルの開発とデプロイに適切なデータをすぐに利用できるようになります。
JFrogとQwakの統合の意義
MLOpsプラットフォームによって、モデルを本番環境に導入する際にデータサイエンティストの業務の多くの側面が容易になりますが、サイロでは対処できない領域が多数あります。最初の統合 に続き、より完全に統合されたソリューションに向けて協力する中で、JFrogとQwakは互いに補完し合い、個人や企業がAIの価値をより速く、より信頼して提供できるよう支援しています。これは、次の3つの主要な領域に要約されます。
- 開発の高速化:QwakのマネージドMLプラットフォームとJFrogのDevSecOpsツールを統合することで、開発チームはワークフローを合理化し、モデルをコンセプトから本番環境に投入するまでの時間を短縮することができます。
- セキュリティの強化:JFrogの包括的なセキュリティスイートは、開発からデプロイまで、ライフサイクルのあらゆる段階でMLモデルの安全性を確保します。この統合は、従来のコンポーネントとMLモデル自体の脆弱性を特定し、リスクを早期に軽減するのに役立ちます。
- コラボレーションの改善:この統合により、データサイエンティスト、開発者、セキュリティチーム間のコラボレーションが促進されます。共通のプラットフォームを使用することで、これらのチームはより効果的に連携でき、より高品質のソフトウェアリリースを実現し、ツールセットや部門全体の問題に対処する時間を短縮できます。
ヒント:JFrogとQwakソリューションをすぐに使い始めるには、次の手順を参照してください。
MLのエンジニアリングおよびデータサイエンスチームとDevSecOpsのプロフェッショナルチームの両方は、お互いを刺激し、シンプルさを促進し、スピードを高める大きい技術的メリットを認識することでしょう。
- 統合パイプライン:MLモデル管理とソフトウェア開発のための単一のまとまりのあるソフトウェアサプライチェーンパイプラインにより、ステージ間の移行がスムーズになり、摩擦やエラーが軽減されます。
- MLアセットのバージョン管理:QwakとJFrogはどちらも、すべてのモデルアセットと関連する依存関係に対して堅牢なバージョン管理の機能を提供します。問題が発見された場合の重要な機能として、チームが変更を追跡したり、バージョンを管理したり、必要に応じてロールバックを行うことができます。
- コンプライアンスと監査可能性:この統合により、すべてのモデルのセキュリティとコンプライアンスのステータスが可視化され、オープンソースの機械学習モデルに対する組織の信頼が促進されます。
例を見てみましょう。例えば、Qwakプラットフォーム上でFlan-T5モデルを微調整しているとします。このモデルは、Hugging Faceからアクセスできます。機能が統合されると、以下のことができるようになります。
- JFrogの仮想Hugging Faceリポジトリから直接モデルをダウンロードし、JFrogのキャッシュ機能とコンプライアンス機能を活用しました。
- Qwakのビルド システムとインフラストラクチャ管理機能を利用して、モデルをトレーニングしました。
- トレーニング済みモデル、デプロイ可能なDockerコンテナ、ハイパーパラメータを含むすべてのアーティファクトはJFrogアカウントに保存されました。
QwakプラットフォームでのFlan-T5モデルの微調整
JFrog Artifactoryに保存されたすべてのモデルアーティファクト
MLOpsからMLSecOpsへの移行
上記の例のビルドプロセス中に、QwakはArtifactoryを介してHuggingFaceモデルを取得します。各モデルはリモートリポジトリにキャッシュされ、JFrog XrayとJFrog Advanced Securityによってスキャンされ、脆弱性をチェックするだけでなく、モデルのライセンスも調べます。この包括的なスキャンにより、すべてのモデルが高いセキュリティ基準を満たしていることが保証されます。さらに、JFrogで設定されたすべてのXrayポリシーと監視が尊重され、一貫したポリシーの適用とクリーンなセキュリティ体制が保証されます。
この統合は、より高度なセキュリティとコンプライアンス対策を組み込むことで、従来のMLOpsを超えてまもなく拡張されます。
- 依存関係のリアルタイム分析:JFrog Xrayは依存関係の脆弱性を継続的にスキャンし、潜在的なセキュリティリスクに関するリアルタイムの洞察を提供します。
- 継続的な管理とコンプライアンス:JFrogのツールはコンプライアンスポリシーを適用し、すべてのアーティファクトとモデルが業界および規制基準を満たしていることを保証します。JFrogで設定されたすべてのポリシーと監視が遵守され、一貫したセキュリティ体制が維持されます。
- モデルキュレーション:非準拠のコンポーネントは自動的にブロックされ、安全で準拠したモデルのみが本番環境にデプロイされます。
上記の例に戻り、モデルの1つに悪意のあるコードが含まれているシナリオを考えてみましょう。JFrogは自動的にモデルをスキャンします。脆弱性が検出された場合、詳細を表示し、既存のJFrogポリシーを使用してモデルの使用状況を管理できます。たとえば、重大な脆弱性があることが判明したモデルを自動的にブロックできます。
JFrog Xrayが検出したモデル脆弱性
JFrogとQwakの「統合のメリット」について
JFrogのビジョンは、ソフトウェアリリースのライフサイクル全体を管理および保護することにより、開発者からデバイスまでの信頼できるシームレスなソフトウェアサプライチェーンを実現することです。MLモデルとAIアプリケーションがほとんどのソフトウェア製品に不可欠な要素となる中、JFrogとQwakはAI/MLベースのソフトウェアリリースを強化し、市場の需要を先取りすることを目指しています。
プラットフォーム図:JFrogとQwakの統合で見込まれる技術的な成果
モデルを本番環境に導入する唯一の効率的な方法は、MLモデル、AIコンポーネント、従来のソフトウェアのエンドツーエンドのパイプラインにまたがる、単なる「統合」ではなく、完全に統合されたソリューションであることは明らかです。JFrog Platformはお客様のソフトウェアインフラのミッションクリティカルな部分として、QwakのML Platformが加わることで、AIイニシアチブ全体でお客様のソリューションを拡張するために必要なAIデリバリー技術を提供することで、このビジョンを実現します。
JFrogとQwakは共に、MLモデルの開発とデプロイのライフサイクルのあらゆる側面において、ガバナンス、透明性、可視性、セキュリティを確立するお手伝いをします。「パッケージとしてのモデル」アプローチにより、MLおよびAIを活用したアプリケーション向けにシンプルで信頼性の高いソフトウェアサプライチェーンを提供し、モデルを本番環境に移行することを、あらゆる組織に合わせて拡張できる完全に自動化されたプロセスにします。依存関係の管理からコンプライアンスの確保、ストレージの最適化まで、この統合により、組織は自信を持って効率的に機械学習を採用できるようになります。さらに、特にGenAIアプリケーションの出現を考慮して、MLエンジニアと他の開発チームの間のギャップを埋めることで、組織全体のコラボレーションをより自然でスムーズなものにします。
次のイベント情報について
2024年7月22日に開催されるディープダイブ ウェビナーにご招待します。現在および将来のMLOpsの取り組みを強化する実際のユースケースについて説明します。Frogと共にあらんことをというJFrogの決め台詞でお待ちしております。しかし、今は「アヒルの力」も持っています!
