主机猫ホスティング・ドメイン・サイト作成
日本語
JPY
Amazon Inferentia 2+EC2 上で DeepSeek R1 モデルをデプロイする | 主な運用上のポイント

Amazon Inferentia 2+EC2 上で DeepSeek R1 モデルをデプロイする | 主な運用上のポイント

2025年3月12日に公開されたこのサーバーアプリケーションノートのタイトルは「Amazon Inferentia2+EC2へのDeepSeek R1モデルのデプロイ」です。実際の環境と使用ツールにはDockerが含まれます。

2025年3月12日に公開されたこのサーバーアプリケーションノートのタイトルは「Amazon Inferentia2+EC2へのDeepSeek R1モデルのデプロイ」です。実際の環境と使用ツールにはDockerが含まれます。

ソフトウェアおよび展開条件

Amazon Web Services では、Amazon Bedrock Marketplace や Amazon SageMaker JumpStart などのデプロイオプションが提供されています。まず、Amazon Elastic Container Registry (ECR) の認証が必要です。Docker イメージの作成プロセスでは、ECR へのアクセスが必要となります。

データセンターとリソース

`--tensor-parallel-size=2` オプションは、Neuron デバイスに搭載されているコアの数を示します。Inferentia2 チップにはそれぞれ 2 つの Neuron コアが搭載されています。

原文に記録されたパラメータ

  • バージョン履歴:Ubuntu 22.04、Ubuntu 20.04

記事で言及されている事項

  • 1. EC2サーバーを作成する
  • 2. Dockerイメージを作成する
  • 3. vLLM推論コンテナを起動する

使用環境

ドッカー。

関連情報

見積もりを依頼

ご希望と連絡先をお知らせください。