主机猫Hosting · Domeny · Kreatory stron
PL
PLN
Wdrażanie modelu DeepSeek R1 w Amazon Inferentia 2+EC2 | Kluczowe punkty operacyjne

Wdrażanie modelu DeepSeek R1 w Amazon Inferentia 2+EC2 | Kluczowe punkty operacyjne

Hosting zarządzany

Niniejsza nota aplikacyjna serwera, opublikowana 12 marca 2025 r., nosi tytuł „Wdrażanie modelu DeepSeek R1 na platformie Amazon Inferentia2+EC2”. Środowisko i narzędzia, których to dotyczy, obejmują platformę Docker.

Niniejsza nota aplikacyjna serwera, opublikowana 12 marca 2025 r., nosi tytuł „Wdrażanie modelu DeepSeek R1 na platformie Amazon Inferentia2+EC2”. Środowisko i narzędzia, których to dotyczy, obejmują platformę Docker.

Oprogramowanie i warunki wdrożenia

Amazon Web Services oferuje opcje wdrożenia, takie jak Amazon Bedrock Marketplace i Amazon SageMaker JumpStart. Najpierw wymagane jest uwierzytelnienie Amazon Elastic Container Registry (ECR); dostęp do ECR jest niezbędny podczas tworzenia obrazu Dockera.

Centrum danych i zasoby

Opcja `--tensor-parallel-size=2` wskazuje liczbę rdzeni w urządzeniu Neuron; każdy układ Inferentia2 ma 2 rdzenie Neuron.

Parametry zarejestrowane w tekście oryginalnym

  • Historia wersji:Ubuntu 22.04, Ubuntu 20.04

Sprawy poruszone w artykule

  • 1. Utwórz serwer EC2
  • 2. Utwórz obraz Dockera
  • 3. Uruchom kontener wnioskowania vLLM

Środowisko użytkowania

Doker.

Powiązane treści

Zapytaj o wycenę

Napisz, czego potrzebujesz i jak możemy się z Tobą skontaktować.