主机猫호스팅 · 도메인 · 웹사이트 제작
한국어
KRW
Amazon Inferentia 2+EC2에 DeepSeek R1 모델 배포하기 | 주요 운영 사항

Amazon Inferentia 2+EC2에 DeepSeek R1 모델 배포하기 | 주요 운영 사항

관리형 호스팅

2025년 3월 12일에 게시된 이 서버 애플리케이션 노트의 제목은 "Amazon Inferentia2+EC2에 DeepSeek R1 모델 배포"입니다. 실제 환경 및 관련 도구에는 Docker가 포함됩니다.

2025년 3월 12일에 게시된 이 서버 애플리케이션 노트의 제목은 "Amazon Inferentia2+EC2에 DeepSeek R1 모델 배포"입니다. 실제 환경 및 관련 도구에는 Docker가 포함됩니다.

소프트웨어 및 배포 조건

Amazon Web Services는 Amazon Bedrock Marketplace 및 Amazon SageMaker JumpStart와 같은 배포 옵션을 제공합니다. 먼저 Amazon Elastic Container Registry(ECR) 인증이 필요하며, Docker 이미지 생성 과정에서 ECR 액세스 권한이 필수적입니다.

데이터 센터 및 리소스

`--tensor-parallel-size=2` 옵션은 Neuron 장치의 코어 수를 나타냅니다. 각 Inferentia2 칩에는 2개의 Neuron 코어가 있습니다.

원문에 기록된 매개변수

  • 버전 기록:우분투 22.04, 우분투 20.04

기사에 언급된 사항들

  • 1. EC2 서버 생성
  • 2. 도커 이미지 생성
  • 3. vLLM 추론 컨테이너를 시작합니다.

사용 환경

도커.

관련 콘텐츠

견적 요청

필요한 내용과 연락처를 알려주세요.