Niniejsza nota aplikacyjna serwera, opublikowana 12 marca 2025 r., nosi tytuł „Wdrażanie modelu DeepSeek R1 na platformie Amazon Inferentia2+EC2”. Środowisko i narzędzia, których to dotyczy, obejmują platformę Docker.
Niniejsza nota aplikacyjna serwera, opublikowana 12 marca 2025 r., nosi tytuł „Wdrażanie modelu DeepSeek R1 na platformie Amazon Inferentia2+EC2”. Środowisko i narzędzia, których to dotyczy, obejmują platformę Docker.
Oprogramowanie i warunki wdrożenia
Amazon Web Services oferuje opcje wdrożenia, takie jak Amazon Bedrock Marketplace i Amazon SageMaker JumpStart. Najpierw wymagane jest uwierzytelnienie Amazon Elastic Container Registry (ECR); dostęp do ECR jest niezbędny podczas tworzenia obrazu Dockera.
Centrum danych i zasoby
Opcja `--tensor-parallel-size=2` wskazuje liczbę rdzeni w urządzeniu Neuron; każdy układ Inferentia2 ma 2 rdzenie Neuron.
W tym przykładowym dokumencie pokazano, jak zbudować system zarządzania Odoo przy użyciu obrazu EC2 Marketplace, przy czym subskrypcje obrazów i zasoby obliczeniowe są wliczone w koszty wdrożenia.
Niniejsza notatka dotycząca aplikacji serwerowej, opublikowana 18 czerwca 2025 r., nosi tytuł „Praktyczne doświadczenie wdrażania dużego modelu Qwen-7B-Chat na serwerze Amazon Cloud EC2”.
Rachunki za przechowywanie obiektów mogą uwzględniać różne zastosowania, takie jak pojemność, zewnętrzny ruch sieciowy i żądania API, co utrudnia oszacowanie całkowitej kwoty na podstawie samej ceny za GB pamięci masowej.
Niniejsza notatka dotycząca konserwacji hosta, opublikowana 9 czerwca 2025 r., nosi tytuł „Polityka i metody RackNerd dotyczące zmiany adresów IP bezpłatnie lub za opłatą”.