डीपसीक एआय कसे वापरावे: तपशीलवार मार्गदर्शक

DeepSeek-V3 ची प्रमुख वैशिष्ट्ये

• कार्यक्षम प्रशिक्षण: केवळ 2.788M H800 GPU तासांसह मजबूत कार्यप्रदर्शन प्राप्त करते.
• नाविन्यपूर्ण लोड बॅलन्सिंग: सहाय्यक-नुकसान-मुक्त धोरण वापरून लोड बॅलन्सिंग दरम्यान कार्यक्षमतेतील ऱ्हास कमी करते.
• मल्टी-टोकन अंदाज (MTP): मॉडेल कार्यप्रदर्शन सुधारते आणि वेगवान अनुमान सक्षम करते.
• मिश्र परिशुद्धता फ्रेमवर्क: कार्यक्षम प्रशिक्षण आणि कार्यप्रदर्शनासाठी FP8 मिश्रित अचूकता वापरते.

DeepSeek AI कसे वापरावे

DeepSeek AI सह प्रारंभ करण्यासाठी, तुम्हाला अनुमानासाठी वातावरण सेट करणे आवश्यक आहे. मॉडेल स्थानिक पातळीवर चालवण्यासाठी किंवा अधिकृत API द्वारे वापरण्यासाठी खाली पायऱ्या आहेत .

1. स्थानिक पातळीवर डीपसीक चालवणे

तुम्ही पायथन 3.10 किंवा उच्च सह Linux सिस्टमवर स्थानिक पातळीवर DeepSeek-V3 चालवू शकता. या चरणांचे अनुसरण करा:

1. DeepSeek-V3 रेपॉजिटरी क्लोन करा:
   git clone https://github.com/deepseek-ai/DeepSeek-V3.git
2. अनुमान फोल्डरवर नेव्हिगेट करा आणि आवश्यक अवलंबन स्थापित करा:
   cd DeepSeek-V3/inference && pip install -r requirements.txt
3. हगिंग फेसवरून मॉडेलचे वजन डाउनलोड करा.
4. खालील आदेश वापरून वजने आवश्यक स्वरूपात रूपांतरित करा:
   python convert.py --hf-ckpt-path /path/to/DeepSeek-V3 --save-path /path/to/DeepSeek-V3-Demo
5. खालील आदेशासह मॉडेल परस्पर चालवा:
   torchrun --nnodes 2 --nproc-per-node 8 generate.py --ckpt-path /path/to/DeepSeek-V3-Demo --interactive

2. अनुमानासाठी SGLang वापरणे

SGLang हे अनुमान काढण्यासाठी शिफारस केलेले फ्रेमवर्क आहे कारण ते FP8 आणि BF16 मोड्सना, मल्टी-नोड टेन्सर समांतरतेसह समर्थन देते. ते वापरण्यासाठी:

1. वातावरण स्थापित आणि कॉन्फिगर करण्यासाठी GitHub वर SGLang सेटअप मार्गदर्शकाचे अनुसरण करा.
2. ऑप्टिमाइझ लेटन्सी आणि थ्रूपुटसह DeepSeek-V3 चालवा.
3. मशिनवर मॉडेल तैनात करण्यासाठी SGLang चे मल्टी-नोड सपोर्ट वापरा.

3. LMDeploy वापरणे

LMDeploy DeepSeek-V3 कार्यक्षमतेने चालवण्यासाठी एक लवचिक फ्रेमवर्क ऑफर करते. हे ऑनलाइन आणि ऑफलाइन दोन्ही उपयोजनांना समर्थन देते:

1. LMDeploy स्थापित करा आणि DeepSeek-V3 समाकलित करण्यासाठी अधिकृत मार्गदर्शकाचे अनुसरण करा.
2. PyTorch-आधारित वर्कफ्लोसाठी तयार केलेल्या बॅच किंवा परस्परसंवादी अनुमानासाठी वापरा.

4. TensorRT-LLM वापरणे

DeepSeek-V3 सह अनुमान काढण्यासाठी TensorRT-LLM वापरले जाऊ शकते. हे BF16 आणि INT4/INT8 अचूकतेचे समर्थन करते:

1. TRT-LLM रेपॉजिटरी क्लोन करा आणि DeepSeek-V3 समर्थनासाठी सेटअप सूचनांचे अनुसरण करा.
2. ऑप्टिमाइझ केलेल्या अचूक मोडसह उच्च-कार्यक्षमता अनुमानासाठी TensorRT-LLM वापरा.

5. vLLM वापरणे

vLLM FP8 आणि BF16 मोडला समर्थन देते, DeepSeek-V3 अनुमानासाठी पाइपलाइन समांतरता ऑफर करते:

1. अधिकृत कागदपत्रांनुसार vLLM सेट करा.
2. कार्यक्षम प्रक्रियेसाठी एकाधिक कनेक्ट केलेल्या मशीनवर DeepSeek-V3 चालवा.

DeepSeek-V3 API

तुम्ही स्थानिक पातळीवर DeepSeek चालवण्यास प्राधान्य देत नसल्यास, तुम्ही अधिकृत API द्वारे DeepSeek-V3 मध्ये प्रवेश करू शकता.

API प्रवेशासह प्रारंभ करण्यासाठी DeepSeek प्लॅटफॉर्मला भेट द्या . तुम्ही ते OpenAI API सह सुसंगत पद्धतीने वापरू शकता, ज्यामुळे विविध ऍप्लिकेशन्समध्ये समाकलित करणे सोपे होईल.

मॉडेल कामगिरी मूल्यांकन

DeepSeek-V3 गणित, कोड आणि तर्क यांसारख्या कार्यांमध्ये उत्कृष्ट कामगिरी करत विविध बेंचमार्कवर उत्कृष्ट कामगिरी प्रदान करते. हे मुक्त-स्रोत आणि बंद-स्रोत मॉडेल्सच्या विरूद्ध उभे आहे.