DeepSeek AI ஐ எவ்வாறு பயன்படுத்துவது: ஒரு விரிவான வழிகாட்டி

DeepSeek-V3 இன் முக்கிய அம்சங்கள்

• திறமையான பயிற்சி: 2.788M H800 GPU மணிநேரத்துடன் வலுவான செயல்திறனை அடைகிறது.
• புதுமையான சுமை சமநிலை: துணை-இழப்பு இல்லாத உத்தியைப் பயன்படுத்தி சுமை சமநிலையின் போது செயல்திறன் சிதைவைக் குறைக்கிறது.
• மல்டி-டோக்கன் கணிப்பு (MTP): மாதிரி செயல்திறனை மேம்படுத்துகிறது மற்றும் விரைவான அனுமானத்தை செயல்படுத்துகிறது.
• கலப்பு துல்லிய கட்டமைப்பு: திறமையான பயிற்சி மற்றும் செயல்திறனுக்காக FP8 கலப்பு துல்லியத்தைப் பயன்படுத்துகிறது.

DeepSeek AI ஐ எவ்வாறு பயன்படுத்துவது

DeepSeek AI உடன் தொடங்க, நீங்கள் அனுமானத்திற்கான சூழலை அமைக்க வேண்டும். மாதிரியை உள்நாட்டில் இயக்க அல்லது அதிகாரப்பூர்வ API வழியாகப் பயன்படுத்துவதற்கான படிகள் கீழே உள்ளன .

1. DeepSeek உள்ளூரில் இயங்குகிறது

பைதான் 3.10 அல்லது அதற்கு மேல் உள்ள லினக்ஸ் கணினிகளில் உள்ளூரில் டீப்சீக்-வி3யை இயக்கலாம். இந்த வழிமுறைகளைப் பின்பற்றவும்:

1. DeepSeek-V3 களஞ்சியத்தை குளோன் செய்யவும்:
   git clone https://github.com/deepseek-ai/DeepSeek-V3.git
2. அனுமானக் கோப்புறைக்குச் சென்று தேவையான சார்புகளை நிறுவவும்:
   cd DeepSeek-V3/inference && pip install -r requirements.txt
3. கட்டிப்பிடிக்கும் முகத்திலிருந்து மாதிரி எடைகளைப் பதிவிறக்கவும்.
4. பின்வரும் கட்டளையைப் பயன்படுத்தி எடைகளை தேவையான வடிவத்திற்கு மாற்றவும்:
   python convert.py --hf-ckpt-path /path/to/DeepSeek-V3 --save-path /path/to/DeepSeek-V3-Demo
5. பின்வரும் கட்டளையுடன் மாதிரியை ஊடாடும் வகையில் இயக்கவும்:
   torchrun --nnodes 2 --nproc-per-node 8 generate.py --ckpt-path /path/to/DeepSeek-V3-Demo --interactive

2. அனுமானத்திற்கு SGLang ஐப் பயன்படுத்துதல்

SGLang என்பது மல்டி-நோட் டென்சர் பேரலலிசத்துடன் FP8 மற்றும் BF16 முறைகளை ஆதரிப்பதால் அனுமானத்திற்கான பரிந்துரைக்கப்பட்ட கட்டமைப்பாகும். அதைப் பயன்படுத்த:

1. சூழலை நிறுவ மற்றும் கட்டமைக்க GitHub இல் SGLang அமைவு வழிகாட்டியைப் பின்பற்றவும்.
2. உகந்த தாமதம் மற்றும் செயல்திறனுடன் DeepSeek-V3 ஐ இயக்கவும்.
3. இயந்திரங்கள் முழுவதும் மாதிரியை வரிசைப்படுத்த SGLang இன் மல்டி-நோட் ஆதரவைப் பயன்படுத்தவும்.

3. LMDeploy ஐப் பயன்படுத்துதல்

LMDeploy DeepSeek-V3 ஐ திறம்பட இயக்க ஒரு நெகிழ்வான கட்டமைப்பை வழங்குகிறது. இது ஆன்லைன் மற்றும் ஆஃப்லைன் வரிசைப்படுத்தலை ஆதரிக்கிறது:

1. LMDeploy ஐ நிறுவி, DeepSeek-V3ஐ ஒருங்கிணைக்க அதிகாரப்பூர்வ வழிகாட்டியைப் பின்பற்றவும்.
2. PyTorch-அடிப்படையிலான பணிப்பாய்வுகளுக்காக வடிவமைக்கப்பட்ட தொகுதி அல்லது ஊடாடும் அனுமானத்திற்கு இதைப் பயன்படுத்தவும்.

4. TensorRT-LLM ஐப் பயன்படுத்துதல்

DeepSeek-V3 உடன் அனுமானத்திற்கு TensorRT-LLM ஐப் பயன்படுத்தலாம். இது BF16 மற்றும் INT4/INT8 துல்லியத்தை ஆதரிக்கிறது:

1. TRT-LLM களஞ்சியத்தை குளோன் செய்து, DeepSeek-V3 ஆதரவுக்கான அமைவு வழிமுறைகளைப் பின்பற்றவும்.
2. உகந்த துல்லியமான முறைகளுடன் உயர் செயல்திறன் அனுமானத்திற்கு TensorRT-LLM ஐப் பயன்படுத்தவும்.

5. vLLM ஐப் பயன்படுத்துதல்

vLLM FP8 மற்றும் BF16 முறைகளை ஆதரிக்கிறது, DeepSeek-V3 அனுமானத்திற்கான பைப்லைன் இணையான தன்மையை வழங்குகிறது:

1. அதிகாரப்பூர்வ ஆவணங்களின்படி vLLM ஐ அமைக்கவும்.
2. திறமையான செயலாக்கத்திற்காக பல இணைக்கப்பட்ட கணினிகளில் DeepSeek-V3 ஐ இயக்கவும்.

DeepSeek-V3 API

DeepSeek ஐ உள்நாட்டில் இயக்க வேண்டாம் என நீங்கள் விரும்பினால், அதிகாரப்பூர்வ API வழியாக DeepSeek-V3 ஐ அணுகலாம்.

API அணுகலைத் தொடங்க, DeepSeek இயங்குதளத்தைப் பார்வையிடவும் . நீங்கள் OpenAI APIகளுடன் இணக்கமான முறையில் இதைப் பயன்படுத்தலாம், இது பல்வேறு பயன்பாடுகளில் ஒருங்கிணைப்பதை எளிதாக்குகிறது.

மாதிரி செயல்திறன் மதிப்பீடு

DeepSeek-V3 பல்வேறு வரையறைகளில் சிறந்த செயல்திறனை வழங்குகிறது, கணிதம், குறியீடு மற்றும் பகுத்தறிவு போன்ற பணிகளில் சிறந்து விளங்குகிறது. இது திறந்த மூல மற்றும் மூடிய மூல மாதிரிகள் இரண்டிற்கும் எதிராக நிற்கிறது.