DeepSeek AI ಅನ್ನು ಹೇಗೆ ಬಳಸುವುದು: ವಿವರವಾದ ಮಾರ್ಗದರ್ಶಿ

DeepSeek-V3 ನ ಪ್ರಮುಖ ಲಕ್ಷಣಗಳು

• ಸಮರ್ಥ ತರಬೇತಿ: ಕೇವಲ 2.788M H800 GPU ಗಂಟೆಗಳೊಂದಿಗೆ ಬಲವಾದ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಸಾಧಿಸುತ್ತದೆ.
• ನವೀನ ಲೋಡ್ ಬ್ಯಾಲೆನ್ಸಿಂಗ್: ಸಹಾಯಕ-ನಷ್ಟ-ಮುಕ್ತ ತಂತ್ರವನ್ನು ಬಳಸಿಕೊಂಡು ಲೋಡ್ ಬ್ಯಾಲೆನ್ಸಿಂಗ್ ಸಮಯದಲ್ಲಿ ಕಾರ್ಯಕ್ಷಮತೆಯ ಅವನತಿಯನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ.
• ಮಲ್ಟಿ-ಟೋಕನ್ ಪ್ರಿಡಿಕ್ಷನ್ (MTP): ಮಾದರಿಯ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಸುಧಾರಿಸುತ್ತದೆ ಮತ್ತು ವೇಗವಾದ ನಿರ್ಣಯವನ್ನು ಸಕ್ರಿಯಗೊಳಿಸುತ್ತದೆ.
• ಮಿಶ್ರ ನಿಖರ ಚೌಕಟ್ಟು: ಸಮರ್ಥ ತರಬೇತಿ ಮತ್ತು ಕಾರ್ಯಕ್ಷಮತೆಗಾಗಿ FP8 ಮಿಶ್ರ ನಿಖರತೆಯನ್ನು ಬಳಸುತ್ತದೆ.

DeepSeek AI ಅನ್ನು ಹೇಗೆ ಬಳಸುವುದು

DeepSeek AI ನೊಂದಿಗೆ ಪ್ರಾರಂಭಿಸಲು, ನೀವು ನಿರ್ಣಯಕ್ಕಾಗಿ ಪರಿಸರವನ್ನು ಹೊಂದಿಸುವ ಅಗತ್ಯವಿದೆ. ಮಾದರಿಯನ್ನು ಸ್ಥಳೀಯವಾಗಿ ಚಲಾಯಿಸಲು ಅಥವಾ ಅಧಿಕೃತ API ಮೂಲಕ ಬಳಸಲು ಹಂತಗಳನ್ನು ಕೆಳಗೆ ನೀಡಲಾಗಿದೆ .

1. DeepSeek ಸ್ಥಳೀಯವಾಗಿ ರನ್ನಿಂಗ್

ಪೈಥಾನ್ 3.10 ಅಥವಾ ಹೆಚ್ಚಿನದರೊಂದಿಗೆ ನೀವು ಲಿನಕ್ಸ್ ಸಿಸ್ಟಮ್‌ಗಳಲ್ಲಿ ಸ್ಥಳೀಯವಾಗಿ ಡೀಪ್‌ಸೀಕ್-ವಿ3 ಅನ್ನು ಚಲಾಯಿಸಬಹುದು. ಈ ಹಂತಗಳನ್ನು ಅನುಸರಿಸಿ:

1. DeepSeek-V3 ರೆಪೊಸಿಟರಿಯನ್ನು ಕ್ಲೋನ್ ಮಾಡಿ:
   git clone https://github.com/deepseek-ai/DeepSeek-V3.git
2. ತೀರ್ಮಾನ ಫೋಲ್ಡರ್‌ಗೆ ನ್ಯಾವಿಗೇಟ್ ಮಾಡಿ ಮತ್ತು ಅಗತ್ಯವಿರುವ ಅವಲಂಬನೆಗಳನ್ನು ಸ್ಥಾಪಿಸಿ:
   cd DeepSeek-V3/inference && pip install -r requirements.txt
3. ಅಪ್ಪುಗೆಯ ಮುಖದಿಂದ ಮಾದರಿ ತೂಕವನ್ನು ಡೌನ್‌ಲೋಡ್ ಮಾಡಿ.
4. ಕೆಳಗಿನ ಆಜ್ಞೆಯನ್ನು ಬಳಸಿಕೊಂಡು ತೂಕವನ್ನು ಅಗತ್ಯವಿರುವ ಸ್ವರೂಪಕ್ಕೆ ಪರಿವರ್ತಿಸಿ:
   python convert.py --hf-ckpt-path /path/to/DeepSeek-V3 --save-path /path/to/DeepSeek-V3-Demo
5. ಕೆಳಗಿನ ಆಜ್ಞೆಯೊಂದಿಗೆ ಸಂವಾದಾತ್ಮಕವಾಗಿ ಮಾದರಿಯನ್ನು ಚಲಾಯಿಸಿ:
   torchrun --nnodes 2 --nproc-per-node 8 generate.py --ckpt-path /path/to/DeepSeek-V3-Demo --interactive

2. ನಿರ್ಣಯಕ್ಕಾಗಿ SGLang ಅನ್ನು ಬಳಸುವುದು

ಬಹು-ನೋಡ್ ಟೆನ್ಸರ್ ಸಮಾನಾಂತರತೆಯ ಜೊತೆಗೆ FP8 ಮತ್ತು BF16 ಮೋಡ್‌ಗಳನ್ನು ಬೆಂಬಲಿಸುವ ಮೂಲಕ SGLang ನಿರ್ಣಯಕ್ಕಾಗಿ ಶಿಫಾರಸು ಮಾಡಲಾದ ಚೌಕಟ್ಟಾಗಿದೆ. ಅದನ್ನು ಬಳಸಲು:

1. ಪರಿಸರವನ್ನು ಸ್ಥಾಪಿಸಲು ಮತ್ತು ಕಾನ್ಫಿಗರ್ ಮಾಡಲು GitHub ನಲ್ಲಿ SGLang ಸೆಟಪ್ ಮಾರ್ಗದರ್ಶಿಯನ್ನು ಅನುಸರಿಸಿ.
2. ಆಪ್ಟಿಮೈಸ್ಡ್ ಲೇಟೆನ್ಸಿ ಮತ್ತು ಥ್ರೋಪುಟ್‌ನೊಂದಿಗೆ DeepSeek-V3 ಅನ್ನು ರನ್ ಮಾಡಿ.
3. ಯಂತ್ರಗಳಾದ್ಯಂತ ಮಾದರಿಯನ್ನು ನಿಯೋಜಿಸಲು SGLang ನ ಬಹು-ನೋಡ್ ಬೆಂಬಲವನ್ನು ಬಳಸಿ.

3. LMDdeploy ಬಳಸುವುದು

LMDdeploy DeepSeek-V3 ಅನ್ನು ಪರಿಣಾಮಕಾರಿಯಾಗಿ ಚಲಾಯಿಸಲು ಹೊಂದಿಕೊಳ್ಳುವ ಚೌಕಟ್ಟನ್ನು ನೀಡುತ್ತದೆ. ಇದು ಆನ್‌ಲೈನ್ ಮತ್ತು ಆಫ್‌ಲೈನ್ ನಿಯೋಜನೆಯನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ:

1. LMDeploy ಅನ್ನು ಸ್ಥಾಪಿಸಿ ಮತ್ತು DeepSeek-V3 ಅನ್ನು ಸಂಯೋಜಿಸಲು ಅಧಿಕೃತ ಮಾರ್ಗದರ್ಶಿಯನ್ನು ಅನುಸರಿಸಿ.
2. PyTorch-ಆಧಾರಿತ ಕೆಲಸದ ಹರಿವುಗಳಿಗೆ ಅನುಗುಣವಾಗಿ ಬ್ಯಾಚ್ ಅಥವಾ ಸಂವಾದಾತ್ಮಕ ತೀರ್ಮಾನಕ್ಕಾಗಿ ಇದನ್ನು ಬಳಸಿ.

4. TensorRT-LLM ಅನ್ನು ಬಳಸುವುದು

DeepSeek-V3 ನೊಂದಿಗೆ ನಿರ್ಣಯಕ್ಕಾಗಿ TensorRT-LLM ಅನ್ನು ಬಳಸಬಹುದು. ಇದು BF16 ಮತ್ತು INT4/INT8 ನಿಖರತೆಯನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ:

1. TRT-LLM ರೆಪೊಸಿಟರಿಯನ್ನು ಕ್ಲೋನ್ ಮಾಡಿ ಮತ್ತು DeepSeek-V3 ಬೆಂಬಲಕ್ಕಾಗಿ ಸೆಟಪ್ ಸೂಚನೆಗಳನ್ನು ಅನುಸರಿಸಿ.
2. ಆಪ್ಟಿಮೈಸ್ ಮಾಡಿದ ನಿಖರ ವಿಧಾನಗಳೊಂದಿಗೆ ಹೆಚ್ಚಿನ ಕಾರ್ಯಕ್ಷಮತೆಯ ನಿರ್ಣಯಕ್ಕಾಗಿ TensorRT-LLM ಬಳಸಿ.

5. vLLM ಬಳಸುವುದು

vLLM FP8 ಮತ್ತು BF16 ವಿಧಾನಗಳನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ, DeepSeek-V3 ನಿರ್ಣಯಕ್ಕಾಗಿ ಪೈಪ್‌ಲೈನ್ ಸಮಾನಾಂತರತೆಯನ್ನು ನೀಡುತ್ತದೆ:

1. ಅಧಿಕೃತ ದಾಖಲೆಗಳ ಪ್ರಕಾರ vLLM ಅನ್ನು ಹೊಂದಿಸಿ.
2. ದಕ್ಷ ಸಂಸ್ಕರಣೆಗಾಗಿ ಬಹು ಸಂಪರ್ಕಿತ ಯಂತ್ರಗಳಲ್ಲಿ DeepSeek-V3 ಅನ್ನು ರನ್ ಮಾಡಿ.

DeepSeek-V3 API

ನೀವು ಸ್ಥಳೀಯವಾಗಿ ಡೀಪ್‌ಸೀಕ್ ಅನ್ನು ಚಲಾಯಿಸದಿರಲು ಬಯಸಿದರೆ, ನೀವು ಅಧಿಕೃತ API ಮೂಲಕ DeepSeek-V3 ಅನ್ನು ಪ್ರವೇಶಿಸಬಹುದು.

API ಪ್ರವೇಶದೊಂದಿಗೆ ಪ್ರಾರಂಭಿಸಲು DeepSeek ಪ್ಲಾಟ್‌ಫಾರ್ಮ್‌ಗೆ ಭೇಟಿ ನೀಡಿ . ನೀವು ಇದನ್ನು OpenAI API ಗಳಿಗೆ ಹೊಂದಿಕೊಳ್ಳುವ ರೀತಿಯಲ್ಲಿ ಬಳಸಬಹುದು, ಇದು ವಿವಿಧ ಅಪ್ಲಿಕೇಶನ್‌ಗಳಲ್ಲಿ ಸಂಯೋಜಿಸಲು ಸುಲಭವಾಗುತ್ತದೆ.

ಮಾದರಿ ಕಾರ್ಯಕ್ಷಮತೆಯ ಮೌಲ್ಯಮಾಪನ

DeepSeek-V3 ವಿವಿಧ ಮಾನದಂಡಗಳಲ್ಲಿ ಉತ್ತಮ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ನೀಡುತ್ತದೆ, ಗಣಿತ, ಕೋಡ್ ಮತ್ತು ತಾರ್ಕಿಕ ಕಾರ್ಯಗಳಲ್ಲಿ ಉತ್ತಮವಾಗಿದೆ. ಇದು ಓಪನ್ ಸೋರ್ಸ್ ಮತ್ತು ಕ್ಲೋಸ್ಡ್ ಸೋರ್ಸ್ ಮಾದರಿಗಳ ವಿರುದ್ಧ ನಿಂತಿದೆ.