开源模型下载地址 https://modelscope.cn/
1.下载推理引擎llama.cpp https://github.com/ggml-org/llama.cpp/releases
2.下载DeepSeek-R1-Distill-Qwen-1.5B-GGUF #因为 setuptools 70+ 版本开始弃用 pkg_resources，而 modelscope 还依赖这个模块，setuptools<71 pip install setuptools==69.5.1
#下载说明 modelscope download —model unsloth/DeepSeek-R1-Distill-Qwen-1.5B-GGUF README.md —local_dir F:\浏览器默认下载位置 #下载文件 modelscope download —model unsloth/DeepSeek-R1-Distill-Qwen-1.5B-GGUF —local_dir F:\浏览器默认下载位置\DeepSeek-R1-Distill-Qwen-1.5B
部分 含义 unsloth #社区名 / #分隔符，前面是组织，后面是模型名 DeepSeek #公司品牌 - 深度求索公司 R1 #模型版本 - Reasoning 1，第一代推理模型 -Distill #蒸馏版 - 从大模型蒸馏（压缩）而来 -Qwen #基础架构 - 基于 Qwen（通义千问）模型结构 -1.5B #参数量 - 15 亿参数（B = Billion = 十亿） -GGUF #文件格式 - GGUF 量化格式，适合本地推理
3.下载完后，仅使用一个模型 DeepSeek-R1-Distill-Qwen-1.5B-Q4_K_M.gguf
_ .-’) _ .-’) _ (’-. .-’) _ (-. ('-. ( '.( OO )_ ( ( OO) ) _( OO) ( OO ). ( (OO ) _( OO) ,--. ,--.).-'),-----. \ .'_ (,------.,--. (_)---\_) .-----. .-'),-----. _. (,------.
| .' |( OO' .-. ',’—…) | .---’| |.-’) / _ | ’ .—./ ( OO’ .-. ’(__…—” | .---’
| |/ | | | || | \ ’ | | | | OO )\ : . | |(’-. / | | | | | / | | | |
| |’.’| |_) | || || | ’ |(| ’—. | |-' | '..”.) /) |OO )_) | || | | |.’ |(| ’—.
| | | | \ | | | || | / : | .—’(| ’---.’.-.) \ || |-'| \ | | | | | .___.' | .--' | | | | ’ ’-’ ’| ’—’ / | ---.| | \ /(_' '--'\ ’ ’-’ ’ | | | ---. —’ --' -----’ -------' ------‘------' -----’ -----' -----’ --' ------’
Downloading Model from https://www.modelscope.cn to directory: F:\浏览器默认下载位置\DeepSeek-R1-Distill-Qwen-1.5B Downloading [configuration.json]: 100%|███████████████████████████████████████████████| 73.0/73.0 [00:00<00:00, 140B/s] Downloading [config.json]: 100%|██████████████████████████████████████████████████████| 679/679 [00:00<00:00, 1.23kB/s] Downloading [config.json]: 100%|██████████████████████████████████████████████████████| 679/679 [00:00<00:00, 1.23kB/s] Downloading [DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.gguf]: 17%|███▊ | 301M/1.76G [03:44<18:49, 1.40MB/s] Downloading [DeepSeek-R1-Distill-Qwen-1.5B-Q6_K.gguf]: 21%|████▉ | 299M/1.36G [03:45<14:25, 1.33MB/s] Downloading [DeepSeek-R1-Distill-Qwen-1.5B-BF16.gguf]: 9%|██▏ | 321M/3.32G [03:45<31:30, 1.70MB/s] Downloading [DeepSeek-R1-Distill-Qwen-1.5B-Q2_K.gguf]: 42%|█████████▉ | 298M/718M [03:45<06:03, 1.21MB/s] Downloading [DeepSeek-R1-Distill-Qwen-1.5B-Q3_K_M.gguf]: 35%|███████▌ | 305M/882M [03:45<07:15, 1.39MB/s] Downloading [DeepSeek-R1-Distill-Qwen-1.5B-Q2_K_L.gguf]: 41%|████████▉ | 313M/770M [03:45<05:40, 1.41MB/s] Downloading [DeepSeek-R1-Distill-Qwen-1.5B-Q4_K_M.gguf]: 29%|█████▉ | 304M/1.04G [03:45<09:04, 1.47MB/s] Downloading [DeepSeek-R1-Distill-Qwen-1.5B-Q5_K_M.gguf]: 25%|█████▎ | 311M/1.20G [03:45<11:40, 1.37MB/s]