windows本地部署ds大模型,2步搞定

Pluto 发布于 2025-02-17 71 次阅读


1.安装ollama
  ollama是一个离线运行大模型的工具,注意你可不要把它和Meta的大模型llama混淆,二者不是同一个东西。ollama工具的下载地址为https://ollama.com/download,选择Windows版本进行下载安装即可。ollama默认安装在C盘且无法选择自主安装位置,只能安装后挪文件且损坏可能较高,推荐不挪位置

2.安装DeepSeek
  ollama默认安装路径为C:\Users\用户名\AppData\Local\Programs\Ollama,进入路径然后打开cmd输入ollama run deepseek-r1:14b下载模型,内存32g的建议跑14b参数的,低于32g的建议跑7b或者8b参数。附上参数推荐

ollama下载的大模型默认位置为C:\Users\用户名.ollama文件夹下,如果想要修改这个目录,需要配置环境变量OLLAMA_MODELS,指定一个位置即可,如D:\ollama,下载完成后即可开始问答

本地api调用可以参考【LLM】Ollama:本地大模型 WebAPI 调用_ollama api-CSDN博客

此作者没有提供个人介绍
最后更新于 2025-02-17