在本地运行ollama使发现模型使用中调用完全依据CPU运行,GPU相对闲置,故查看相关知识内容进行解决;
解决方式(以下命令皆在命令行模式下):
1、确认CudaToolkit版本,至少在11以上;如未安装参考地址:https://developer.nvidia.com/cuda-toolkit-archive,涉及命令 :
nvidia-smi
nvcc --version
2、设置环境变量:
变量名:OLLAMA_GPU_LAYER
变量值:cuda
变量名:CUDA_VISIBLE_DEVICES
变量值:GPU的UUID(按编号有时找不到,所以使用UUID)
涉及命令:
nvidia-smi -L
3、查看使用情况:
ollama ps
参考网址,并向相关作者致谢: