ollama本地使用中GPU调用问题

在本地运行ollama使发现模型使用中调用完全依据CPU运行,GPU相对闲置,故查看相关知识内容进行解决;

解决方式(以下命令皆在命令行模式下):

1、确认CudaToolkit版本,至少在11以上;如未安装参考地址:https://developer.nvidia.com/cuda-toolkit-archive,涉及命令 :

nvidia-smi
nvcc --version

2、设置环境变量:

变量名:OLLAMA_GPU_LAYER

变量值:cuda

变量名:CUDA_VISIBLE_DEVICES

变量值:GPU的UUID(按编号有时找不到,所以使用UUID)

涉及命令:

nvidia-smi -L

3、查看使用情况:

ollama ps

参考网址,并向相关作者致谢:

https://www.cnblogs.com/hujunwei/p/18706538

https://www.cnblogs.com/passacaglia/p/18730579