ollama一键运行本地大语言模型的开源平台
4个月前
转载
超过125天
温馨提示
本文最后更新于2024年07月18日，已超过125天没有更新，若内容或图片失效，请留言反馈。
ollama是个可以一键运行本地大语言模型的开源平台，可以快速在本地搭建运行开源大语言模型
- 多平台支持 Linux，Windows，MacOS都可以轻松安装
- 一键运行，仅需要一条命令，ollama便可下载运行大语言模型
详细介绍
ollama下载链接： https://ollama.com/download
安装好ollama后仅需要执行 ollama run llama3 即可运行Meta最新发布的llama3模型，直接就可以在命令行中跟本地大模型对话，非常方便
首次运行需要下载模型文件llama3默认是8b版本，大小是4.7G
运行8b版本大概是需要占用4～5GB内存
ollama会优先使用显卡，实测1080显卡也能有流畅的输出，没有显卡也会使用CPU来运行，不过速度就很慢
llama3 70b版本就需要比较高的配置才能运行，推荐64G内存+24G显存
支持的模型列表 https://ollama.com/library
支持以服务的方式在后台运行： ollama serve
支持API方式调用，默认端口是：11434
curl http://localhost:11434/api/chat -d '{
"model": "llama3",
"messages": [
{ "role": "user", "content": "why is the sky blue?" }
]
}'
常用参数，需要以环境变量方式设置
设置服务监听的主机地址，支持局域网访问
OLLAMA_HOST=0.0.0.0
同一个模型的最大并发处理数
OLLAMA_NUM_PARALLEL=4
模型加载数量，设置为2则表示运行2个模型同时运行
OLLAMA_MAX_LOADED_MODELS=2
开源地址
GitHub： https://github.com/ollama/ollama
官网：https://ollama.com
none
1 赞
or 打赏
喜欢就打赏一点
