ollama一键运行本地大语言模型的开源平台
2个月前
转载
超过64天
温馨提示
本文最后更新于2024年07月18日，已超过64天没有更新，若内容或图片失效，请留言反馈。
ollama是个可以一键运行本地大语言模型的开源平台，可以快速在本地搭建运行开源大语言模型
- 多平台支持 Linux，Windows，MacOS都可以轻松安装
- 一键运行，仅需要一条命令，ollama便可下载运行大语言模型
详细介绍
ollama下载链接： https://ollama.com/download
安装好ollama后仅需要执行 ollama run llama3 即可运行Meta最新发布的llama3模型，直接就可以在命令行中跟本地大模型对话，非常方便
首次运行需要下载模型文件llama3默认是8b版本，大小是4.7G
运行8b版本大概是需要占用4～5GB内存
ollama会优先使用显卡，实测1080显卡也能有流畅的输出，没有显卡也会使用CPU来运行，不过速度就很慢
llama3 70b版本就需要比较高的配置才能运行，推荐64G内存+24G显存
支持的模型列表 https://ollama.com/library
支持以服务的方式在后台运行： ollama serve
支持API方式调用，默认端口是：11434
curl http://localhost:11434/api/chat -d '{
"model": "llama3",
"messages": [
{ "role": "user", "content": "why is the sky blue?" }
]
}'
常用参数，需要以环境变量方式设置
设置服务监听的主机地址，支持局域网访问
OLLAMA_HOST=0.0.0.0
同一个模型的最大并发处理数
OLLAMA_NUM_PARALLEL=4
模型加载数量，设置为2则表示运行2个模型同时运行
OLLAMA_MAX_LOADED_MODELS=2
开源地址
GitHub： https://github.com/ollama/ollama
官网：https://ollama.com
none
本作品采用知识共享许可协议知识共享署名-非商业性使用-禁止演绎 3.0 中国大陆许可协议进行许可授权。即要求您在需要转载、引用本文全文或者部分时，请按照协议要求署名，并在保证不进行任何修改、续写等演绎形式，并不用于商业性项目的情况下使用。如果本文有侵犯到您的权益，请直接向我们留言反馈。
1 赞
or 打赏
喜欢就打赏一点
.png "往往免费的还不如收费的")
.png "走失两天的狗子终于找到它的家了")
.png "顶着三十几度的天气去钓鱼了")
.png "\"微博客\"一款自己开发自己用的垃圾源码（慢慢更新中）")
