date
slug
status
tags
summary
type
前言
前两天微软发布了phi3大模型，是目前少数可以在移动设备上运行的本地语言模型，号称可以和ChatGPT-3.5相当，仅3.8亿参数
本文将教你如何在本地部署这个大模型，利用闲置的手机，并且让公网的设备也能远程访问
Step 0: Termux下载安装
需要注意的是不要从play上下载termux，否则会出现报错，应该从F-droid上下载安装
换源：
因为你懂的原因，需要把软件源换成国内源
清华源的文档里写的很清楚：
图形界面（TUI）替换:在 Termux 中执行如下命令
在图形界面引导下，使用自带方向键可上下移动。
第一步使用空格选择需要更换的仓库，之后在第二步选择 TUNA/BFSU 镜像源。确认无误后回车，镜像源会自动完成更换。
Step 1: Ollama部署
安装依赖
这个时候ollama已经在11434端口运行了
Step 2: 使用Ngrok部署到公网
我看的ollama mac server的教程用的Ngrok，查了一下有人做了termux的
长按屏幕左上角，新建一个termux session
命令复制粘贴就行，没有难度
Step 3: 获取绑定token
在ngrok官网注册账号，会获得一个token
然后在termux绑定
这一步可能会报错，不用管，这个时候已经绑上了
Step 5: 部署到公网
执行：
ollama默认是11434端口，如果你不确定就再执行一下./ollama serve ，会告诉你11434 already in use
然后就会得到一个url，termux上因为手机分辨率的问题可能看不清楚
这个时候别慌，打开ngrok dashboard，endpoints，里面有url
然后如果你有ios/mac设备的话去app store下一个Enchanted，按这个填就行
FAQ:
- Android/其他设备怎么使用？
ollama是支持openai格式的调用，所以使用任意第三方客户端或者web客户端即可
这里推荐使用ChatGPT-Next-Web，一个纯前端的web客户端
repo里有演示网页，可以将演示网页保存为pwa应用使用
此外，推荐使用oneapi对你当前手上的api进行管理，oneapi可以将多个api整合和负载，并且整理为openai格式的api
- 生成速度过慢
如果设备性能不足的话跑不动很正常，建议最好870以上的，8G以上运行内存的设备
当然你还有其他模型可以玩，比如说qwen:1.8b，tinyllama等等，在本地移动设备的支持都是很好的
- 作者:Steven Lynn
- 链接:https://blog.stv.lol/article/LLM-on-phone
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。