Skip to content
漂流瓶jz的博客
Main Navigation
首页
Appearance
Menu
Return to top
On this page
【AI】大模型的参数,结构和部署:以Qwen3:0.6B为例(未开始)
参数
使用ollama部署
使用ollama部署Qwen3:0.6B。使用HTTP接入AGENT部署。(但是模型台太小跑不起来)
模型量化和格式
直接用python运行
自己做量化