Skip to content

【AI】大模型的参数,结构和部署:以Qwen3:0.6B为例(未开始)

参数

使用ollama部署

使用ollama部署Qwen3:0.6B。使用HTTP接入AGENT部署。(但是模型台太小跑不起来)

模型量化和格式

直接用python运行

自己做量化