【AI】大模型的部署和量化（未完成）

ollama

使用ollama部署

使用ollama部署Qwen3-0.6B。使

提供API

使用HTTP接入AGENT部署。（但是模型太小跑不起来）

直接用python运行

模型量化和格式

自己做量化