vs code使用continue插件接入本地xinference推理的通义千问大模型

可以参考：https://mp.weixin.qq.com/s/NFNSb6lq5uwIhbb4c8QD7Q

官方文档：https://continuedev.netlify.app/intro

解决的痛点：通过私有部署的GPT自动解释代码、自动增加注释、自动总结代码，加快开发效率，也不泄露代码。

一、概要

博主希望用本地大模型来解释代码。

环境：Windows11
软件：VS Code
插件：Continue - Llama 3, GPT-4, and more 作者：continue.dev
大模型：通义千问qwen1.5-chat
本地推理框架：xinference
推理硬件：GTX2080TI 22G

二、配置过程

打开VS Code并且安装Continue插件。

左侧点开continue ui，点击左下角设置按钮，将以下内容复制到config.json中，具体疑问请查看官网：

{
  "models": [
    {
      "title": "qwen1.5-chat",
      "apiBase": "http://api.gpt.office.iios.com.cn/v1/",
      "provider": "openai",
      "model": "qwen1.5-chat",
      "apiKey": "MY_API_KEY",
      "systemMessage": "请仅以中文问答!"
    }
  ],
  "slashCommands": [],
  "customCommands": [
    {
      "name": "添加注释",
      "prompt": "请给代码添加详细的中文注释：\n\n {{{ input }}}",
      "description": ""
    },
    {
      "name": "解释代码",
      "prompt": "请用中文详细解释以下代码：\n\n {{{ input }}}",
      "description": ""
    },
    {
      "name": "重构代码",
      "prompt": "请重构以下代码，要求符合代码规范并尽可能简洁，且用较为高级语法，并用中文添加注解：\n\n {{{ input }}}",
      "description": ""
    },
    {
      "name": "缺陷检测",
      "prompt": "请参考通用编程规范，检查一下代码的命名规范、bug、缺陷及可以优化的内容：\n\n {{{ input }}}",
      "description": ""
    },
    {
      "name": "续写代码",
      "prompt": "请续写以下代码，并添加中文注释解释：\n\n {{{ input }}}",
      "description": ""
    },
    {
      "name": "编写单元测试",
      "prompt": "请给一下代码编写单元测试，并添加中文注释解释：\n\n {{{ input }}}",
      "description": ""
    }
  ],
  "contextProviders": [],
  "allowAnonymousTelemetry": false
}

三、功能测试

直接提问测试：

代码引用，且调用/快捷命令测试：

使用插件自带功能，解释代码：（不推荐，因为会修改代码）

已知问题

目前代码偶尔还是会以英文回复。