xiaozhi-esp32-server

[Banners]

适用人群 👥

本项目需要配合 ESP32 硬件设备使用。如果您已经购买了 ESP32 相关硬件，且成功对接过虾哥部署的后端服务，并希望独立搭建自己的 xiaozhi-esp32 后端服务，那么本项目非常适合您。

想看使用效果？请猛戳视频 🎥

警告 ⚠️

1、本项目为开源软件，本软件与对接的任何第三方API服务商（包括但不限于语音识别、大模型、语音合成等平台）均不存在商业合作关系，不为其服务质量及资金安全提供任何形式的担保。 建议使用者优先选择持有相关业务牌照的服务商，并仔细阅读其服务协议及隐私政策。本软件不托管任何账户密钥、不参与资金流转、不承担充值资金损失风险。

2、本项目功能未完善，且未通过网络安全测评，请勿在生产环境中使用。 如果您在公网环境中部署学习本项目，请务必做好必要的防护。

部署文档

[Banners]

本项目提供两种部署方式，请根据您的具体需求选择：

🚀 部署方式选择

常见问题及相关教程，可参考这个链接

💡 提示：以下是按最新代码部署后的测试平台，有需要可烧录测试，并发为6个，每天会清空数据。

智控台地址: https://2662r3426b.vicp.fun
智控台(h5版): https://2662r3426b.vicp.fun/h5/index.html

服务测试工具： https://2662r3426b.vicp.fun/test/
OTA接口地址: https://2662r3426b.vicp.fun/xiaozhi/ota/
Websocket接口地址: wss://2662r3426b.vicp.fun/xiaozhi/v1/

🚩 配置说明和推荐

[!Note] 本项目提供两种配置方案：

1. 入门全免费配置：适合个人家庭使用，所有组件均采用免费方案，无需额外付费。

2. 流式配置：适合演示、培训、超过2个并发等场景，采用流式处理技术，响应速度更快，体验更佳。

自0.5.2版本起，项目支持流式配置，相比早期版本，响应速度提升约2.5秒，显著改善用户体验。

如果您关心各组件的耗时，请查阅小智各组件性能测试报告，可按报告中的测试方法在您的环境中实际测试。

🔧 测试工具

本项目提供以下测试工具，帮助您验证系统和选择合适的模型：

💡 提示：测试模型速度时，只会测试配置了密钥的模型。

功能清单 ✨

已实现 ✅

[请参考-全模块安装架构图]

正在开发 🚧

想了解具体开发计划进度，请点击这里。常见问题及相关教程，可参考这个链接

如果你是一名软件开发者，这里有一份《致开发者的公开信》，欢迎加入！

产品生态 👬

小智是一个生态，当你使用这个产品时，也可以看看其他在这个生态圈的优秀项目

本项目支持的平台/组件列表 📋

LLM 语言模型

实际上，任何支持 OpenAI 接口调用的 LLM 均可接入使用。

VLLM 视觉模型

实际上，任何支持 OpenAI 接口调用的 VLLM 均可接入使用。

TTS 语音合成

VAD 语音活动检测

ASR 语音识别

Voiceprint 声纹识别

声纹识别需要单独部署 voiceprint-api 服务（基于 3D-Speaker），并依赖 MySQL，详见声纹识别启用指南

Memory 记忆存储

Intent 意图识别

Rag 检索增强生成

鸣谢 🙏