一、项目背景

随着人工智能技术的飞速发展，AI助手在日常生活中的应用越来越广泛。从智能音箱到智能手机助手，AI技术正在逐步改变人们的生活方式。本项目旨在开发一款基于立创ESP32S3开发板的视觉AI助手-眼镜挂件，通过集成摄像头、麦克风和扬声器，实现视觉交互、拍照、录音和语音播报功能。该设备将依赖于云端部署的AI模型，通过API接口实现低成本的视觉AI功能。

二、项目目标

1. 硬件设计：开发一套基于ESP32S3开发板的视觉AI助手硬件平台，包括摄像头、音频芯片和麦克风。

2. 功能实现：

- 支持多模态大模型，实现视觉交互。

- 支持拍照、录音和语音播报功能。

3. 软件开发：编写适用于该硬件平台的控制软件，实现与云端AI模型的通信和交互。

4. 测试验证：通过实验室测试和实际场景测试，验证视觉AI助手的性能和可靠性。

三、项目意义

1. 教育意义：为高校和培训机构提供一个实践平台，帮助学生和爱好者学习嵌入式系统开发、AI技术和云计算。

2. 技术探索：通过开发视觉AI助手，探索AI技术在低性能嵌入式设备上的应用，为后续更复杂系统的开发积累经验。

3. 应用拓展：视觉AI助手具有广泛的应用前景，可应用于教育、科研、智能生活等领域。

四、项目功能

1. 视觉交互：

- 使用OV2640摄像头实现对环境的视觉采样。

2. 音频交互：

- 使用INMP441全向麦风实现环境音频采样。

- 使用MAX98357音频芯片实现应答语音播放。

3. 拍照功能：

- 支持通过摄像头拍照并上传到云端。

4. 录音功能：

- 支持通过麦克风录音并上传到云端。

5. 语音播报：

- 支持通过扬声器进行语音播报。

6. 云端通信：

- 使用Docker和Node.js搭建自有服务器，实现与云端AI模型的通信。

五、硬件设计

1. 主控芯片：ESP32S3，支持WiFi通信和低功耗运行。

2. 摄像头：OV2640，用于视觉采样。

3. 音频芯片：MAX98357，用于语音播放。

4. 麦克风：INMP441，用于音频采样。

5. 电源管理：预留电池位，可装载14500电池。

6. 通信模块：通过WiFi实现与云端服务器的通信。

六、软件设计

1. 云端部署：

- 使用Docker和Node.js搭建自有服务器。

- 使用Ollama部署框架提供的API接口，实现与AI模型的通信。

2. 设备控制：

- 编写ESP32S3的固件，实现摄像头、麦克风和扬声器的控制。

3. 通信协议：

- 开发适用于ESP32S3的通信协议，实现与云端服务器的数据传输。

4. 用户交互：

- 编写用户界面，实现拍照、录音和语音播报功能。