AI智能眼镜上的物体检测技术
由于尖端的计算技术、加速的硬件架构和微小的人工智能算法，智能眼镜正在迅速获得先进的功能。当目标是全天使用以获得满意的用户体验时，将人工智能集成到体积小、电池容量有限的智能眼镜中仍然具有挑战性。本文阐述了微型机器学习算法的设计和实现，该算法利用新型低功耗处理器实现智能眼镜的长时间连续操作。我们探索了在实时物体检测的情况下，智能眼镜的能量和延迟效率。为此，我们设计了一个智能眼镜原型作为研究平台，该平台具有两个微控制器，包括一个新的毫瓦功率RISC-V并行处理器，该处理器带有用于视觉AI的硬件加速器，以及一个用于通信的蓝牙低功耗模块。智能眼镜集成了电源循环机制，包括图像和音频传感接口。此外，我们开发了一系列基于YOLO的新型微小深度学习模型，其中为基于微控制器的推理定制了近百万个参数，称为TinyissimoYOLO v1.3、v5和v8，旨在用智能眼镜对物体检测的能量和延迟进行基准测试。对智能眼镜原型的评估表明，TinyissimoYOLO的推理延迟为17ms，每次推理能耗为1.59mJ，同时确保了可接受的检测精度。进一步评估显示，从图像捕捉到算法预测的端到端延迟为56ms或相当于18fps，总功耗为62.9mW，相当于154mAh电池的9.3小时连续运行时间。这些结果优于MCUNet（TinyNAS+TinyEngine），后者以每秒7.3帧的速度运行更简单的任务（图像分类）。
该团队创建了一个新的面向视觉的RISC-V硬件，并训练了一个超小的YOLO计算机视觉模型，实现了低功耗和极低延迟的实时物体检测。该技术可广泛应用于智能眼镜、自动驾驶、智能家居等领域。
划重点
- 新的RISC-V硬件设计为视觉而生
- 训练超小的YOLO计算机视觉模型
- 实现低功耗和极低延迟的实时物体检测
