《Seeing AI》软件介绍 Seeing AI的软件功能→买购APP

基本介绍

Seeing AI是微软公司开发的免费人工智能辅助应用，通过计算机视觉和自然语言处理技术帮助视障人士感知周围环境。该应用可识别物体、文本、人脸表情、货币面额及产品包装信息，并通过语音反馈实现场景描述、菜单阅读、条码扫描等功能，支持智能手机和Pivothead智能眼镜两种终端形态；其功能通过多种“通道”提供，包括短文本、文档、产品、人物、货币、场景、颜色、手写、光线等，后续版本还引入了生成式AI功能，如丰富照片描述和与文档对话。

该项目于2016年在微软Build大会首次亮相，2017年7月推出iOS版本。2022年10月新增产品包装识别功能，2023年12月安卓版本正式上线Google Play商店，实现跨平台覆盖并支持18种语言，并计划在2024年扩展至36种语言。iOS 4.0版更新，可利用iPhone 12 Pro的LiDAR扫描仪感受物体距离和空间音频。应用底层技术依托微软认知服务和Azure AI视觉服务，采用深度学习算法进行图像解析与特征识别。该应用由盲人工程师Saqib Shaikh领导开发，并与视障社区紧密合作，已在全球35个国家可用。

研发背景

Seeing AI项目的想法源于微软内部的骇客马拉松活动，由盲人工程师Saqib Shaikh等人提出，旨在为视障人士开发一套“瑞士军刀”式的辅助工具，帮助他们更独立地生活。该项目结合了微软在计算机视觉和自然语言处理领域多年的研究成果，特别是图像识别与描述技术。项目于2016年3月在微软Build开发者大会上首次公开亮相。项目组成员包括研究员和工程师，许多人因个人经历（如家人失明）或对技术挑战的热情而加入，致力于通过技术改变视障人士的生活。

发展历程

2016年3月31日，微软在Build开发者大会上首次公开了名为Seeing AI的人工智能项目，该项目当时处于研发阶段，旨在通过连接智能眼镜和手机应用，帮助视障人士感知周围环境。

2017年7月，微软就为使用iPhone等苹果iOS设备的用户推出了Seeing AI应用。该应用最初在美国、加拿大、中国香港、新加坡、新西兰等国家和地区的App Store上线，仅支持英语系统，并获得了超过四星的好评。

2019年3月，微软大幅更新了iOS版Seeing AI应用，新增了颜色识别、手写体识别、光线识别功能，并首次支持用户浏览手机相册中的照片。2019年12月，应用更新语言支持，在英语基础上新增了荷兰语、法语、德语、日语和西班牙语。

2023年12月5日，微软正式宣布Seeing AI应用的安卓版本可以从Google Play商店下载。此次安卓版本发布标志着Seeing AI首次登陆Android平台。新版本支持18种语言，并计划在2024年扩展至36种语言。同时，iOS和安卓版本均引入了生成式AI功能，包括为照片生成更丰富的描述，以及允许用户与扫描后的文档进行对话以提问和获取摘要。

2024年12月，Seeing AI的iOS应用更新至4.0版，开始利用iPhone 12 Pro系列等设备中的LiDAR传感器，提供空间感知和物体定位功能，用户可通过空间音频探索房间并定位物体。

截至2025年4月，Seeing AI应用已在全球35个国家/地区可用。截至2025年7月，应用最新版本为5.6.1，支持18种语言。

运营模式

Seeing AI是一款免费应用程序，其采用“与社区共同设计”的模式，是一个持续进行的研究项目。Seeing AI的功能将随着人工智能研究的进展和社区意见的收集而不断进化。

核心团队

Seeing AI项目由盲人软件工程师Saqib Shaikh主导发起并担任项目负责人。核心团队成员包括来自微软的研究员和工程师，如Anirudh Koul、Margaret Mitchell、Anne Taylor、Ross Girshick等。其中，Margaret Mitchell专攻自然语言处理，Anirudh Koul在项目成立以来担任领导角色。

Anne Taylor本人也是盲人，她的参与确保了产品更贴合视障人士需求。团队与盲人和低视力社区紧密合作，共同设计产品。

重要事件

2016年3月，在微软Build开发者大会上，盲人工程师Saqib Shaikh首次公开展示了Seeing AI项目，该项目当时处于研发阶段，通过连接Pivothead智能眼镜和手机应用为盲人用户提供环境语音描述。

2017年7月12日，Seeing AI作为一款“有声相机”应用正式在美国等地区的iOS App Store上线，初始版本支持人物、文本、产品等识别功能。

2023年12月5日（国际残疾人日），Seeing AI首次发布安卓版本，在Google Play商店上线，使应用覆盖iOS和Android两大平台，并支持18种语言。

2024年12月，Seeing AI发布iOS 4.0版本更新，新增利用iPhone 12 Pro系列LiDAR扫描仪进行空间感知和物体定位的功能。

特色功能

功能应用

微软发布了一款名为《Seeing AI》的应用，这款应用可以改善视觉障碍者的生活。具体地讲，《Seeing AI》应用可以通过声音为视觉障碍者描述他们周边的世界，包括附近的人、文本和其他对象。视觉障碍者只需拿起手机，并把摄像头对准目标对象即可。

2022年10月21日，据外媒报道，微软近期升级了一款名为Seeing AI的应用，来帮助视障人士了解产品包装信息。

核心技术

Seeing AI的技术底层深度集成于微软Azure云平台，主要依托其认知服务（Cognitive Services）套件中的计算机视觉、自然语言处理等API。

其核心技术融合了计算机视觉（CV）与自然语言处理（NLP），通过深度学习算法实现图像解析、物体识别、场景理解、文本识别与语音合成等功能。

2020年，Seeing AI集成了新的图像注释（Image Captioning）算法，该算法在Nocaps等基准测试中达到了超过人类的精确度，显著提升了描述图像的准确性和丰富度。

2023年起，Seeing AI开始集成生成式AI能力，为用户提供了“更丰富的照片描述”和“与文档对话”（问答）等新功能，使其描述和交互能力得到进一步拓展。

在硬件集成方面，应用可利用iPhone的LiDAR传感器实现空间感知，结合空间音频技术帮助用户探索环境；同时，也支持通过触觉/音频反馈来感知物体距离。

作为一项持续演进的研究项目，Seeing AI的技术准确性仍在不断优化中，其性能受图像质量、设备新旧等因素影响，且部分功能需要联网才能实现。