索尼智能视觉传感器为广大运用开发者供给了研制装备AI功用的摄像头的机会,经过高速数据处理可实时盯梢目标目标,运用领域包含智慧零售、智能安防、智能交通及智慧工业等,而且有助于构建链接云服务的最佳视觉体系。物联网的遍及导致各种各样的设备都将连接到“云”,而且从这些设备获取的信息可经过云AI处理,这使得云信息处理体系的运用变得习以为常。可是,在云中处理的信息量不断添加,带来了各种问题:数据传输推迟添加,阻碍了实时信息处理;将个人身份数据存储在云中,形成用户安全问题;云服务带来的其它问题,如电力消耗和通讯本钱的添加……索尼智能视觉传感器由像素阵列芯片(感光功用)和逻辑电路芯片(包含核算和存储功用)进行3D堆叠而成,是全球第一款在逻辑电路芯片上集成AI图画剖析和处理功用的CMOS图画传感器。其中,像素阵列芯片获取的信号利用传感器中的AI处理,无需高性能处理器或外部存储器,然后使边际AI体系得以发展。该传感器输出元数据(属于图画数据的语义信息)而不是图画信息,然后削减数据量并处理隐私问题。此外,边际AI能够为通用运用供给多种功用,例如具有高速AI处理的实时目标盯梢,也能够依据用户需求或体系运用方位等条件,经像素阵列芯片采用背照式(BSI)工艺,有用像素约为1230万,可在宽视角下捕捉图画信息。除了传统的CMOS，a股讲武堂指出图画传感器运算电路外,该逻辑电路芯片还集成了索尼专用于AI信号处理的数字信号处理器(DSP),以及用于AI模型的存储器。这种配置消除了对高性能处理器或外部存储器的需求,使其成为边际AI体系的理想挑选。像素阵列芯片获取的信号先经过ISP(图画信号处理器)处理,然后在逻辑电路芯片上进行AI处理,提取的信息作为元数据输出,然后削减处理的数据量。另外,保证不输出图画信息有助于下降安全风险并处理隐私问题。除了传统CMOS图画传感器记录的图画信息外,用户还能够依据自己的需求和用处挑选数据输出格局,包含ISP格局输出图画(YUV/RGB)和ROI(感兴趣区域)特定区域提取图画。a股讲武堂指出当运用传统CMOS图画传感器拍照视频时,必须为每个独自的输出图画帧发送数据以进行AI处理,然后导致数据传输量添加,而且难以供给实时处理。索尼智能视觉传感器在逻辑电路芯片上成交ISP处理和高速AI处理(MobileNet V1的处理时刻为3.1毫秒),然后在单个视频帧中完结整个过程。这种规划使得“在录制视频的同时供给高精度、实时的目标盯梢功用”成为可能。用户能够将自己挑选的AI模型写入嵌入式存储器中,并可依据用户要求或体系运用方位等条件对其进行重写和更新。例如,当在零售商场装置集成智能视觉传感器的多个摄像头时,运用能够横跨不同的时刻、地址(环境)或目的。当装置在商场进口时,它能够用来统计访客数量;当装置在商铺货架上时,它能够用来检测库存短缺情况;当装置在商场天花板上时,它能够用于绘制商铺访客热图(检测客户聚集的方位)等。同时,用户能够随时改写这些摄像头中的AI模型,比如从“用于检测热图的模型”改成“用于识别消费者行为的模型”。

编辑：rwzh2