產品簡介
Product Introduction
多模態融合感知AI芯片“曉晰 X1”是面向視覺、慣導、震動等多種傳感器融合處理的智能SoC芯片，支持多種傳感器硬件同步、信息處理加速以及面向神經網絡運算的加速處理單元，可在片上完成對視頻、慣導、音頻等多模態數據的融合處理，提升設備端的感知能力以及智能分析能力。
X1芯片集成了公司團隊自研的具備仿生視覺處理能力的高性能ISP處理器，最高可支持4K視頻輸入及處理，同時集成了團隊自研的圖像處理加速引擎（CVPE），包括多傳感器硬件同步、亞像素級視頻畸變校正、視頻關鍵特征提取、立體視覺感知等功能。另外，芯片集成了支持4K級視頻的H264/265編解碼、最高主頻可達到1.5GHz的4核CPU處理器、主頻可達400MHz的RISCV實時處理器以及具備4TOPs算力的NPU神經網絡加速處理單元。同時該芯片集成了多種常用控制接口，實現了感知、運算及控制的一體化設計。
該芯片架構模擬人類大腦的處理機制，將多傳感器數據采集與高性能處理相結合，具備“感知-運算-控制”能力，可提升機器人等設備的智能化、一體化、實時化自主信息處理水平，可服務于智能機器人、無人機、智能安防等應用場景。
芯片內集成了多種通用性處理器及多個面向視覺處理的算法加速單元，可基于此芯片實現三維重建、自主定位、目標識別等多種功能，為智能機器人等應用提供低功耗的芯片級解決方案。
（1） 實時三維重建及測距
芯片內集成了自研的畸變校正模塊（LDC）和立體匹配模塊（SGM），可完成對芯片圖像的亞像素校正以及實時深度計算，完成目標的測距及三維重建。
（2） 實時定位導航
芯片內集成了面向視覺SLAM應用的加速算子，支持視覺、慣導等傳感器的納秒級硬件同步，進而可應用于機器人、無人機等設備實現在片上的實時自身姿態估計和定位。
（3） 實時目標識別與追蹤
內置NPU處理器，支持120種以上加速算子，可完成自定義網絡的片上加速推理，實現如目標識別、目標追蹤等功能。
產品信息
Product Information
需求類別 | 需求點 | 詳細描述 |
基本信息 | 工藝 | Samsung 14nm |
封裝 | Flip-chip 21*21mm 771pin | |
處理器 | CPU | 4核Cortex-A55工作頻率 1.5GHz L1 Cache：I 32KB, D 32KB. L2 Cache：512KB |
MCU | E906 (RISCV) 最高工作頻率：400MHz RAM: 256KB | |
NPU | 算力達到4Tops@8Bits | |
視頻處理 自研IP | BISP | 支持2通道視頻接入（MIPI/LVDS IN） 可配置為單目（最高4K）、雙目（最高2K）、單目+雙目、雙目+雙目 支持HDR/WDR； 支持過濾器（降噪、銳度、模糊）； 傳感器自適應的可編程伽馬校正； 傳感器串擾補償； 增強的色度噪聲降低（CNR）； 支持3A功能 |
LDC | 支持實時亞像素級畸變校正 | |
SLAM ACCs | 支持實時特征提取及深度計算 | |
VPU | 編解碼 | 4K@60fps H264/H265，JPEG |
DPU | 視頻顯示 | 支持1路1080P@30FPS（MIPI/LVDS OUT） |
USB | USB | 支持USB2.0 OTG，USB3.0 Device |
Ethernet | Ethernet | 支持 10M/100M/1000M 模式 支持MII/GMII/RMII/RGMII接口 |
DDR | LPDDR5 /LPDDR4 | LPDDR5/4，兼容單/雙通道 最高可達6.4Gbps |
EMMC | EMMC | 支持EMMC 5.0 |
SDIO | SDIO | 支持SDIO 3.0 |
內部控制模塊 | Mailbox | CPU間通信和互發終端，溫度傳感控制 |
PWR | 上電、時鐘、復為控制模塊 | |
Timer | 6路獨立Timer | |
Muxpin | 管腳復用控制模塊 | |
Security | 安全控制模塊 | |
外設 | UART | 4個，最高支持1.5Mbps |
SPI | 3個，master | |
I2S | 4個 可以接入8路語音信號 | |
I2C | 6個 | |
PWM | 9個 | |
GPIOs | 80個以上 | |
ADC | 5路并行sigma delta ADC (Audio Codec) 1路SARADC(4 Lane) |
