高云現可提供一套用于圖像信號處理的解決方案，其中包括ISP處理模塊和實時對其控制的MCU處理器。方案通過處理從前端圖像傳感器過來的原始Bayer圖像，輸出用于顯示或識別的優化后的RGB圖像流。ISP將 Bayer 格式的像素數據通過 CFA、CCM、Gamma 校正模塊和 AEAWB模塊。其中AEAWB模塊根據統計數值及直方圖信息進行數據處理，從而提供色彩和亮度平衡的清晰圖像。
![Gowin ISP 圖像信號處理器 IP]( "Gowin ISP 圖像信號處理器 IP")
?
特性?
?●??支持4種不同傳感器對齊方式（BGGR，GBRG, GRBG, RGGB）,以及圖像數據位寬8bit和10bit。
?●??支持各種圖像分辨率（VGA, 720p, 1080p, 2K, 4K）。
?●??ISP的模塊都為獨立的子模塊，包括：
?- AEAWB模塊 的自動白平衡和自動曝光度調節。
?- CFA模塊 將Bayer圖像格式轉為RGB圖像格式。
?- CCM模塊 模塊實現顏色校正。
?- GAMMA模塊 模塊實現對圖像灰度值的非線性調節。
?
?
ISP Pipeline - Resource Utilization
Module Name | Register | LUT | ALU | DSP | BSRAM | SSRAM |
CFA | 597 | 570 | 693 | 0 | 6 | 0 |
CCM | 578 | 56 | 0 | 6 | 0 | 0 |
GAMMA | 76 | 22 | 0 | 0 | 1 | 0 |
AEAWB | 1238 | 1153 | 748 | 6 | 3 | 4 |
?
Gowin ISP解決方案包括一組圖像處理IP以及一個協同處理器，用于實時控制圖像處理流水線。ISP解決方案主要由四個主要模塊組成。
CFA (Color Filter Array) Debayer IP
![Gowin ISP 圖像信號處理器 IP]( "Gowin ISP 圖像信號處理器 IP")
色彩濾波陣列模塊針對不同的傳感器陣列排列模式，根據插值濾波器系數特點做了相應的優化，并且使用了5x5的高質量算子。通過插入相鄰像素實現R、G、B輸出，將Bayer圖像格式轉為RGB圖像格式。
?
?
CCM (Color Correction Matrix) IP
![Gowin ISP 圖像信號處理器 IP]( "Gowin ISP 圖像信號處理器 IP")
顏色校正矩陣提主要為了校正在濾光板處各顏色塊之間的顏色滲透帶來的顏色誤差。通過為每個顏色分量提供增益和偏移系數來調整接收圖像數據，以最大限度地擴大每個顏色分量的數字值范圍，并消除一個顏色分量對另一個顏色分量的影響。
?
Gamma Correction IP
![Gowin ISP 圖像信號處理器 IP]( "Gowin ISP 圖像信號處理器 IP")
伽馬校正對顯示輸出中的非線性特性進行補償，同時調整成像數據的對比度。
?
AEAWB (Auto Exposure and Auto White Balance) IP
![Gowin ISP 圖像信號處理器 IP]( "Gowin ISP 圖像信號處理器 IP")
自動曝光調整圖像的亮度，使其在顯示時不會太暗或太亮。
自動白平衡用于調整顏色組成，以在亮度或亮度范圍內保留相同的白色值。
自動曝光和自動白平衡使用直方圖或平均亮度子模塊來獲取圖像幀過程中的顏色分量值。這通過寄存器映射由協同處理器讀取，如ARM Cortex-M。然后，協同處理器使用Gray World等算法調整成像數據流的系數值，以調整亮度和補償顏色方差。
?
Gowin的圖像信號處理器IP可與Gowin IP Core Generator中的其他IP相結合，開發完整的視頻和圖像產品可編程片上系統(SoC)解決方案。
![Gowin ISP 圖像信號處理器 IP]( "Gowin ISP 圖像信號處理器 IP")
?
?
相機和成像SoC參考設計-資源使用
Module Name | Register | LUT | ALU | DSP | BSRAM | SSRAM | PLL |
| OV5647 Initialization | 225 | 462 | 31 | 0 | 0 | 0 | 0 |
| MIPI CSI-2 Interface | 448 | 444 | 41 | 0 | 1 | 17 | 0 |
| FOV Cropping | 42 | 60 | 0 | 0 | 0 | 0 | 0 |
| ISP Pipeline | 2722 | 2013 | 1441 | 12 | 10 | 16 | 0 |
| Video Frame Buffer | 346 | 684 | 86 | 0 | 8 | 0 | 0 |
| DDR3 Memory Interface | 1729 | 1399 | 61 | 0 | 8 | 70 | 0 |
| Scaler | 892 | 623 | 68 | 0 | 18 | 4 | 0 |
| Other | 119 | 119 | 4 | 0 | 0 | 0 | 3 |
| M1 | 2490 | 5694 | 162 | 3 | 64 | 20 | 0 |
| Total | 9165 | 11636 | 1894 | 13 | 109 | 131 | 3 |
?
高云除了提供單獨的ISP IP核之外，還提供了基于DK-Start-GW2A55開發板的參考設計，該參考設計還包括幾個額外的模塊，通常與ISP IP一起使用，如MIPI CSI-2接口模塊，用于連接接口串行圖像傳感器和去分組圖像數據；幀緩沖區模塊和DDR3內存接口模塊，用于存儲幀用于后期處理和調整幀率；I2C控制器和PROM，用于初始化和調整圖像傳感器配置；圖像裁剪模塊用于獲取有效可視的圖像流。此外，該參考設計還包括一個 ARM Cortex-M 處理器，該處理器用于實時控制圖像處理流水線。