索尼IMX500和IMX501是索尼首款具有AI處理功能的圖像傳感器

智能手機提供相機圖像傳感器方面，索尼是最大的播放器。流行傳感器的例子包括48MP IMX586，該款手機于2019年在各種價格范圍內(nèi)的各種手機中使用。IMX586是64MP IMX686的繼任者。當然，該公司不僅僅處理智能手機圖像傳感器。它擁有非常成功的高級無反光鏡相機陣容，通常被認為是黃金標準。它不懈的創(chuàng)新步伐絲毫沒有絲毫放松的跡象，因為它現(xiàn)已宣布即將發(fā)布其首款具有AI處理功能的圖像傳感器，分別為IMX500和IMX501。

索尼IMX500和IMX501是即將推出的兩種智能視覺傳感器型號。索尼聲稱它們是世界上第一個配備AI處理功能的圖像傳感器。該公司表示，在圖像傳感器本身上包含AI處理功能可實現(xiàn)高速邊緣AI處理和僅提取必要的數(shù)據(jù)。與使用云服務相比，這減少了數(shù)據(jù)傳輸延遲，解決了隱私問題并降低了功耗和通信成本。

需要特別注意的是，這兩個傳感器并非用于手機攝像頭。相反，這些應用程序用于零售和工業(yè)設備行業(yè)，并且有助于構建與云鏈接的“最佳系統(tǒng)”。

為什么將AI處理與傳感器本身集成在一起?索尼解釋說，物聯(lián)網(wǎng)的普及已導致所有類型的設備都連接到云，這使得信息處理系統(tǒng)司空見慣，從此類設備獲得的信息將通過云上的AI進行處理。與這種方法相關的問題是增加了數(shù)據(jù)傳輸?shù)却龝r間，從而阻礙了實時信息處理。與將個人身份數(shù)據(jù)存儲在云中相關的用戶的安全問題;以及其他問題，例如云服務附帶的功耗和通信成本增加。

IMX500和IMX501具有堆疊配置，由像素芯片和邏輯芯片組成。邏輯芯片上配備了AI圖像分析和處理功能。由像素芯片獲取的信號通過傳感器上的AI進行處理，從而無需高性能處理器或外部存儲器。反過來，這使得可以開發(fā)邊緣AI系統(tǒng)。

傳感器輸出元數(shù)據(jù)而不是圖像信息，從而減少了數(shù)據(jù)量并解決了隱私問題。AI功能使具有高速AI處理的實時對象跟蹤等應用成為可能。通過根據(jù)用戶的要求或使用系統(tǒng)的位置的條件重寫內(nèi)部存儲器，可以選擇不同的AI模型。

這些傳感器的像素芯片具有BSI，并具有大約12.3的有效MP用于捕獲信息。光學格式為1 / 2.3英寸(對角線7.857毫米)，像素尺寸為1.55微米。他們有一個拜耳彩色濾光片陣列。傳感器能夠在不進行AI處理的情況下以60fps錄制4K視頻，并在進行AI處理的情況下以30fps錄制4K視頻。除了傳統(tǒng)的圖像傳感器操作電路外，本地芯片還配備了索尼的原始DSP。DSP專用于AI信號處理以及AI模型的存儲器。這樣，就不需要高性能處理器和外部存儲器，從而使邊緣AI系統(tǒng)受益。

索尼解釋了圖像傳感器的工作流程。像素芯片獲取的信號通過ISP運行，并且在處理階段在邏輯芯片上進行AI處理，提取的信息以元數(shù)據(jù)的形式輸出，從而減少了處理的數(shù)據(jù)量。不輸出實際圖像信息本身，這對于安全性和私密性是有利的。用戶可以選擇數(shù)據(jù)輸出格式，包括ISP格式圖像(YUV / RGB)和ROI(感興趣區(qū)域)特定區(qū)域提取圖像。