Android多媒體系統(tǒng)：集成的細(xì)微差異
出處：互聯(lián)網(wǎng) 發(fā)布于：2015-04-01 10:14:00
基于與 Android 設(shè)備制造商的長(zhǎng)期密切合作，ARM 經(jīng)歷了大量常見的集成挑戰(zhàn)，尤其是在“零拷貝zero-copy”多媒體管線（media pipeline）方面。盡管面臨的挑戰(zhàn)非常多，但依然有一些潛在的解決方案可以應(yīng)對(duì)。傳統(tǒng)的零拷貝多媒體管線主要目的是消除復(fù)制開銷，然而當(dāng)兩個(gè)或多個(gè)多媒體處理硬件設(shè)備在內(nèi)存中共享同一緩沖區(qū)空間時(shí)，就會(huì)出現(xiàn)問題，并且也會(huì)以一些非常不同的方式進(jìn)行通信。軟件驅(qū)動(dòng)程序需要選擇數(shù)據(jù)在緩沖區(qū)中的存儲(chǔ)方式，如像素格式，并確保在 GPU 完成寫入之前，顯示器不會(huì)讀取緩沖區(qū)。與組件相互通信的潛在集成問題有關(guān)的關(guān)鍵領(lǐng)域包括內(nèi)存分配協(xié)商、像素格式協(xié)商和同步。
● 內(nèi)存分配協(xié)商對(duì)于系統(tǒng)集成設(shè)計(jì)商來說是一個(gè)關(guān)鍵的領(lǐng)域，它可以決定系統(tǒng)圖形緩沖區(qū)的內(nèi)存分配位置和方式。分配內(nèi)存時(shí)需要考慮到訪問內(nèi)存的底層硬件具備的多項(xiàng)限制。有多個(gè)重要問題有待解決，例如，所有組件是否都帶有系統(tǒng) MMU（內(nèi)存管理單元）？如果不是，那么執(zhí)行某些分配時(shí)需要將部分內(nèi)存分配為連續(xù)的物理內(nèi)存，以確保所有組件均可以讀取該內(nèi)存。適用于所有目標(biāo)組件的理想內(nèi)存對(duì)齊方式是指什么？例如，不同的硬件對(duì)于它想要如何在內(nèi)存中對(duì)齊該內(nèi)存的像素有不同的限制。如果缺乏對(duì)系統(tǒng)中每個(gè)組件的這種了解，在處理圖形緩沖區(qū)時(shí)則可能會(huì)出現(xiàn)部分內(nèi)存訪問非常低效。基礎(chǔ)物理地址寬度是另一個(gè)問題，即系統(tǒng)集成設(shè)計(jì)商可能擁有傳統(tǒng)的 32 位內(nèi)部顯示管線，不能處理較大的內(nèi)存塊（例如，可以通過 ARMv8 64 位架構(gòu)處理的內(nèi)存塊）。
是否存在某些組件無法訪問的特定內(nèi)存區(qū)域？或者它們必須訪問的特定區(qū)域？Gralloc 模塊由 Android 的編譯引擎用來分配和管理適用于 2D 和 3D 圖形用途的內(nèi)存。ARM 提供的 Gralloc 庫可以理解 ARM 多媒體處理器的所有系統(tǒng)限制，并且能夠與 Android 內(nèi)核的 ION 分配程序（一個(gè)統(tǒng)一的共享內(nèi)存系統(tǒng)）配合運(yùn)行，確?？梢葬槍?duì)系統(tǒng)中的每個(gè)處理器執(zhí)行合適且高效的內(nèi)存分配。軟件驅(qū)動(dòng)程序由 ARM 多媒體處理器用于實(shí)施標(biāo)準(zhǔn) Linux DMA 緩沖區(qū)內(nèi)存共享功能。如果所有驅(qū)動(dòng)程序使用同一接口，則同一分配可以由一個(gè)處理器寫入并由另一個(gè)處理器讀取，從而為平臺(tái)上的所有圖形和視頻內(nèi)容提供零拷貝路徑，確保仍能夠維持盡可能低的內(nèi)存帶寬開銷。
● 像素格式協(xié)商是需要在系統(tǒng)集成期間關(guān)注的第二個(gè)領(lǐng)域。務(wù)必確保多媒體 IP 解決方案中的每個(gè)組件（不論是視頻、GPU 還是顯示）實(shí)際上均能夠理解來自其他組件的圖形輸出格式，以及確保每個(gè)組件生成的內(nèi)容均能夠以某種格式被其他組件讀取。例如，盡管視頻處理器可能能夠以五種不同的 YUV 格式寫出視頻幀，如果顯示處理器不支持其中的任何格式，則只能使用 GPU 功能在顯示器上合成視頻?；蛘撸绻@示處理器不理解帶有預(yù)乘 Alpha 值（大多數(shù) Android 用戶界面所使用的）的像素格式，則顯示處理器將成為美化過的幀緩沖區(qū)控制器。，即便組件能夠完全理解 32 位 RGBA 像素格式，出于某些未知的原因，顯示的應(yīng)用程序仍將出現(xiàn)反轉(zhuǎn)的顏色。這會(huì)導(dǎo)致在開發(fā)過程中浪費(fèi)大量時(shí)間，因?yàn)椴粌H需要追蹤哪個(gè)組件在排序方面（比如 32 位像素格式的紅色和藍(lán)色組分）與其他一切不一致，而且還需要研究如何對(duì)它們進(jìn)行反轉(zhuǎn)。
● 同步是第三個(gè)領(lǐng)域，此處旨在盡可能異步運(yùn)行以減少排隊(duì)和延遲。主要問題在于，當(dāng)系統(tǒng)中存在零拷貝路徑、并且兩個(gè)或多個(gè)設(shè)備正在直接使用同一個(gè)內(nèi)存時(shí)，這些組件之間的同步將變得極為重要。例如，如果顯示處理器在 GPU 或視頻處理器完成寫入之前便開始從緩沖區(qū)中進(jìn)行讀取，則會(huì)導(dǎo)致屏幕出現(xiàn)奇怪的偽像。在較早的 Android 版本（Jellybean 之前）中，渲染流水線中的每個(gè)組件通過執(zhí)行以下一系列步驟處理和控制 Android 用戶空間的同步：處理軟件驅(qū)動(dòng)程序中的命令；在硬件中執(zhí)行其任務(wù)；等待任務(wù)在驅(qū)動(dòng)程序中完成；以及將責(zé)任傳遞給管線的下一階段。盡管這會(huì)使組件之間的同步方法變得簡(jiǎn)單容易，但也會(huì)造成管線出現(xiàn)暫停間隙，從而使流暢視覺內(nèi)容之間出現(xiàn)差異并且中斷終用戶體驗(yàn)。但是，一種全新同步化方法 Android Fences 已添加至平臺(tái)；只要軟件驅(qū)動(dòng)程序支持它們，則允許在管線的每個(gè)階段針對(duì)其組件執(zhí)行 CPU 端處理和排隊(duì)工作，即便前一階段尚未在硬件中完成。這將大幅縮短一個(gè)硬件完成與下一個(gè)硬件開始之間的間隔。然而，要充分利用 Android Fences 的優(yōu)勢(shì)，還需要渲染管線中的每個(gè)組件均支持它們。如果所有組件均支持 Android Fences，但其中一個(gè)組件出現(xiàn)漏洞，則會(huì)出現(xiàn)問題。如果三個(gè)或更多個(gè)不同供應(yīng)商提供的軟件驅(qū)動(dòng)程序均支持 Android Fences，但其中一個(gè)出現(xiàn)漏洞，則很難進(jìn)行追蹤、并且需要與多個(gè)供應(yīng)商一起執(zhí)行三項(xiàng)單獨(dú)的調(diào)查。同時(shí)還有可能出現(xiàn)此種情況：只有當(dāng)某個(gè)供應(yīng)商的組件使用標(biāo)準(zhǔn)接口與其他供應(yīng)商的組件進(jìn)行通信時(shí)，該漏洞才會(huì)顯現(xiàn)出來。
● 內(nèi)存分配協(xié)商對(duì)于系統(tǒng)集成設(shè)計(jì)商來說是一個(gè)關(guān)鍵的領(lǐng)域，它可以決定系統(tǒng)圖形緩沖區(qū)的內(nèi)存分配位置和方式。分配內(nèi)存時(shí)需要考慮到訪問內(nèi)存的底層硬件具備的多項(xiàng)限制。有多個(gè)重要問題有待解決，例如，所有組件是否都帶有系統(tǒng) MMU（內(nèi)存管理單元）？如果不是，那么執(zhí)行某些分配時(shí)需要將部分內(nèi)存分配為連續(xù)的物理內(nèi)存，以確保所有組件均可以讀取該內(nèi)存。適用于所有目標(biāo)組件的理想內(nèi)存對(duì)齊方式是指什么？例如，不同的硬件對(duì)于它想要如何在內(nèi)存中對(duì)齊該內(nèi)存的像素有不同的限制。如果缺乏對(duì)系統(tǒng)中每個(gè)組件的這種了解，在處理圖形緩沖區(qū)時(shí)則可能會(huì)出現(xiàn)部分內(nèi)存訪問非常低效。基礎(chǔ)物理地址寬度是另一個(gè)問題，即系統(tǒng)集成設(shè)計(jì)商可能擁有傳統(tǒng)的 32 位內(nèi)部顯示管線，不能處理較大的內(nèi)存塊（例如，可以通過 ARMv8 64 位架構(gòu)處理的內(nèi)存塊）。
是否存在某些組件無法訪問的特定內(nèi)存區(qū)域？或者它們必須訪問的特定區(qū)域？Gralloc 模塊由 Android 的編譯引擎用來分配和管理適用于 2D 和 3D 圖形用途的內(nèi)存。ARM 提供的 Gralloc 庫可以理解 ARM 多媒體處理器的所有系統(tǒng)限制，并且能夠與 Android 內(nèi)核的 ION 分配程序（一個(gè)統(tǒng)一的共享內(nèi)存系統(tǒng)）配合運(yùn)行，確?？梢葬槍?duì)系統(tǒng)中的每個(gè)處理器執(zhí)行合適且高效的內(nèi)存分配。軟件驅(qū)動(dòng)程序由 ARM 多媒體處理器用于實(shí)施標(biāo)準(zhǔn) Linux DMA 緩沖區(qū)內(nèi)存共享功能。如果所有驅(qū)動(dòng)程序使用同一接口，則同一分配可以由一個(gè)處理器寫入并由另一個(gè)處理器讀取，從而為平臺(tái)上的所有圖形和視頻內(nèi)容提供零拷貝路徑，確保仍能夠維持盡可能低的內(nèi)存帶寬開銷。
● 像素格式協(xié)商是需要在系統(tǒng)集成期間關(guān)注的第二個(gè)領(lǐng)域。務(wù)必確保多媒體 IP 解決方案中的每個(gè)組件（不論是視頻、GPU 還是顯示）實(shí)際上均能夠理解來自其他組件的圖形輸出格式，以及確保每個(gè)組件生成的內(nèi)容均能夠以某種格式被其他組件讀取。例如，盡管視頻處理器可能能夠以五種不同的 YUV 格式寫出視頻幀，如果顯示處理器不支持其中的任何格式，則只能使用 GPU 功能在顯示器上合成視頻?；蛘撸绻@示處理器不理解帶有預(yù)乘 Alpha 值（大多數(shù) Android 用戶界面所使用的）的像素格式，則顯示處理器將成為美化過的幀緩沖區(qū)控制器。，即便組件能夠完全理解 32 位 RGBA 像素格式，出于某些未知的原因，顯示的應(yīng)用程序仍將出現(xiàn)反轉(zhuǎn)的顏色。這會(huì)導(dǎo)致在開發(fā)過程中浪費(fèi)大量時(shí)間，因?yàn)椴粌H需要追蹤哪個(gè)組件在排序方面（比如 32 位像素格式的紅色和藍(lán)色組分）與其他一切不一致，而且還需要研究如何對(duì)它們進(jìn)行反轉(zhuǎn)。
● 同步是第三個(gè)領(lǐng)域，此處旨在盡可能異步運(yùn)行以減少排隊(duì)和延遲。主要問題在于，當(dāng)系統(tǒng)中存在零拷貝路徑、并且兩個(gè)或多個(gè)設(shè)備正在直接使用同一個(gè)內(nèi)存時(shí)，這些組件之間的同步將變得極為重要。例如，如果顯示處理器在 GPU 或視頻處理器完成寫入之前便開始從緩沖區(qū)中進(jìn)行讀取，則會(huì)導(dǎo)致屏幕出現(xiàn)奇怪的偽像。在較早的 Android 版本（Jellybean 之前）中，渲染流水線中的每個(gè)組件通過執(zhí)行以下一系列步驟處理和控制 Android 用戶空間的同步：處理軟件驅(qū)動(dòng)程序中的命令；在硬件中執(zhí)行其任務(wù)；等待任務(wù)在驅(qū)動(dòng)程序中完成；以及將責(zé)任傳遞給管線的下一階段。盡管這會(huì)使組件之間的同步方法變得簡(jiǎn)單容易，但也會(huì)造成管線出現(xiàn)暫停間隙，從而使流暢視覺內(nèi)容之間出現(xiàn)差異并且中斷終用戶體驗(yàn)。但是，一種全新同步化方法 Android Fences 已添加至平臺(tái)；只要軟件驅(qū)動(dòng)程序支持它們，則允許在管線的每個(gè)階段針對(duì)其組件執(zhí)行 CPU 端處理和排隊(duì)工作，即便前一階段尚未在硬件中完成。這將大幅縮短一個(gè)硬件完成與下一個(gè)硬件開始之間的間隔。然而，要充分利用 Android Fences 的優(yōu)勢(shì)，還需要渲染管線中的每個(gè)組件均支持它們。如果所有組件均支持 Android Fences，但其中一個(gè)組件出現(xiàn)漏洞，則會(huì)出現(xiàn)問題。如果三個(gè)或更多個(gè)不同供應(yīng)商提供的軟件驅(qū)動(dòng)程序均支持 Android Fences，但其中一個(gè)出現(xiàn)漏洞，則很難進(jìn)行追蹤、并且需要與多個(gè)供應(yīng)商一起執(zhí)行三項(xiàng)單獨(dú)的調(diào)查。同時(shí)還有可能出現(xiàn)此種情況：只有當(dāng)某個(gè)供應(yīng)商的組件使用標(biāo)準(zhǔn)接口與其他供應(yīng)商的組件進(jìn)行通信時(shí)，該漏洞才會(huì)顯現(xiàn)出來。
關(guān)鍵詞：Android多媒體系統(tǒng)：集成的細(xì)微差異ALPHARGBAAndroid、多媒體處理器、Mali GPU、IP
版權(quán)與免責(zé)聲明
凡本網(wǎng)注明“出處：維庫電子市場(chǎng)網(wǎng)”的所有作品，版權(quán)均屬于維庫電子市場(chǎng)網(wǎng)，轉(zhuǎn)載請(qǐng)必須注明維庫電子市場(chǎng)網(wǎng)，http://m.58mhw.cn，違反者本網(wǎng)將追究相關(guān)法律責(zé)任。
本網(wǎng)轉(zhuǎn)載并注明自其它出處的作品，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點(diǎn)或證實(shí)其內(nèi)容的真實(shí)性，不承擔(dān)此類作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。其他媒體、網(wǎng)站或個(gè)人從本網(wǎng)轉(zhuǎn)載時(shí)，必須保留本網(wǎng)注明的作品出處，并自負(fù)版權(quán)等法律責(zé)任。
如涉及作品內(nèi)容、版權(quán)等問題，請(qǐng)?jiān)谧髌钒l(fā)表之日起一周內(nèi)與本網(wǎng)聯(lián)系，否則視為放棄相關(guān)權(quán)利。
相關(guān)技術(shù)資料
- 集成電路技術(shù)體系與場(chǎng)景化應(yīng)用指南2026/1/8 10:10:43
- 集成電路傳統(tǒng)封裝：材料與工藝的全面解讀2025/8/1 10:32:18
- 一文讀懂TTL電路的基本結(jié)構(gòu)、工作原理和特性2020/9/8 11:29:48
- 如何通過R10電位器線性改變VRF的電壓值2020/7/15 15:09:26
- 一種集成電路開短路測(cè)試方案詳解2023/6/21 15:50:05
技術(shù)分類
廣告
熱門技術(shù)資料
最新技術(shù)資料
- PCBDFM可制造性設(shè)計(jì)核心指南
- 二極管的種類及主要應(yīng)用場(chǎng)景
- 信號(hào)處理經(jīng)典問題：如何設(shè)計(jì)和實(shí)現(xiàn)自適應(yīng)濾波器？
- 連接器安裝與維護(hù)注意事項(xiàng)
- 電源IC調(diào)試過程中常見問題
- PCB柔性線路板（FPC）設(shè)計(jì)核心規(guī)范
- 高頻開關(guān)導(dǎo)致MOSFET損壞的原因
- 連接器的分類、結(jié)構(gòu)及選型指南
- 諧波治理與電能質(zhì)量：有源電力濾波器（APF）原理與應(yīng)用
- 從故障案例學(xué)習(xí)：電源雷擊浪涌防護(hù)設(shè)計(jì)
