半導體產(chǎn)業(yè)網(wǎng)：近日，由深圳大學、臺灣陽明交通大學、鴻海半導體研究所、英國利物浦大學共同合作的Micro-LED項目獲得新進展。
該成果以《Micro-LED backlight module by deep reinforcement learning and micro-macro-hybrid environment control agent》為題發(fā)表在《Photonics Research》（該刊影響因子為7.009，國內(nèi)期刊Q1區(qū)）核心期刊上（Vol. 10, Issue 2, pp. 269-279 (2022) ）。該文第一作者是深圳大學博士后黃哲瑄博士，通訊作者分別是臺灣陽明交大 郭浩中教授和深圳大學微電子研究院院長助理、材料學院研究員劉新科。
隨著近幾十年半導體制程技術(shù)的發(fā)展，具有優(yōu)良直接能隙特性的三五族化合物半導體已廣泛應用于大功率電子、照明、顯示技術(shù)等各個領(lǐng)域。發(fā)光二極管 (LED) 在顯示技術(shù)中應用最為廣泛。以LED為顯示光源的背光顯示技術(shù)帶來了優(yōu)于傳統(tǒng)顯示解決方案的能源應用效率和更好的色彩質(zhì)量，并引導整個顯示產(chǎn)業(yè)到更薄的設(shè)計。近十年來，2010年推出的LED背光顯示技術(shù)已在全球市場得到廣泛認可。未來有一個更精確的藍圖：更高的能源應用效率，更高的色彩飽和度，以及具有超高對比度度控制能力的Micro-LED背光模塊。Micro-LED背光模塊在為前瞻顯示帶來諸多優(yōu)勢的同時，也帶來了許多新穎的挑戰(zhàn)和創(chuàng)新機會。例如，通過在NCTU SCLAB研究奈米球光罩蝕刻技術(shù)，可以減輕在制程階段由薄外延設(shè)計產(chǎn)生的量子局限史塔克效應(QCSE)。
由于芯片尺寸比，照明角度設(shè)計區(qū)域受到限制，提出了新的低光損耗光學設(shè)計挑戰(zhàn)。相當多的研究成果也測量了整體背光設(shè)計的間接物理參數(shù)。設(shè)計具有高均勻性和低功耗的Micro-LED模塊在今天仍然是一項重大挑戰(zhàn)。
此外，由于量子點材料可以顯著提升顯示器的色彩質(zhì)量，量子點色彩轉(zhuǎn)換技術(shù)也是前瞻性顯示技術(shù)中一項極為重要且被廣泛討論的技術(shù)。在過去的半個世紀中，許多成熟的光學設(shè)計方法和物理概念已經(jīng)建立并用于各種研究工作。在LED領(lǐng)域，對不同尺度的物理模型進行了大量的研究和分析。但是，由于宏觀尺度和微觀尺度的具體表現(xiàn)分別是粒子和波，在進行光學設(shè)計時，往往不可能同時進行宏觀尺度和微觀尺度的設(shè)計。由于晶粒結(jié)構(gòu)的微觀尺度和背光模塊的宏觀尺度都存在于Micro-LED模塊中，這種現(xiàn)象已成為追求超薄設(shè)計的Micro-LED模塊的一個挑戰(zhàn)。
研究團隊表示，我們構(gòu)建了一套光學編程程序，并以一種環(huán)境控制代理技術(shù)來控制宏觀和微觀尺度。此外，由于傳統(tǒng)的優(yōu)化計算方法，如差分進化算法和基因算法，都是rule-based的算法，具有可解釋性和使用較少超參數(shù)的特點。這種方式雖然方便開發(fā)者使用，但對于可變性較大的主題，應用起來難度更大。相反，由大量數(shù)據(jù)驅(qū)動的數(shù)據(jù)驅(qū)動算法有很多超參數(shù)來解決各種變化的問題。為了實現(xiàn)高度適應性的解決方案，避免過度敏感的搜索過程導致無法找到全局最大值或最小值，本研究提供人工智能深度強化學習技術(shù)，并采用Google DeepMind的double DQN（DDQN）架構(gòu)作為核心網(wǎng)絡(luò)創(chuàng)建人工智能光學設(shè)計代理以實現(xiàn)最佳光學設(shè)計。深度強化學習 (DRL) 和環(huán)境控制代理技術(shù)在本研究中得到充分實現(xiàn)。
研究并提出了一種具有分布式布拉格反射器 (DBR) 結(jié)構(gòu)的 Micro-LED 背光模塊，以實現(xiàn)出色的 Micro-LED 背光模塊性質(zhì)，并使用深度強化學習 (DRL) 架構(gòu)進行光學設(shè)計。在DRL架構(gòu)中，針對微觀和宏觀兩種極端結(jié)構(gòu)的計算環(huán)境問題，提出了環(huán)境控制代理和虛擬現(xiàn)實工作流程來保證設(shè)計環(huán)境參數(shù)與實驗結(jié)果高度相關(guān)。并通過上述方法成功設(shè)計了具有DBR結(jié)構(gòu)的Micro-LED背光模塊。采用DBR結(jié)構(gòu)的Micro-LED背光模塊相比沒有DBR的Micro-LED背光模塊，均勻度性能提升32%，DRL方法所需的設(shè)計計算時間僅為傳統(tǒng)光學仿真的17.9%。 此外，基于人工智能模型的推理結(jié)果，成功生產(chǎn)出超薄、高效、高均勻度的Micro-LED模塊。
研究人員表示，該項技術(shù)在光學設(shè)計領(lǐng)域是頂尖水平, 主要三個技術(shù)特點 (1) 同時考慮微觀及巨觀光學的光學設(shè)計技術(shù) (2) 利用人工智能技術(shù)將虛擬設(shè)計軟件與實作結(jié)果進行擬真, (3) 使用人工智能技術(shù)進行優(yōu)化技術(shù), 此技術(shù)可以用在除了設(shè)計領(lǐng)域外, 也可與制造及材料成長技術(shù)進行整合。
對于Micro-LED 背光模組目前普遍技術(shù)狀況，研究人員認為，Micro-LED背光模組目前普遍都以單純的GaN數(shù)組進行排列, 在光暈及高動態(tài)對比上尚存有質(zhì)量不佳的問題, 因此光學設(shè)計技術(shù)的推進將有助于質(zhì)量更佳的顯示器產(chǎn)生。
此次收錄的研究成果有效整合仿真設(shè)計與實務(wù)信息，此類模式與TSMC以及各大IC設(shè)計公司的思路一致, 因此此次的研究成功的將前瞻設(shè)計整合技術(shù)落實在光電產(chǎn)業(yè)上, 提供給后續(xù)研究人員一個新的思路與模式。
并透露，該研究成果接下來會以此架構(gòu)持續(xù)在半導體制程技術(shù)的整合上進行進一步的制程方法與結(jié)構(gòu)優(yōu)化。（文/半導體產(chǎn)業(yè)網(wǎng)）
以下為黃哲瑄博士提供研究成果介紹：原文鏈接：https://doi.org/10.1364/PRJ.441188
實驗與算法設(shè)計
1.Micro-LED 模塊及光學介紹
在前瞻顯示應用中，Micro-LED背光模塊是當前的主流發(fā)展技術(shù)，一個完整的Micro-LED背光模塊如圖1所示。主要結(jié)構(gòu)包括基板、接收平面；LED數(shù)組，其波長光譜呈高斯分布，光譜峰值為445nm，光譜寬度為18nm；以及LED的結(jié)構(gòu)設(shè)計。
在本文中，選擇分布式布拉格反射器（DBR）結(jié)構(gòu)作為控制LED發(fā)光角度的結(jié)構(gòu)，如圖1（b）所示，覆蓋LED數(shù)組下方的每個LED。在這種模塊結(jié)構(gòu)中，當光從LED發(fā)射到接收器平面時，有四種主要類型的光學事件。
(1) 通過DBR結(jié)構(gòu)發(fā)射到接收平面：LED發(fā)出的光入射到DBR結(jié)構(gòu)的角度沒有達到全內(nèi)反射角。因此，它遵循Snell's Law并通過折射進入接收器平面。
(2)直接射入接收平面：LED產(chǎn)生的光直接射入接收平面，不經(jīng)過任何物體。
(3)從DBR結(jié)構(gòu)反射光線：當光入射到DBR的角度達到全內(nèi)反射角(TIR)并進入接收平面時，產(chǎn)生反射光。
(4)從接收平面反射光線：當光線進入接收平面時會產(chǎn)生反射光。
由于上述四個光學事件，光會在接收器平面、DBR和基板之間產(chǎn)生許多反射事件。如果反射沒有入射到完全反射的表面上，則會導致光學系統(tǒng)中的能量損失。
為了降低損耗，在模塊設(shè)計中，如圖1（c）所示，在基板表面使用高反射率涂層進行涂層，并使用蝕刻圖案的擴散板作為接收平面，如圖1（d）所示。為了減少能量損失，基板上涂有厚的 TiO2 層。在完成模塊的框架設(shè)計后，在設(shè)計Micro-LED背光模塊時應考慮的重要變量如圖1(a)和圖1(b)所示。
(1)距離(D)：基板與接收器平面之間的距離
(2)間距(S)：LED芯片之間的間距
(3)寬度(W)：LED的寬度
(4) DBR對數(shù)(DBR)：DBR對數(shù)數(shù)量
本研究將為架構(gòu)的四個變量設(shè)計開發(fā)一種優(yōu)化方法。
2.整體設(shè)計工作流程
如圖2所示，我們提供了一套全面的設(shè)計方法，以實現(xiàn)完美的模擬和優(yōu)化結(jié)果，這個設(shè)計過程分為兩個主要模塊，一種是深度強化學習的優(yōu)化引擎。該模塊的任務(wù)是在受控環(huán)境中優(yōu)化人工智能代理的設(shè)計，另一個核心模塊是模擬驗證，如圖2(b)。此驗證旨在確保設(shè)計模型的環(huán)境與實際現(xiàn)場一致。因此，差距小到足以在模擬設(shè)計和實現(xiàn)之間具有足夠程度的可靠性。
圖 2(a) 顯示了兩個核心模塊組成了優(yōu)化引擎，即設(shè)計代理和環(huán)境。設(shè)計代理每次向環(huán)境發(fā)出指定動作執(zhí)行后，環(huán)境將環(huán)境狀態(tài)和獎勵報告給設(shè)計代理。設(shè)計代理中的算法網(wǎng)絡(luò)學習深度神經(jīng)網(wǎng)絡(luò)（DNN）并引導策略函數(shù)給出動作。當獎勵飽和時，經(jīng)過多次迭代，可以獲得光學設(shè)計優(yōu)化。本文使用的神經(jīng)網(wǎng)絡(luò)模型是Google 2015年發(fā)布的double deep Q-learning（DDQN）網(wǎng)絡(luò)模型，以ε-greedy為優(yōu)化任務(wù)的核心。另一個對設(shè)計結(jié)果有重大影響的部分是強化學習架構(gòu)中的環(huán)境。由于Micro-LED背光模塊既有奈米級結(jié)構(gòu)也有毫米級模塊結(jié)構(gòu)，因此必須兼顧宏觀和微觀的操作。一般來說，波動光學在微觀尺度的計算中占主導地位；本文使用 Synopsys的R-soft軟件進行計算。另一方面，宏觀尺度計算一般采用幾何光學進行光學計算；本文采用Synopsys的LightTools軟件進行計算。雖然有精密的計算器輔助工程(CAE)工具可以分別處理微觀和宏觀問題，但Micro-LED背光模塊必須同時處理兩個極端維度，因此我們添加了環(huán)境控制代理的概念和容器進入環(huán)境，如圖 2(a) 中的環(huán)境所示。我們在環(huán)境設(shè)計中分別設(shè)置LightTools和R-soft運行所需的環(huán)境和數(shù)據(jù)庫，然后利用環(huán)境代理程序?qū)蓚€容器任務(wù)進行協(xié)同調(diào)度。通過環(huán)境控制代理和獨立容器設(shè)置，可以有效解決超大規(guī)模計算問題。在完成基于環(huán)境控制代理和容器的環(huán)境架構(gòu)后，如圖2（b）所示，為完成高可靠性模擬，我們在虛擬環(huán)境和實際場景之間進行兩組極端環(huán)境單項參數(shù)驗證，我們稱之為虛擬現(xiàn)實實驗。在虛擬現(xiàn)實實驗中，我們將完成的Micro-LED 數(shù)組樣本圖像與 LightTools 仿真圖像進行比較，并通過驗證量化差異以獲得最佳的現(xiàn)實參數(shù)組合。同樣，我們也使用完成的具有 DBR 結(jié)構(gòu)的Micro-LED與 R-soft的仿真結(jié)果圖像進行比較，并通過驗證量化差異，以獲得最佳的現(xiàn)實參數(shù)組合。本文將使用圖2(a)的優(yōu)化架構(gòu)和圖2(b)的沉浸式環(huán)境設(shè)置來設(shè)計高可靠性的micro-LED背光模塊。
3.建立環(huán)境控制代理
建立環(huán)境的工作流程如圖3（a）所示。首先，我們實現(xiàn)了第一批Micro-LED背光模塊原型，使用CMOS傳感器捕獲圖像，并使用單芯片和芯片數(shù)組圖像作為優(yōu)化仿真參數(shù)的基準。另一方面，DBR和Micro-LED背光模塊的光學仿真模型分別使用R-soft和LightTools建立。有六組實驗組合：
(1) 背光模塊中沒有DBR的單個氮化鎵
(2) 背光模塊中帶有2.5對DBR的單個氮化鎵
(3) 背光模塊中帶有5.5對DBR的單個氮化鎵
(4) 背光模塊中沒有 DBR 的氮化鎵數(shù)組
在仿真中，背光模塊的底部反射率和接收器反射率是必不可少的系統(tǒng)變量。為了建立接近準確的環(huán)境參數(shù)，實際樣品的光學反射特性通常具有散射特性。反射光的散射方式大致分為Gaussian type（反射光的主方向與法線的夾角與?入射角一致）和Lambertian type（任意入射角的反射光沿法線散射）如圖3（b）所示。我們對兩種散射模式和五個變量（Gaussian type 0°、Gaussian type 5°、Gaussian type 10°、Gaussian type 15°和Lambertian type）的底部反射率和接收器反射率進行了模擬計算。散射模型示意圖如圖3(b)所示。底部反射率和接收器反射率的可變區(qū)間分別為93%~99%和20%~40%；完成模擬計算后，計算模擬的結(jié)果矩陣輸出和CMOS采集的圖像進行驗證，如圖2（b）所示。計算式使用均方誤差計算，如方程式(1):
其中N是圖像中的像素總數(shù)，i是像素索引，ImgS是仿真生成的圖像，ImgC是通過CMOS傳感器采集的圖像。
在完成虛擬現(xiàn)實實驗的MSE計算后，我們將MSE最小時的參數(shù)組合作為環(huán)境模型的基本參數(shù)。該方程表示為方程式(2):
在完成環(huán)境參數(shù)值后，我們分別在PC2和PC3計算器中建立了微觀尺度和宏觀尺度的環(huán)境。PC2基于微尺度構(gòu)建計算核心，其環(huán)境稱為container2。container2中的計算內(nèi)核為薄膜光學，主數(shù)據(jù)庫為薄膜數(shù)據(jù)庫，包含各種薄膜材料特性值，如折射率n、消光系數(shù)α等。另一方面，PC3構(gòu)建了一個基于宏觀尺度的計算核心，其環(huán)境稱為container1。container1中的計算內(nèi)核是蒙地卡羅光線追蹤技術(shù)，主要數(shù)據(jù)庫是材料數(shù)據(jù)庫和雙向散射分布函數(shù)（BSDF）數(shù)據(jù)庫。container2 的計算生成了這個數(shù)據(jù)庫，如圖 3(c) 所示。當入射光進入薄膜表面時，會發(fā)生反射和折射。由于薄膜表面不是完全平坦的，無論是反射還是折射，都會產(chǎn)生散射的能量分布。BSDF數(shù)據(jù)庫記錄了由不同入射角的光線入射到薄膜堆上所產(chǎn)生的反射散射和折射散射的強度和角度分布。微觀尺度和宏觀尺度的光學問題，分別可以通過container1和container2的計算來處理。 完成PC2和PC3環(huán)境搭建后，兩個計算引擎無法進行敏感傳輸。本文介紹了PC1 的環(huán)境控制代理程序，如圖3（a）所示。該程序?qū)娀瘜W習的指令轉(zhuǎn)移到PC2和PC3的工作調(diào)度；該方法可以同時將強化學習的動作分配給PC2和PC3進行并行處理和優(yōu)化處理，或者直接將微觀和宏觀尺度的狀態(tài)組織成統(tǒng)一的格式輸出到強化學習進行運算。
4.動作函數(shù)、狀態(tài)函數(shù)、獎勵函數(shù)的定義
從圖2(a)可以看出，在強化學習中，環(huán)境和設(shè)計代理之間定義三個函式，動作、狀態(tài)和獎勵。參考圖1(a)和1(b)的示意圖中的設(shè)計參數(shù)，我們將動作函數(shù)定義為表 1。對于上下調(diào)整的五種變化，我們定義了a1-a10的動作函數(shù)。我們還針對五種變化狀態(tài)定義了S1到S5的狀態(tài)函數(shù)，如表2所示。最后，參考背光模塊均勻度的定義，我們設(shè)置了三個不同的獎勵函數(shù)為方程式(3)-(5):
其中，方程式(3)采用浮動獎勵計算系統(tǒng)，而方程式(4)和(5)采用固定均勻度比較法的計算系統(tǒng)。首先，我們需要在執(zhí)行強化學習計算之前定義環(huán)境的邊界值。 環(huán)境參數(shù)如表3。
5.Double deep Q-learning神經(jīng)網(wǎng)絡(luò)
如圖2（a）所示，本文采用Double DQN（DDQN）網(wǎng)絡(luò)作為優(yōu)化算法。詳細的計算過程如圖 4 所示。動作 (at) 通過 ε-greedy策略計算給環(huán)境控制代理。在環(huán)境控制代理的控制和計算之后，回報第t和第 (t+1)狀態(tài)St與St+1、動作和獎勵值。每次迭代的狀態(tài)、動作和獎勵值都通過回放儲存器記錄下來。然后通過Q網(wǎng)絡(luò)(θt)和目標Q網(wǎng)絡(luò)(θ't)這兩個神經(jīng)網(wǎng)絡(luò)，我們計算損失函數(shù)以確定新的參數(shù)更新。 目標 Q 和損失函數(shù)定義在方程式(6)和(7)：
其中Rt+1是第(t+1)個狀態(tài)的獎勵值，γ是模型超參數(shù)，并且經(jīng)過多次迭代，當損失函數(shù)值收斂時，可以得到一個最優(yōu)的結(jié)果。
結(jié)果
1. 虛擬現(xiàn)實實驗
環(huán)境構(gòu)建的參數(shù)設(shè)置往往是決定最終模型精度的重要因素。本文在環(huán)境搭建完成后開始進行虛擬現(xiàn)實實驗。根據(jù)實際樣品生產(chǎn)，我們使用氮化鎵作為晶圓的外延結(jié)構(gòu)，使用氮化鋁/氮化鎵作為DBR結(jié)構(gòu)材料，其相關(guān)固定參數(shù)如表4所示。實驗結(jié)果如圖5所示。根據(jù)圖5(a)，我們給出了單片無DBR結(jié)構(gòu)、2.5對DBR、5.5對DBR的實際拍攝結(jié)果，以及改變底部反射率后圖像的MSE計算結(jié)果。結(jié)果，Gaussian type曲線均低于Lambertian type曲線，在反射率為97%時可以找到最小值。
從實驗結(jié)果來看，我們可以選擇MSE最低的參數(shù)：高斯散射為5，反射率97%作為底部反射率的環(huán)境參數(shù)，此外，圖5(a)中的i、ii和iii面板分別顯示了沒有DBR、2.5對DBR和5.5對DBR的實際拍攝結(jié)果，而面板iv、v和vi是選擇后的計算結(jié)果最佳底部反射率。發(fā)現(xiàn)沒有DBR結(jié)構(gòu)的芯片在光斑中心出現(xiàn)了亮度集中的熱點現(xiàn)象，在模擬結(jié)果中也觀察到了同樣的現(xiàn)象，此外，DBR為5.5對光斑中間存在暗點現(xiàn)象，亮度低于周邊，在模擬結(jié)果中也觀察到了這一點。根據(jù)以上結(jié)果，這組底部反射率參數(shù)具有足夠的可靠性。根據(jù)圖5(b)，我們展示了數(shù)組類型的實驗結(jié)果，數(shù)組類型的實驗結(jié)果主要用于計算最佳接收器反射率。在實際樣品中，接收器是具有表面蝕刻圖案的PMMA結(jié)構(gòu)。這種結(jié)構(gòu)的主要光學機制是反射、散射和折射。在本實驗結(jié)果中，Lambertian type的MSE計算結(jié)果較低，而Lambertian type在反射率為35%時的MSE值最低，因此接收器反射率參數(shù)選擇Lambertian type，即接收器反射率為35%。圖 5（b）中的面板i、ii和iii分別顯示了沒有DBR、2.5對DBR和5.5對DBR的實際拍攝結(jié)果?？梢园l(fā)現(xiàn)使用DBR，芯片與芯片之間的暗帶逐漸變亮。在面板 iv、v 和 vi 的模擬結(jié)果中也可以發(fā)現(xiàn)逐漸變亮的趨勢。根據(jù)上述定性和定量分析結(jié)果，這組接收機反射率參數(shù)也具有足夠的可靠性。
2. 強化學習的結(jié)果
構(gòu)建環(huán)境后，我們使用 DDQN 網(wǎng)絡(luò)進行強化學習，并設(shè)置了三種不同的獎勵函式和強化學習中的參數(shù)優(yōu)化邊界，如表 3 和表 4。獎勵函數(shù)1的設(shè)計定義為“嚴格遞減”，這意味著要求每個損失必須低于前一個損失。此外，reward function2和reward function3被定義為與固定參考值相比的獎勵函數(shù)。由于獎勵函數(shù) 2 和 3 不需要遵循嚴格的增量規(guī)則，因此可以避免過擬合，收斂結(jié)果更穩(wěn)定。實驗結(jié)果顯示在圖6(a)、6(b)和6(c)，表示使用獎勵函數(shù)1、2和3的每次迭代的一致性。使用獎勵函數(shù)1的迭代結(jié)果最初是不穩(wěn)定的，結(jié)果的一致性為0經(jīng)常出現(xiàn)。雖然經(jīng)過250次迭代后才達到更穩(wěn)定的運行優(yōu)化，但該值仍然可以在穩(wěn)定區(qū)域發(fā)現(xiàn)明顯的衰減不穩(wěn)定結(jié)果。 最好的結(jié)果出現(xiàn)在第 289 次迭代中。結(jié)果如圖6(d)所示。根據(jù)平均Y=0 mm截止線的值，均勻度計算寫為方程式(8):
其中L是Y=0 mm時的截止線，L [25%,75%] 表示取 L 線第 25 到第 75 區(qū)間的值。
圖6(d)顯示了計算獎勵函數(shù) 1 時最佳解的狀態(tài)為Sb1 (D=0.18 mm,W=0.04 mm, S=0.4 mm, T=0.02 mm, DBR=5.5 pairs)，均勻度為是83.97%。此外，在圖6(b) 和 6(c) 使用獎勵函數(shù)2和獎勵函數(shù)3時，它們可以通過少量迭代達到穩(wěn)定狀態(tài)，并且不太容易出現(xiàn)計算崩潰。如圖 6(b) 和 6(c) 所示，當?shù)螖?shù)為183和249時，可以找到最佳解。最佳解決方案的結(jié)果如6（e）和6（f）所示。 狀態(tài)為 Sb2 (D = 0.16 mm, W = 0.02 mm, S = 0.46 mm, T = 0.015 mm, DBR = 5.5 pairs)和 Sb3 (D = 0.18 mm,W = 0.028 mm, S = 0.5 mm,T = 0.035 mm，DBR = 6.5 pairs)，均勻度分別為86.51%和90.32%。
3. 真實樣本的結(jié)果
完成上述優(yōu)化模型設(shè)計后，我們根據(jù) Sb3 設(shè)計進行原型演示。 使用DBR結(jié)構(gòu)可以降低整體顆粒度，如圖7所示。
討論
根據(jù)以上實驗結(jié)果，采用本文提出的方法設(shè)計的設(shè)計代理可以有效優(yōu)化光學設(shè)計，但更多的物理特性仍需總結(jié)。我們將重點關(guān)注以下幾點并進行討論。
(1) DBR 結(jié)構(gòu)推斷
(2) micro-LED 背光模塊的能量損失機制
(3) micro-LED 背光模塊的設(shè)計規(guī)則
(4) 強化學習的工作效率
1. DBR結(jié)構(gòu)推斷
首先，我們將狀態(tài) Sb3 (D = 0.18 mm，W = 0.028 mm，S = 0.5 mm，T = 0.035 mm，DBR = 6.5 pairs)最佳計算結(jié)果作為有DBR結(jié)構(gòu)的實驗組，并設(shè)置Sb3無DBR結(jié)構(gòu)為對照組，S'b3 (D = 0.18 mm，W = 0.028 mm，S = 0.5 mm，T = 0.035 mm，DBR = 0 pairs)。比較結(jié)果如圖8所示。圖8(a)和8(b)分別是Sb3和S'b3的光學類別分布。很明顯，沒有DBR結(jié)構(gòu)的S'b3有明顯的熱點分布，而有DBR結(jié)構(gòu)的Sb3沒有明顯的熱點分布。圖8(c)顯示了Sb3和S'b3在Y=0 mm處的能量分布結(jié)果，從這個結(jié)果可以計算出Sb3的照度為109,814 lux，均勻度90.32%，S'b3的照度為119,910 lux，均勻度為68.15%。DBR結(jié)構(gòu)會將芯片發(fā)出的大量光反射到背板，造成一定程度的能量損失。此設(shè)計中的能量損失僅為8.5%。此外，反射光還改善了芯片之間的能量損失。空間的能量使原本分布在晶圓上方的光能被引導到晶圓之間的暗帶。總體而言，DBR結(jié)構(gòu)將均勻性提高了32%。
2. Micro-LED 背光模塊的能量損失機制
從以上結(jié)果我們可以看出，DBR可以通過反射芯片的光來優(yōu)化暗帶的光能量。 在這個過程中，每次反射往往伴隨著能量損失，如圖9所示。DBR結(jié)構(gòu)反射到背板的光產(chǎn)生的光損失是Micro-LED背光模塊的主要能量損失機制，而另一個是接收器反射到背板的光造成的光損失，如圖1所示。
Micro-LED背光模塊的結(jié)構(gòu)由于考慮到optical event3和optical event4，從架構(gòu)一開始就采用了高厚度高反射填料表面反射漆結(jié)構(gòu)。虛擬現(xiàn)實實驗結(jié)果表明，這種結(jié)構(gòu)的反射率高達97%，使整個系統(tǒng)的光損耗降低到10%以內(nèi)。
3. Micro-LED背光模塊設(shè)計規(guī)則
表 5 提供了不同獎勵函數(shù)設(shè)計下的優(yōu)化結(jié)果。Sb1 (D=0.18 mm,W=0.04 mm, S=0.4 mm, T=0.02 mm, DBR=5.5 pairs)，Sb2 (D = 0.16 mm, W = 0.02 mm, S = 0.46 mm, T = 0.015 mm, DBR = 5.5 pairs) 與Sb3 (D = 0.18 mm,W = 0.028 mm, S = 0.5 mm,T = 0.035 mm，DBR = 6.5 pairs)。進一步分析這三組狀態(tài)的結(jié)果，除Sb2外，均得出光學距離D為0.18 mm的結(jié)論； 這個值是我們設(shè)定的優(yōu)化參數(shù)范圍內(nèi)的最大值，這個結(jié)果與傳統(tǒng)液晶背光模塊的設(shè)計規(guī)律是一致的。另一方面，影響Sb1、Sb2、Sb3結(jié)果的主要因素是芯片之間的空間能量。如圖8所示，將芯片中心的能量大角度轉(zhuǎn)移的能力，有助于抑制芯片上的熱點和芯片間的暗點現(xiàn)象。我們從 Sb1、Sb2 和 Sb3 中取出 W 和 T，并計算幾何因子 f 為方程式(9)基于橫向和前向發(fā)光表面積：
其中T是LED的厚度，W是LED的寬度。參數(shù)符號如圖1所示。Sb1、Sb2 和 Sb3的f值分別為2、3和5。根據(jù)以往的研究，較大的f值可以提供較大的發(fā)光角度，增加芯片間距光學事件2的發(fā)生率。Sb3的DBR參數(shù)為6.5對，而Sb1和Sb2的DBR參數(shù)為5.5對。它具有較高的反射率，可以減少光學事件1的入射，減少光學事件1和增加光學事件2以實現(xiàn)顯著的能量傳遞，從而使Sb3具有最佳的光學均勻性設(shè)計結(jié)果。
4. 強化學習的工作效率
在這項研究中，通過強化學習和環(huán)境控制代理建立了一個高效的設(shè)計代理。為保證設(shè)計agent在參數(shù)限制區(qū)間內(nèi)得到的解是最佳的，在表3中D、W、S、T、DBR定義的下限區(qū)間上增加step，進行全變量循環(huán)操作。參數(shù)D、W、S、T和DBR的步長分別為10、10、50、10和0.5。因此，我們得到D、W、S、T和DBR分別有18、10、9、6和11個變量值?？偣灿?06,920種組合?？傆嬎銜r間為297小時。獲得的最佳結(jié)果是均勻度 89.61%。另一方面，采用了強化學習的設(shè)計。該代理共執(zhí)行16,000次計算，耗時53.3 小時。獲得的最佳結(jié)果是均勻性90.32%，如表6所示。因此，在優(yōu)化求解時間中，設(shè)計代理只需要整個循環(huán)的17.9%。根據(jù)表6，雖然整個循環(huán)似乎描述了完整的解平面，但由于每個參數(shù)的步長都是固定值，所以整個循環(huán)所描繪的解平面是離散解的平面描繪。另一方面，它采用了具有深度學習解決方案特點的強化學習設(shè)計代理，即縮小搜索范圍以找到最佳解決方案。因此，它可以提供更高效、更優(yōu)的優(yōu)化方案。
結(jié)論
傳統(tǒng)的光學設(shè)計方法一般強調(diào)模型參數(shù)的準確性。有很多關(guān)于測量詳細參數(shù)的研究； 然而，同時考慮極端尺度的影響可能具有挑戰(zhàn)性。本研究引入的環(huán)境控制代理技術(shù)將微觀尺度和宏觀尺度模型高效地整合為一組優(yōu)化模型，消除了不同計算尺度帶來的所有計算障礙。強化學習模型還提供了一種針對Micro-LED背光模塊的高效模型優(yōu)化設(shè)計方法。與全循環(huán)模式相比，可以確定解平面上分辨率更高的最優(yōu)位置；因此，設(shè)計代理的優(yōu)化結(jié)果比整個循環(huán)的優(yōu)化結(jié)果要好一些。此外，與多參數(shù)離散循環(huán)解相比，設(shè)計代理可以找到更準確的解，只需要整個循環(huán)時間的17.9%即可找到解。本研究采用新穎的多環(huán)境控制方法和強化學習框架，成功開發(fā)出具有DBR結(jié)構(gòu)的Micro-LED背光模塊作為背光均勻度優(yōu)化組件，與沒有DBR結(jié)構(gòu)的Micro-LED背光模塊相比，其均勻度提升了32%。
原文鏈接：
