04.微刺激模式優(yōu)化

我們的目標(biāo)是優(yōu)化多通道ITMS控制輸入，以盡可能接近地重現(xiàn)每種獨(dú)特觸摸類型的自然觸摸反應(yīng)。具體而言，我們對(duì)系統(tǒng)輸出與某個(gè)期望模板神經(jīng)反應(yīng)軌跡在有限時(shí)間內(nèi)的偏差進(jìn)行懲罰。我們首先將此優(yōu)化問(wèn)題表述為具有線性等式和不等式約束的二次成本函數(shù)。這種類型的問(wèn)題稱為二次規(guī)劃，已得到充分研究，并且存在專門(mén)的算法用于高效多項(xiàng)式時(shí)間求解。解決此類控制問(wèn)題的一種策略是不僅求解時(shí)間范圍內(nèi)的最優(yōu)控制輸入，還求解狀態(tài)變量。然而，狀態(tài)是輸入(1)的隱式函數(shù)，優(yōu)化程序必須通過(guò)線性約束強(qiáng)制這種動(dòng)態(tài)關(guān)系。盡管這種公式包含更多變量和約束，但在利用問(wèn)題結(jié)構(gòu)時(shí)，實(shí)際上在計(jì)算上是有益的。

由于我們對(duì)電幅度的表示，優(yōu)化問(wèn)題還包含不等式約束。由于探索性微刺激序列僅由單一極性的脈沖組成，我們選擇將輸入約束為單一極性，以使所有優(yōu)化刺激保持在近似線性范圍內(nèi)。改變極性會(huì)切換每個(gè)相鄰電極上電流的流入或流出順序，并且對(duì)負(fù)極性的反應(yīng)與對(duì)正極性的反應(yīng)并非線性相關(guān)。因此，我們對(duì)所有輸入施加非負(fù)約束，以及最大輸入邊界，以使解保持在探索性序列期間探索的電流幅度范圍內(nèi)。與建模步驟一樣，脈沖序列由每個(gè)刺激通道的610 Hz脈沖串組成。

設(shè)yd(t)表示時(shí)間t的期望神經(jīng)軌跡。我們假設(shè)在時(shí)間t，可獲得時(shí)間t到t+T?1的期望神經(jīng)軌跡yd。時(shí)間范圍T決定了控制器在優(yōu)化控制輸入時(shí)考慮的未來(lái)時(shí)間量。在實(shí)際（因果）應(yīng)用中，該期望信號(hào)可以是預(yù)測(cè)響應(yīng)模型的輸出，該模型使用截至t的傳感器信息，輸出T?1個(gè)未來(lái)時(shí)間點(diǎn)的預(yù)測(cè)神經(jīng)反應(yīng)?；蛘撸瑈d也可以是預(yù)先計(jì)算/記錄的神經(jīng)軌跡。在本研究中，我們將yd視為完全已知，即設(shè)置為每種觸摸條件的刺激周?chē)囼?yàn)平均自然反應(yīng)?？刂破鞯闹饕繕?biāo)是最小化施加輸入序列下的系統(tǒng)輸出y(t)與期望信號(hào)yd(t)之間的距離。我們將階段τ的二次成本定義為優(yōu)化目標(biāo)是在上述約束下，最小化T個(gè)時(shí)間步的成本，可表述為其中優(yōu)化針對(duì)u()(t,t+1,…,t+T?1)和x()(t+1,…,t+T)的值進(jìn)行，Imax是最大電流限制，我們將其設(shè)置為探索性序列期間使用的最大電流值。模型的動(dòng)態(tài)通過(guò)將當(dāng)前輸入和狀態(tài)(x(t),u(t))與下一狀態(tài)x(t+1)相關(guān)聯(lián)的等式約束來(lái)強(qiáng)制實(shí)施。在這種情況下，系統(tǒng)演化是確定性的，優(yōu)化不依賴于方程(1)中∫x或∫y的密度。

我們包含一個(gè)懲罰大電流的次要目標(biāo)。這通過(guò)在公式(4)的成本函數(shù)中添加項(xiàng)μ||u(t)||2來(lái)實(shí)現(xiàn)，該術(shù)語(yǔ)懲罰輸入的平方范數(shù)，其中μ是控制該懲罰相對(duì)重要性的加權(quán)參數(shù)。類似地，可以通過(guò)向階段成本添加λv(t)2來(lái)節(jié)省輸入的低通濾波版本的幅度，其中v(t)=v(t?1)+αu(t)（α是極點(diǎn)在(1?α)的基本單極低通濾波器）。這具有懲罰高幅度、緩慢變化的輸入模式的效果。我們注意到，如果沒(méi)有這種懲罰，一些效果較差的輸入會(huì)被驅(qū)動(dòng)以顯著幅度持續(xù)刺激。盡管這些輸入在控制范圍內(nèi)名義上實(shí)現(xiàn)了更好的輸出跟蹤，但它們以顯著的超閾值幅度刺激，對(duì)測(cè)量的場(chǎng)電位沒(méi)有太大相關(guān)影響。我們懷疑這些是影響S1部分區(qū)域的通道，而我們的記錄陣列僅部分捕捉到這些區(qū)域。在我們的實(shí)驗(yàn)中，相對(duì)加權(quán)因子μ和λ根據(jù)每只動(dòng)物的電流注入和跟蹤誤差之間的權(quán)衡手動(dòng)選擇。相比之下，低通濾波器參數(shù)α固定為，其中Fs是采樣頻率，τlp（濾波器時(shí)間常數(shù)）設(shè)置為100毫秒。

這種對(duì)輸入的濾波版本進(jìn)行懲罰使用的方法非常相似。然而，在該研究中，優(yōu)化是針對(duì)原始電流波形進(jìn)行的，對(duì)緩慢電流注入的懲罰主要目的是限制電荷積累，這是已知的會(huì)導(dǎo)致電極腐蝕或觸點(diǎn)附近組織損傷的因素。在我們的研究中，由于我們的優(yōu)化是針對(duì)定型脈沖序列的幅度包絡(luò)，因此每個(gè)雙相脈沖后電荷平衡會(huì)立即恢復(fù)。相反，濾波后的懲罰對(duì)緩慢、持續(xù)的脈沖序列設(shè)置了選擇性成本。

公式（5）中的最優(yōu)控制問(wèn)題在控制輸入和狀態(tài)上是二次的。在我們的公式中，被優(yōu)化的變量是z=[x(t),u(t+1),u(t+2),…,u(t+T-1),x(t+T)]的串聯(lián)。這導(dǎo)致一組強(qiáng)制相鄰時(shí)間點(diǎn)輸入和狀態(tài)的系統(tǒng)動(dòng)態(tài)的等式約束，以及一組強(qiáng)制控制輸入邊界的不等式約束。由于公式（5）是凸的（即其關(guān)于z的二階導(dǎo)數(shù)對(duì)所有z都是正定的），且其等式和不等式約束是線性的，因此該問(wèn)題可以通過(guò)凸優(yōu)化方法[39]易于處理地解決。通過(guò)利用僅對(duì)相鄰時(shí)間點(diǎn)強(qiáng)制實(shí)施等式約束所帶來(lái)的結(jié)構(gòu)，運(yùn)行時(shí)間為?(T(n3+m))——與不利用該結(jié)構(gòu)時(shí)的運(yùn)行時(shí)間?((T(n+m))3)相比有了巨大改進(jìn)。關(guān)于通過(guò)內(nèi)點(diǎn)法求解（5）所使用的特定算法的詳細(xì)信息。

我們模型中引入的輸入門(mén)控特征使系統(tǒng)成為非線性的。帶有輸入門(mén)控的狀態(tài)轉(zhuǎn)移為x(t+1)=A x(t)+B(gate(u(t)))，其中g(shù)ate(u(t))i=gate(ui(t))。為了解決這個(gè)問(wèn)題，在每次迭代時(shí)，每個(gè)時(shí)間t的系統(tǒng)都圍繞輸入的當(dāng)前值?(t)進(jìn)行線性化，因此非線性輸入相關(guān)性可以用線性時(shí)變項(xiàng)代替。準(zhǔn)確地說(shuō)，狀態(tài)轉(zhuǎn)移方程中的門(mén)控輸入可以用其一階泰勒近似代替。因此，狀態(tài)轉(zhuǎn)移方程可以被視為時(shí)變但線性的函數(shù)x(t+1)=A(t)x(t)+B?(t)u(t)，其中B?(t)=diag(g(u?(t)))。作為一種阻尼措施，每次迭代后取新解和當(dāng)前解的組合，即z?βz_new+(1-β)z。在我們的實(shí)驗(yàn)中，我們發(fā)現(xiàn)最初將β設(shè)置為1.0，然后在每次迭代時(shí)將β按0.97縮放，直到β=0.3，這對(duì)于找到良好的解是合適的。

我們探索的另一種方法是迭代線性二次調(diào)節(jié)器（iLQR）。這也使用系統(tǒng)動(dòng)態(tài)的連續(xù)時(shí)變線性化來(lái)應(yīng)對(duì)門(mén)控非線性。iLQR還使用了一種基于LQR的不同方法來(lái)更新輸入和狀態(tài)，該方法產(chǎn)生形式為u(t)=f(x(t))的線性狀態(tài)反饋策略，而不僅僅是輸入軌跡。我們發(fā)現(xiàn)在我們的實(shí)現(xiàn)中，iLQR的輸入解與內(nèi)點(diǎn)法的輸入解沒(méi)有顯著差異。

最初，針對(duì)每種觸摸條件（部位、幅度、持續(xù)時(shí)間）離線找到最優(yōu)控制輸入。在每種情況下，期望軌跡是試驗(yàn)平均的自然觸摸響應(yīng)，其中t=0對(duì)應(yīng)觸摸開(kāi)始，T=保持持續(xù)時(shí)間+50毫秒。微刺激模式從觸摸開(kāi)始時(shí)開(kāi)始，一直持續(xù)到T。一旦找到，優(yōu)化的經(jīng)顱磁刺激（ITMS）模式就通過(guò)腹后外側(cè)核（VPL）陣列施加。每種觸摸類型的模式都以與每個(gè)前爪位置的原始自然觸摸刺激相同的順序和時(shí)間施加。我們定義“虛擬觸摸”一詞來(lái)指代用對(duì)應(yīng)于特定類型自然觸摸的優(yōu)化微刺激模式進(jìn)行刺激。