【基于神經(jīng)網(wǎng)絡(luò)的金融時(shí)間序列算法設(shè)計(jì)2900字】

基于神經(jīng)網(wǎng)絡(luò)的金融時(shí)間序列算法設(shè)計(jì)綜述問題描述神經(jīng)網(wǎng)絡(luò)發(fā)展到現(xiàn)在已經(jīng)算是比較成熟的了，開始像葡萄一樣開始分支、纏繞螺旋旋轉(zhuǎn)式的上升，不同領(lǐng)域的神經(jīng)網(wǎng)絡(luò)算法也去到別的領(lǐng)域發(fā)展，為了探索神經(jīng)網(wǎng)絡(luò)對(duì)金融時(shí)間線序列的作用，這里選用最經(jīng)典的循環(huán)神經(jīng)網(wǎng)絡(luò)和現(xiàn)在最流行的神經(jīng)網(wǎng)絡(luò)進(jìn)行比較。LSTM框架背景介紹所有的循環(huán)神經(jīng)網(wǎng)絡(luò)都有鏈?zhǔn)街貜?fù)模塊，在傳統(tǒng)的RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)）中，具有非常簡單的鏈?zhǔn)街貜?fù)模塊結(jié)構(gòu)，例如整個(gè)RNN中只有一個(gè)tanh層，就讓數(shù)據(jù)通過tanh層后直接優(yōu)化輸出了，如圖3.1所示。圖STYLEREF1\s3.SEQ圖\*ARABIC\s11RNN神經(jīng)單元的內(nèi)部結(jié)構(gòu)對(duì)RNN改進(jìn)后的LSTMLSTM（長短期記憶神經(jīng)網(wǎng)絡(luò)）是一種在傳統(tǒng)RNN的基礎(chǔ)上優(yōu)化得出的改進(jìn)模型。LSTM也具有像RNN這種類似的鏈?zhǔn)浇Y(jié)構(gòu)，但循環(huán)模塊結(jié)構(gòu)與RNN不同。不同于RNN是一個(gè)單獨(dú)的神經(jīng)網(wǎng)絡(luò)層，LSTM是四個(gè)神經(jīng)網(wǎng)絡(luò)層，并且以非常不尋常的方式進(jìn)行交互，如圖3.2所示，通過it、ft、gt神經(jīng)單元的狀態(tài)有點(diǎn)像生活中的開關(guān)導(dǎo)線，它貫穿整個(gè)數(shù)據(jù)傳導(dǎo)過程，只有一些次要的線性交互作用。數(shù)據(jù)信息可以不用改變自身狀態(tài)就直接通過。LSTM主要是通過對(duì)神經(jīng)網(wǎng)絡(luò)中的神經(jīng)單元進(jìn)行創(chuàng)新，來解決傳統(tǒng)RNN無法解決的長期依賴的問題，LSTM可以通過所謂“開關(guān)”的精細(xì)結(jié)構(gòu)向神經(jīng)單元狀態(tài)添加或移除，讓神經(jīng)單元每次使用時(shí)，忘掉一點(diǎn)輸入的信息或記住一些輸入的信息。讓數(shù)據(jù)信息通過“開關(guān)”去做訓(xùn)練，像人類的記憶細(xì)胞一樣，通過不斷刺激－平靜－刺激－平靜來傳遞信息，以便于可以強(qiáng)化神經(jīng)網(wǎng)絡(luò)。圖STYLEREF1\s3.SEQ圖\*ARABIC\s12LSTM神經(jīng)單元的內(nèi)部結(jié)構(gòu)LSTM的主要階段一個(gè)LSTM有三種這樣的“開關(guān)”用來保持和控制神經(jīng)單元的狀態(tài)。忘記階段。這個(gè)部分主要是選擇性地選擇忘記一些從前一個(gè)節(jié)點(diǎn)傳遞過來的輸入信息，會(huì)忘記不重要的，記住重要的。ft（f表示forget）來作為忘記開關(guān)，來控制上一個(gè)狀態(tài)的ct?１ft=σWifct=選記階段。這個(gè)部分會(huì)選擇性地選擇一些輸入信息來記住。這主要是為了選擇和記住輸入xt。重要的被全部記錄下來，不太重要的會(huì)少數(shù)被記錄。當(dāng)前的輸入內(nèi)容由前面計(jì)算得到的gt表示。而選擇的門控信號(hào)則是由iit=σWiigt=tan?輸出階段。這個(gè)階段會(huì)確定哪個(gè)輸出會(huì)被視為當(dāng)前狀態(tài)。主要是通過ot來進(jìn)行控制的。并且還對(duì)上一階段得到數(shù)據(jù)，讓其通過一個(gè)tanh激活函數(shù)進(jìn)行變化，從而進(jìn)行數(shù)據(jù)的放縮，ot=σ?t=LSTM有效的解決了對(duì)長期數(shù)據(jù)的問題，所以可以用于金融時(shí)間序列，但也因?yàn)橐肓撕芏鄡?nèi)容，導(dǎo)致參數(shù)變多，也使得訓(xùn)練難度加大了很多。Transformer框架背景介紹Google在2017時(shí)候通過論文《Attentionisallyouneed》提出來Transformer架構(gòu)，這個(gè)框架通過創(chuàng)新注意力機(jī)制的方案[12]，給全球帶來了許多新的驚喜。Transformer架構(gòu)主要可以分為兩個(gè)概念：廣義Transformer和狹義Transformer，狹義Transformer是指擁有《Attentionisallyouneed》里提出來的那個(gè)結(jié)構(gòu)，包括編碼器（Encoder）和解碼器（Decoder）；廣義Transformer可以指使用了自注意力機(jī)制（self-attention）的各種應(yīng)用。最開始Transformer只是用于NLP（自然語言處理）領(lǐng)域，但隨著后面的發(fā)展，他在別的領(lǐng)域也發(fā)揮著強(qiáng)大的作用。Transformer主要結(jié)構(gòu)Transformer架構(gòu)主要有兩部分組成：Encoder（編碼器）和Decoder（解碼器）組成的，可以最抽象看出圖3.3所示的效果。但在一般情況下，都會(huì)同時(shí)存在多個(gè)編碼器和解碼器，因?yàn)門ransformer是一個(gè)基于Encoder-Decoder而設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)模型，如圖3.4所示。圖STYLEREF1\s3.SEQ圖\*ARABIC\s13Encoder和Decoder的關(guān)系圖STYLEREF1\s3.SEQ圖\*ARABIC\s14Encoder和Decoder的內(nèi)部Transformer架構(gòu)的整體的結(jié)構(gòu)，如圖3.5所示。拆開來看，可以把主體分為四個(gè)部分，其中除了input（輸入）和output（輸出）這兩部分外，最重要的就是以圖3.5的中線為中心分開出來，左右兩邊的Encoder和Decoder部分。下文就具體的介紹Encoder和Decoder的組成。圖STYLEREF1\s3.SEQ圖\*ARABIC\s15Transformer整體結(jié)構(gòu)Encoder是由多個(gè)結(jié)構(gòu)都為兩層的對(duì)立結(jié)構(gòu)組成的。可以簡單理解為一個(gè)自注意力機(jī)制加上一個(gè)前饋神經(jīng)網(wǎng)絡(luò)的組成，如圖3.6所示，輸入的數(shù)據(jù)先進(jìn)入Multi-headattention（多頭注意力結(jié)構(gòu)）后，在再經(jīng)過FeedForward，使得每個(gè)子層之間有殘差連接，再將得到的結(jié)果向前傳播。圖STYLEREF1\s3.SEQ圖\*ARABIC\s16Encoder的組成Decoder的組成和過程其實(shí)和Encoder也是差不多，Encoder和Decoder的主要區(qū)別就是Decoder多了一個(gè)MaskedMulti-headattention。它使用這三種結(jié)構(gòu)對(duì)從Encoder獲得的信息進(jìn)行MaskedMulti-headattention，不同于之前的做法是Decoder在多頭注意力中添加了一個(gè)Masked，使得數(shù)據(jù)先保存和學(xué)習(xí)了序列的順序信息。再最后要經(jīng)過Linear和Softmax輸出概率。Self-AttentionSelf-Attention是Transformer最核心的內(nèi)容。Self-attention主要是來處理全局信息的。Self-Attention的結(jié)構(gòu)，如圖3.7所示，在運(yùn)算的時(shí)候需要同時(shí)用到矩陣Q（查詢），K（鍵值），V（值）三個(gè)值。在實(shí)際的股票預(yù)測中，Self-Attention是接收前一個(gè)Encoder部分的輸入或輸出。而Q、K、V是通過對(duì)Self-attention輸入的進(jìn)行線性變換而得到的。圖STYLEREF1\s3.SEQ圖\*ARABIC\s17Self-Attention結(jié)構(gòu)這種機(jī)制本質(zhì)上是一個(gè)尋址過程。通過給出與任務(wù)相關(guān)的查詢Q，通過計(jì)算K的注意力分布并將其與V相加來計(jì)算V。這個(gè)過程實(shí)際上是降低神經(jīng)網(wǎng)絡(luò)復(fù)雜度的一種表現(xiàn)過程。期間不需要將所有N個(gè)輸入維度都輸入到神經(jīng)網(wǎng)絡(luò)中進(jìn)行計(jì)算，而是選擇一些與任務(wù)相關(guān)的信息輸入到神經(jīng)網(wǎng)絡(luò)中。這樣導(dǎo)致可以更好的學(xué)習(xí)到金融時(shí)間數(shù)據(jù)內(nèi)部之間的聯(lián)系和相關(guān)的信息。Multi-HeadAttentionMulti-HeadAttention相當(dāng)于多個(gè)不同的Self-Attention的集合形成的。對(duì)于人們關(guān)注一個(gè)物體來說，人們會(huì)有更加關(guān)注的關(guān)注物的重點(diǎn)，這些重點(diǎn)往往包含更多更有用的信息，而其他的一些信息則相對(duì)來說沒有那么重要。假如我們關(guān)注買的是什么東西、它好不好吃，那么我們的重點(diǎn)就會(huì)關(guān)注于“是什么”和“什么作用”。通過多個(gè)不同的Self-Attention輸入多個(gè)關(guān)注點(diǎn)，得到每個(gè)上下關(guān)聯(lián)的向量。這些向量也包含了更多重要的信息。換句話說，Multi-HeadAttention機(jī)制做的事情就是通過增加重要信息的權(quán)重，同時(shí)減少不重要的信息的權(quán)重。圖STYLEREF1\s3.SEQ圖\*ARABIC\s18Multi-HeadAttentionPositionEmbeddings在Transformer的Encoder和Decoder的輸入層中，使用了PositionalEncoding，使得最終的輸入滿足：imput＝Imput＿Embedding＋Positional＿Encoding。因?yàn)門ransformer處理數(shù)據(jù)中的信息能力不強(qiáng)，且數(shù)據(jù)信息不必是有序信息。所以為了使模型能夠處理時(shí)間序列信息，需要在數(shù)據(jù)中添加位置信息以便使數(shù)據(jù)有序化。Transformer與LSTM的對(duì)比位置編碼方式LSTM以順序輸入的方式考慮位置信息，Transformer采用函數(shù)式絕對(duì)位置編碼的方式。LSTM一般只能通過順序的方式來處理信息，必須逐行處理來處理，這也是為什么LSTM經(jīng)常用于序列問題。而Transformer既可以用于非順序和順序來處理信息，也導(dǎo)致Transformer可以用在不同的領(lǐng)域當(dāng)中。并行能力Transformer的并行能力遠(yuǎn)遠(yuǎn)優(yōu)于LSTM，主要是因?yàn)長STM基本沒有并行能力，所以Transformer是一個(gè)更適合訓(xùn)練多層疊加的模型，LSTM同樣也可以多層疊加，但是多層的LSTM復(fù)雜度計(jì)算機(jī)難以承受，需要十分強(qiáng)大的浮點(diǎn)運(yùn)算能力。時(shí)間復(fù)雜度LSTM為O（n*d2），Transformer復(fù)雜度為O（n2*d）。對(duì)于Transformer，輸入x=[n,d]，q=xWq。這里，由于Wq=[d,n]，計(jì)算的復(fù)雜度為O（n*n*d），而當(dāng)q=[n,n]且score=q*v時(shí)，復(fù)雜度為O（n3），它小于q的計(jì)算量。對(duì)于LSTM，