1.3.1 局部連接

1.3.1局部連接

人們嘗試直接把原始圖像作為輸入，通過深度學習算法直接進行圖像分類，從而繞過複雜的特徵工程。常見的深度學習算法都是全連接形式，所謂全連接，就是第n–1層的任意一個節點，都和第n層所有節點有連接，如圖1-10所示。

同時，臨近輸入層的隱藏層的任意節點與輸入層的全部節點都有連接，如圖1-11所示。

圖1-10全連接示意圖

圖1-11輸入層與隱藏層全連接示意圖

以一個大小為1000×1000的灰度圖像為例，輸入層節點數量為1000×1000=1000000，隱藏層節點數量也為1000×1000=1000000，僅輸入層與隱藏層的連接就需要1000000×1000000=1012，這幾乎是個天文數字，如此巨大的計算量阻礙了深度學習在圖像分類方向的應用。

事情的轉機來源於生物學的一個發現。人們在研究貓的視覺神經細胞時發現，一個視覺神經元只負責處理視覺圖像的一小塊，這一小塊稱為感受野（ReceptiveField），類比在圖像分類領域，識別一個圖像是何種物體時，一個點與距離近的點之間的關聯非常緊密，但是和距離遠的點之間關係就不大了，甚至足夠遠的時候就可以忽略不計。

全連接與局部連接示意圖，如圖1-12所示。

圖1-12全連接與局部連接示意圖

具體到深度學習算法上，在隱藏層與輸入層之間，隱藏層的一個節點只處理一部分輸入層節點的數據，形成局部連接。繼續上面的例子，假設每個隱藏層的節點只處理10×10大小的數據，也就是說每個隱藏層的節點只與輸入層的100個節點連接，這樣在隱藏層節點數量和輸入層節點數量不變的情況下，輸入層與隱藏層的連接需要1000000×100=108，是全連接的萬分之一，雖然計算量下降不少，但是依然十分巨大。局部連接不會減少隱藏層的節點數量，減少的是隱藏層和輸入層之間的連接數。