神經網路的基本單元-前續
前言
在深度學習中,神經元數(Neurons)、參數數目(Parameters)是理解模型結構重要指標
神經元(Neurons)
神經元指的是神經網路中的基本單位,負責接收前一層的輸入,所以每一個神經元會具備同樣的輸入,但是不同神經元會有不同的反應,取決於他們之間的關聯。
日常的例子
當你看到狗,你的大腦可能會有一大部分的神經元受到激活,每一個神經元都會依據不同的特徵進行反應。
數學矩陣
從數學矩陣來看,每一層的輸入可以視為矩陣張量
假設資料維度是二維張量(Tensor),即輸入為 矩陣
-
是樣本數
-
是特徵數
每個神經元會對應到這些特徵,並計算加權總和,從矩陣乘法規則中,也可以明白神經元的傳遞原理
例如,為何可以從3個神經元中傳遞至5個神經元,最終結果又收斂回1個神經元
參數(Parameters)
指神經網路中所有的權重(Weights)和偏置(Bias)的總和。這些參數會隨著訓練過程被不斷調整,參數數目直接影響模型的容量與計算負擔,通常參數越多,意味著模型模型越大也越複雜。
日常的例子
繼續剛剛貼近日常的例子,假設你看到狗,你的大腦大部分神經元都一同受到刺激,但是你所知道的資訊細節不一定豐富,例如你不只是辨識出這是一隻狗,同時你也觀察到他在搖尾巴,聯想到他開心等等,這些後續聯想到的細節,可以理解成參數。
前向傳播(Forward Propagation )
透過前向傳波的原理可以更好的理解神經元與參數的關係,這部分涉及矩陣數學中的乘法原理
公式表達:
-
是神經元的輸出(對應一個神經元)
-
和 是參數(權重和偏差)
-
是輸入向量(可能是上一層多個神經元的輸出)
-
是激活函數
計算方法
以一個神經網路(Neural Network)為例子,如下圖