r036_logo

神經網路的基本單元-前續

前言

在深度學習中,神經元數(Neurons)、參數數目(Parameters)是理解模型結構重要指標

artificial-intelligence

神經元(Neurons)

神經元指的是神經網路中的基本單位,負責接收前一層的輸入,所以每一個神經元會具備同樣的輸入,但是不同神經元會有不同的反應,取決於他們之間的關聯。

日常的例子

當你看到狗,你的大腦可能會有一大部分的神經元受到激活,每一個神經元都會依據不同的特徵進行反應。

數學矩陣

從數學矩陣來看,每一層的輸入可以視為矩陣張量

假設資料維度是二維張量(Tensor),即輸入為 m×nm \times n 矩陣

  • mm 是樣本數

  • nn 是特徵數

每個神經元會對應到這些特徵,並計算加權總和,從矩陣乘法規則中,也可以明白神經元的傳遞原理

例如,為何可以從3個神經元中傳遞至5個神經元,最終結果又收斂回1個神經元

參數(Parameters)

指神經網路中所有的權重(Weights)和偏置(Bias)的總和。這些參數會隨著訓練過程被不斷調整,參數數目直接影響模型的容量與計算負擔,通常參數越多,意味著模型模型越大也越複雜。

日常的例子

繼續剛剛貼近日常的例子,假設你看到狗,你的大腦大部分神經元都一同受到刺激,但是你所知道的資訊細節不一定豐富,例如你不只是辨識出這是一隻狗,同時你也觀察到他在搖尾巴,聯想到他開心等等,這些後續聯想到的細節,可以理解成參數。

前向傳播(Forward Propagation )

透過前向傳波的原理可以更好的理解神經元與參數的關係,這部分涉及矩陣數學中的乘法原理

公式表達:

y=f(WX+b)y = f(W X + b)
  • yy 是神經元的輸出(對應一個神經元)

  • WWbb參數(權重和偏差)

  • xx 是輸入向量(可能是上一層多個神經元的輸出)

  • ff 是激活函數

計算方法

以一個神經網路(Neural Network)為例子,如下圖

artificial-intelligence