用故事解釋softmax函數


    故事背景:選舉村的村長選舉


    在一個叫“選舉村”的地方,每四年一次,村民們都要選出一位新村長。這次,有四位候選人:


    ? 阿強(擅長務農,村民對他比較熟悉)


    ? 小美(善於管理,做過村委會秘書)


    ? 老李(年紀較大,經驗豐富,但村民對他評價不一)


    ? 張三(剛來村子不久,大家對他了解不多)


    選舉日,村民們需要根據他們的支持度,選擇一個人投票。但村民的支持度並不是“非黑即白”的,每個人對每位候選人的好感度都不同。為了更公平地衡量大家的意願,村子裏的智者發明了一種方法,叫 softmax 規則。


    softmax 的運作方式


    智者讓每個村民給四位候選人打分,比如某個村民的打分是:


    ? 阿強:8分


    ? 小美:6分


    ? 老李:5分


    ? 張三:3分


    但是,這些分數隻是相對的,我們需要轉換成“概率”來反映這個村民的最終選擇傾向。softmax 規則的做法是:


    1. 先用指數函數(e的指數)放大分數,避免負分影響決策:


    2. 計算這些指數值的總和:


    3. 再計算每個候選人的支持度占比:


    這樣,每個人最終的選擇概率就會落在 到 之間,並且所有候選人的概率加起來是 (保證了最終一定會選出一位村長)。


    比喻解釋:冰淇淋店的選擇


    假設你走進了一家冰淇淋店,店裏有四種口味:


    ? 巧克力(你最愛)


    ? 香草(你覺得還行)


    ? 草莓(一般般)


    ? 抹茶(你不太喜歡)


    如果你隻是隨意選,你可能會糾結,但softmax 規則就像是在你的大腦裏裝了一個“選擇助理”,它根據你對每個口味的喜愛程度(打分),幫你轉換成最終的選擇概率。例如:


    ? 你對巧克力的喜愛度是9分,香草7分,草莓5分,抹茶2分。


    ? softmax 把這些分數轉化成指數值,然後歸一化成概率:


    結果就是,你有最高的概率選擇巧克力,較低的概率選擇香草,幾乎不會選抹茶。


    總結


    softmax 函數的本質是:


    1. 將原始分數(打分)轉換成概率,使得總和為 1。


    2. 指數放大優勢,讓分數高的選項更有可能被選中。


    3. 讓所有選項都有可能被選中(即使得分最低的選項概率也不會完全是0)。


    無論是在選舉、推薦係統還是ai分類任務中,softmax 都像一個“理性的選擇助手”,幫我們做出合理的決策。


    多層分類的中間層會有偏置和中間結果


    用故事解釋“偏置”和“中間結果”


    故事背景:魔法師的學徒


    在一個魔法學院裏,有一位年輕的學徒——小艾。他正在學習如何用魔法配製“完美藥水”。


    學院的導師告訴他:“要配出理想的藥水,你需要三個關鍵步驟:”


    1. 收集原料(輸入數據)


    2. 研磨並混合(計算中間結果)


    3. 調整口味(加上偏置)


    小艾開始嚐試:


    ? 他拿了 龍眼果(原料1),月光花(原料2),銀露水(原料3),這些原料各自有不同的藥效分數。


    ? 他按照導師給的魔法公式進行計算,把這些原料的效果 加權(類似於機器學習中的“權重”)得到一個中間結果。


    ? 但是,每次配出來的藥水,總覺得有點偏酸或者偏苦,於是導師告訴他:“要加上一點魔法糖!”


    這 魔法糖 就是 偏置(bias)!


    導師解釋道:“有時候,光靠原料混合出來的效果可能會偏離目標,比如太苦了,我們就需要手動加點甜味,這樣最終的藥水才是完美的。”


    小艾恍然大悟,他在最後的配方中加入了一點 魔法糖(偏置),最終成功調配出一款 恰到好處的藥水(輸出結果)。


    用比喻解釋“偏置”和“中間結果”


    比喻1:做菜


    想象你正在做一鍋湯,你的過程是這樣的:


    1. 你放了雞肉、蔬菜和調料(輸入數據)。


    2. 你用鍋把這些食材煮成高湯(計算中間結果)。


    3. 但你嚐了一口,覺得味道有點淡,於是加了一點鹽(偏置)。


    這最後加的鹽就是“偏置”,它的作用是讓最終的味道更符合你的期待,而不是完全取決於原料本身的味道。


    比喻2:考試成績調整


    假設一群學生參加了數學考試,老師發現:


    ? 有些學生因為壓力太大,考試成績偏低。


    ? 有些題目出得特別難,導致整體分數偏低。


    為了更公平地評估學生的能力,老師在所有人的成績上額外加了5分。


    這個“額外加的5分”就是 偏置(bias)!它的作用是:


    ? 讓整個評分係統更加合理。


    ? 彌補一些係統性誤差,比如有的考試本身比別的考試更難。


    而學生的原始分數就是 中間結果,它是由他們答題的情況決定的,但最終的成績還要經過調整(加偏置)才能成為最終分數。


    總結


    ? 中間結果 就是計算過程中的“半成品”,就像湯還沒加鹽,藥水還沒加糖,考試還沒加調分。


    ? 偏置(bias) 就是最後人為加上的“調整項”,它的作用是讓最終結果更合理、更符合目標。


    就像魔法師加糖、廚師加鹽、老師調分一樣,神經網絡在計算時也會用“偏置”來微調輸出結果,使它更加精準。

章節目錄

閱讀記錄

職場小聰明所有內容均來自互聯網,繁體小說網隻為原作者翟曉鷹的小說進行宣傳。歡迎各位書友支持翟曉鷹並收藏職場小聰明最新章節