Softmax Function

["\u30bd\u30d5\u30c8\u30de\u30c3\u30af\u30b9\u95a2\u6570\uff08softargmax\u3001\u6b63\u898f\u5316\u6307\u6570\u95a2\u6570\u3068\u3082\u547c\u3070\u308c\u308b\uff09\u306f\u3001\u5b9f\u6570\u30d9\u30af\u30c8\u30eb\u3092\u78ba\u7387\u5206\u5e03\u306b\u5909\u63db\u3059\u308b\u6570\u5b66\u95a2\u6570\u3067\u3059\u3002\u3053\u308c\u306f\u30ed\u30b8\u30b9\u30c6\u30a3\u30c3\u30af\u95a2\u6570\u3092\u591a\u6b21\u5143\u306b\u4e00\u822c\u5316\u3057\u305f\u3082\u306e\u3067\u3042\u308a\u3001\u6a5f\u68b0\u5b66\u7fd2\u3001\u7279\u306b\u6df1\u5c64\u5b66\u7fd2\u306b\u304a\u3051\u308b\u591a\u30af\u30e9\u30b9\u5206\u985e\u554f\u984c\u3067\u5e83\u304f\u4f7f\u7528\u3055\u308c\u3066\u3044\u307e\u3059\u3002\n\n## \u5b9a\u7fa9\n\n\u5165\u529b\u30d9\u30af\u30c8\u30eb \\( \\mathbf{z} = (z_1, \\dots, z_K) \\in \\mathbb{R}^K \\)\uff08\u305f\u3060\u3057 \\( K > 1 \\)\uff09\u304c\u4e0e\u3048\u3089\u308c\u305f\u3068\u304d\u3001\u30bd\u30d5\u30c8\u30de\u30c3\u30af\u30b9\u95a2\u6570 \\( \\sigma: \\mathbb{R}^K \\to (0,1)^K \\) \u306f\u5404\u6210\u5206 \\( i \\) \u306b\u3064\u3044\u3066\u6b21\u306e\u3088\u3046\u306b\u5b9a\u7fa9\u3055\u308c\u307e\u3059\uff1a\n\n\\[ \\sigma(\\mathbf{z})_i = \\frac{e^{z_i}}{\\sum_{j=1}^{K} e^{z_j}} \\]\n\n\u51fa\u529b\u306f\u3001\u5408\u8a08\u304c1\u306b\u306a\u308b\u6b63\u306e\u5024\u306e\u30d9\u30af\u30c8\u30eb\u3067\u3042\u308a\u3001\u30ab\u30c6\u30b4\u30ea\u30ab\u30eb\u78ba\u7387\u5206\u5e03\u3068\u3057\u3066\u89e3\u91c8\u53ef\u80fd\u3067\u3059\u3002\u6307\u6570\u6f14\u7b97\u306f\u5165\u529b\u306e\u5dee\u3092\u5897\u5e45\u3059\u308b\u305f\u3081\u3001\u5165\u529b\u5024\u304c\u5927\u304d\u3044\u307b\u3069\u4e0d\u91e3\u308a\u5408\u3044\u306b\u5927\u304d\u306a\u78ba\u7387\u304c\u5272\u308a\u5f53\u3066\u3089\u308c\u307e\u3059\u3002\u4f8b\u3048\u3070\u3001\u30d9\u30af\u30c8\u30eb \\( (1, 2, 8) \\) \u306b\u30bd\u30d5\u30c8\u30de\u30c3\u30af\u30b9\u3092\u9069\u7528\u3059\u308b\u3068\u3001\u304a\u3088\u305d \\( (0.001, 0.002, 0.997) \\) \u3068\u306a\u308a\u3001\u307b\u307c\u3059\u3079\u3066\u306e\u78ba\u7387\u8cea\u91cf\u304c\u6700\u5927\u306e\u8981\u7d20\u306b\u5272\u308a\u5f53\u3066\u3089\u308c\u307e\u3059\u3002\n\n## \u6027\u8cea\n\n\u30bd\u30d5\u30c8\u30de\u30c3\u30af\u30b9\u95a2\u6570\u306b\u306f\u3001\u4ee5\u4e0b\u306e\u91cd\u8981\u306a\u6027\u8cea\u304c\u3042\u308a\u307e\u3059\uff1a\n- \u51fa\u529b\u7bc4\u56f2\uff1a\u5404\u6210\u5206\u306f\u53b3\u5bc6\u306b0\u30681\u306e\u9593\u306b\u3042\u308a\u307e\u3059\u3002\n- \u7dcf\u548c\u304c1\uff1a\u3059\u3079\u3066\u306e\u51fa\u529b\u6210\u5206\u306e\u5408\u8a08\u306f1\u306b\u7b49\u3057\u304f\u306a\u308a\u307e\u3059\u3002\n- \u9806\u5e8f\u306e\u4fdd\u5b58\uff1a\\( z_i > z_j \\) \u306a\u3089\u3070\u3001\\( \\sigma(\\mathbf{z})_i > \\sigma(\\mathbf{z})_j \\) \u304c\u6210\u308a\u7acb\u3061\u307e\u3059\u3002\n- \u5b9a\u6570\u30b7\u30d5\u30c8\u306b\u5bfe\u3059\u308b\u4e0d\u5909\u6027\uff1a\u3059\u3079\u3066\u306e\u5165\u529b\u306b\u5b9a\u6570 \\( c \\) \u3092\u52a0\u3048\u3066\u3082\u51fa\u529b\u306f\u5909\u308f\u308a\u307e\u305b\u3093\u3002\u306a\u305c\u306a\u3089\u3001\\( e^{z_i + c} / \\sum_j e^{z_j + c} = e^{z_i} / \\sum_j e^{z_j} \\) \u3068\u306a\u308b\u304b\u3089\u3067\u3059\u3002\u3053\u306e\u6027\u8cea\u306f\u3001\u8a08\u7b97\u524d\u306b\u6700\u5927\u5165\u529b\u5024\u3092\u6e1b\u7b97\u3059\u308b\u3053\u3068\u3067\u6570\u5024\u7684\u5b89\u5b9a\u6027\u3092\u78ba\u4fdd\u3059\u308b\u305f\u3081\u306b\u3057\u3070\u3057\u3070\u5229\u7528\u3055\u308c\u307e\u3059\u3002\n\n## \u6e29\u5ea6\u30d1\u30e9\u30e1\u30fc\u30bf\n\n\u30bd\u30d5\u30c8\u30de\u30c3\u30af\u30b9\u95a2\u6570\u306e\u5909\u7a2e\u3068\u3057\u3066\u3001\u6e29\u5ea6\u30d1\u30e9\u30e1\u30fc\u30bf \\( \\beta \\)\uff08\u307e\u305f\u306f\u305d\u306e\u9006\u6570 \\( T = 1/\\beta \\)\uff09\u3092\u5c0e\u5165\u3059\u308b\u3082\u306e\u304c\u3042\u308a\u307e\u3059\uff1a\n\n\\[ \\sigma(\\mathbf{z})_i = \\frac{e^{\\beta z_i}}{\\sum_{j=1}^{K} e^{\\beta z_j}} \\]\n\n\\( \\beta > 1 \\) \u306e\u5834\u5408\u3001\u5206\u5e03\u306f\u6700\u5927\u5165\u529b\u306e\u5468\u308a\u3067\u3088\u308a\u96c6\u4e2d\uff08\u300c\u30b7\u30e3\u30fc\u30d7\u300d\uff09\u3057\u3001\\( 0 < \\beta < 1 \\) \u306e\u5834\u5408\u3001\u3088\u308a\u4e00\u69d8\u306a\u5206\u5e03\u306b\u306a\u308a\u307e\u3059\u3002\u3053\u306e\u30d1\u30e9\u30e1\u30fc\u30bf\u306f\u3001top-k\u30b5\u30f3\u30d7\u30ea\u30f3\u30b0\u3084\u6e29\u5ea6\u30b9\u30b1\u30fc\u30ea\u30f3\u30b0\u306b\u304a\u3044\u3066\u3001\u751f\u6210AI\u30e2\u30c7\u30eb\u306e\u51fa\u529b\u306e\u30e9\u30f3\u30c0\u30e0\u6027\u3092\u5236\u5fa1\u3059\u308b\u305f\u3081\u306b\u4e00\u822c\u7684\u306b\u4f7f\u7528\u3055\u308c\u307e\u3059\u3002\n\n## \u5fdc\u7528\n\n\u30bd\u30d5\u30c8\u30de\u30c3\u30af\u30b9\u306f\u3001\u591a\u304f\u306e\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u30a2\u30fc\u30ad\u30c6\u30af\u30c1\u30e3\u306b\u304a\u3051\u308b\u4e2d\u6838\u7684\u306a\u69cb\u6210\u8981\u7d20\u3067\u3059\uff1a\n- \u5206\u985e\uff1a\u6700\u7d42\u6d3b\u6027\u5316\u5c64\u3068\u3057\u3066\u3001\u751f\u306e\u30ed\u30b8\u30c3\u30c8\u3092\u30af\u30e9\u30b9\u78ba\u7387\u306b\u5909\u63db\u3057\u3001\u4ea4\u5dee\u30a8\u30f3\u30c8\u30ed\u30d4\u30fc\u640d\u5931\u3092\u7528\u3044\u305f\u5b66\u7fd2\u3092\u53ef\u80fd\u306b\u3057\u307e\u3059\u3002\n- \u30a2\u30c6\u30f3\u30b7\u30e7\u30f3\u6a5f\u69cb\uff1aTransformer (architecture)\u30e2\u30c7\u30eb\u3067\u306f\u3001\u30de\u30eb\u30c1\u30d8\u30c3\u30c9\u30a2\u30c6\u30f3\u30b7\u30e7\u30f3\u306b\u898b\u3089\u308c\u308b\u3088\u3046\u306b\u3001\u30b7\u30fc\u30b1\u30f3\u30b9\u4f4d\u7f6e\u306b\u5bfe\u3059\u308b\u30a2\u30c6\u30f3\u30b7\u30e7\u30f3\u91cd\u307f\u306e\u8a08\u7b97\u306b\u30bd\u30d5\u30c8\u30de\u30c3\u30af\u30b9\u304c\u4f7f\u7528\u3055\u308c\u307e\u3059\u3002\n- \u5f37\u5316\u5b66\u7fd2\uff1a\u884c\u52d5\u306e\u9078\u597d\u3092\u78ba\u7387\u7684\u65b9\u7b56\u306b\u5909\u63db\u3057\u307e\u3059\u3002\n- \u6df7\u5408\u30e2\u30c7\u30eb\uff1a\u30ac\u30a6\u30b9\u6df7\u5408\u30e2\u30c7\u30eb\u306a\u3069\u306e\u30e2\u30c7\u30eb\u306b\u304a\u3051\u308b\u6df7\u5408\u91cd\u307f\u306e\u8a08\u7b97\u306b\u4f7f\u7528\u3055\u308c\u307e\u3059\u3002\n\n## \u6570\u5024\u7684\u5b89\u5b9a\u6027\n\n\u6307\u6570\u95a2\u6570\u3092\u76f4\u63a5\u8a08\u7b97\u3059\u308b\u3068\u3001\u5927\u304d\u306a\u5165\u529b\u306b\u5bfe\u3057\u3066\u30aa\u30fc\u30d0\u30fc\u30d5\u30ed\u30fc\u304c\u767a\u751f\u3059\u308b\u53ef\u80fd\u6027\u304c\u3042\u308a\u307e\u3059\u3002\u4e00\u822c\u7684\u306a\u5bfe\u7b56\u3068\u3057\u3066\u3001\u6307\u6570\u5316\u306e\u524d\u306b\u6700\u5927\u5165\u529b\u5024\u3092\u6e1b\u7b97\u3057\u307e\u3059\uff1a\n\n\\[ \\sigma(\\mathbf{z})_i = \\frac{e^{z_i - \\max(\\mathbf{z})}}{\\sum_{j=1}^{K} e^{z_j - \\max(\\mathbf{z})}} \\]\n\n\u3053\u306e\u5909\u63db\u306f\u30b7\u30d5\u30c8\u4e0d\u5909\u6027\u306e\u6027\u8cea\u306b\u3088\u308a\u7d50\u679c\u3092\u5909\u3048\u307e\u305b\u3093\u304c\u3001\u6700\u5927\u306e\u6307\u6570\u304c\u30bc\u30ed\u306b\u306a\u308b\u3053\u3068\u3092\u4fdd\u8a3c\u3057\u3001\u30aa\u30fc\u30d0\u30fc\u30d5\u30ed\u30fc\u3092\u9632\u304e\u307e\u3059\u3002\n\n## \u95a2\u9023\u6982\u5ff5\n\n\u30bd\u30d5\u30c8\u30de\u30c3\u30af\u30b9\u95a2\u6570\u306f\u30ed\u30b8\u30b9\u30c6\u30a3\u30c3\u30af\u95a2\u6570\u3068\u5bc6\u63a5\u306b\u95a2\u9023\u3057\u3066\u304a\u308a\u3001\u30ed\u30b8\u30b9\u30c6\u30a3\u30c3\u30af\u95a2\u6570\u306f \\( K = 2 \\) \u306e\u5834\u5408\u306e\u7279\u6b8a\u30b1\u30fc\u30b9\u3067\u3059\u3002\u307e\u305f\u3001\u4ea4\u5dee\u30a8\u30f3\u30c8\u30ed\u30d4\u30fc\u306a\u3069\u306e\u640d\u5931\u95a2\u6570\u3084\u3001\u30b7\u30fc\u30b1\u30f3\u30b9\u751f\u6210\u306b\u304a\u3051\u308b\u30d3\u30fc\u30e0\u30b5\u30fc\u30c1\u5fa9\u53f7\u306e\u6587\u8108\u3067\u3082\u767b\u5834\u3057\u307e\u3059\u3002\u5927\u898f\u6a21\u8a00\u8a9e\u30e2\u30c7\u30eb\u306e\u63a8\u8ad6\u3067\u306f\u3001\u30bd\u30d5\u30c8\u30de\u30c3\u30af\u30b9\u304c\u30ed\u30b8\u30c3\u30c8\u306b\u9069\u7528\u3055\u308c\u3066\u30c8\u30fc\u30af\u30f3\u78ba\u7387\u304c\u5f97\u3089\u308c\u3001\u5275\u9020\u6027\u3068\u4e00\u8cab\u6027\u306e\u30d0\u30e9\u30f3\u30b9\u3092\u53d6\u308b\u305f\u3081\u306b\u6e29\u5ea6\u8abf\u6574\u304c\u884c\u308f\u308c\u308b\u3053\u3068\u304c\u3088\u304f\u3042\u308a\u307e\u3059\u3002", true]