{"id":1362,"date":"2024-06-03T10:44:48","date_gmt":"2024-06-03T01:44:48","guid":{"rendered":"https:\/\/d-itlab.co.jp\/?post_type=release&#038;p=1362"},"modified":"2026-03-10T10:45:00","modified_gmt":"2026-03-10T01:45:00","slug":"20240603","status":"publish","type":"release","link":"https:\/\/d-itlab.co.jp\/en\/release\/20240603\/","title":{"rendered":"\u6c4e\u7528GPU\u306e\u65b0\u305f\u306a\u6f14\u7b97\u91cf\u524a\u6e1b\u3068\u7cbe\u5ea6\u7dad\u6301\u3092\u4e21\u7acb\u3059\u308b\u624b\u6cd5\u3092\u63d0\u6848[ICLR2024]"},"content":{"rendered":"<h1>NVIDIA\u793e\u306a\u3069\u304c\u63d0\u4f9b\u3059\u308b\u6c4e\u7528GPU\u306e<br \/>\n\u65b0\u305f\u306a\u6f14\u7b97\u91cf\u524a\u6e1b\u3068\u7cbe\u5ea6\u7dad\u6301\u3092\u4e21\u7acb\u3059\u308b\u624b\u6cd5\u3092\u63d0\u6848<\/h1>\n<h3>\uff5e\u6a5f\u68b0\u5b66\u7fd2\u30fb\uff21\uff29\u5206\u91ce\u306e\u30c8\u30c3\u30d7\u30ab\u30f3\u30d5\u30a1\u30ec\u30f3\u30b9\u300cICLR2024\u300d\u306b\u4e3b\u8457\u7814\u7a76\u8ad6\u6587\u304c\u63a1\u629e\uff5e<\/h3>\n<p>\u30af\u30eb\u30de\u3068\u30e2\u30d3\u30ea\u30c6\u30a3\u793e\u4f1a\u5168\u4f53\u306e\u672a\u6765\u3092\u898b\u636e\u3048\u3001\u300c\u7a2e\u300d\u3068\u306a\u308b\u5148\u7aef\u57fa\u790e\u7814\u7a76\u3092\u884c\u3046\u682a\u5f0f\u4f1a\u793e\u30c7\u30f3\u30bd\u30fc\u30a2\u30a4\u30c6\u30a3\u30e9\u30dc\u30e9\u30c8\u30ea\uff08\u672c\u793e\uff1a\u6771\u4eac\u90fd\u6e2f\u533a\u3000\u4ee3\u8868\u53d6\u7de0\u5f79\u793e\u9577\uff1a\u5cb8\u672c\u6b63\u5fd7\uff09\u306e\u7814\u7a76\u8005\u3067\u3042\u308b\u95a2\u5ddd\u96c4\u4ecb\u3089\u306b\u3088\u308b\u8ad6\u6587\u300cSAS: Structured Activation Sparsification\u300d\u304c\u30015\u67087\u65e5\u304b\u308911\u65e5\u306b\u30aa\u30fc\u30b9\u30c8\u30ea\u30a2\u306e\u30a6\u30a3\u30fc\u30f3\u3067\u958b\u50ac\u3055\u308c\u305f\u300c<a href=\"https:\/\/iclr.cc\/Conferences\/2024\">The Twelfth International Conference on Learning Representations (ICLR 2024)<\/a>\u300d\u3067\u63a1\u629e\u3055\u308c\u307e\u3057\u305f\u3002\u300cICLR\u300d\u306f\u6a5f\u68b0\u5b66\u7fd2\u5206\u91ce\u306b\u304a\u3044\u3066\u56fd\u969b\u7684\u306b\u6a29\u5a01\u306e\u3042\u308b\u30c8\u30c3\u30d7\u30ab\u30f3\u30d5\u30a1\u30ec\u30f3\u30b9\u306e\u4e00\u3064\u3067\u3059\u3002<\/p>\n<p>\u672c\u7814\u7a76\u3067\u306f\u3001\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u306e\u6f14\u7b97\u91cf\u3092\u5897\u3084\u3055\u305a\u306b\u30d1\u30e9\u30e1\u30fc\u30bf\u6570\u3092\u5897\u3084\u3059\u6f14\u7b97\u624b\u6cd5\u3092\u63d0\u6848\u3057\u307e\u3057\u305f\u3002\u3053\u308c\u306b\u3088\u308a\u3001\u6f14\u7b97\u91cf\u524a\u6e1b\u3068\u7cbe\u5ea6\u7dad\u6301\u306e\u4e21\u7acb\u304c\u5b9f\u73fe\u3067\u304d\u307e\u3059\u3002\u307e\u305f\u5c02\u7528\u30cf\u30fc\u30c9\u30a6\u30a7\u30a2\u3092\u65b0\u305f\u306b\u958b\u767a\u3059\u308b\u3053\u3068\u306a\u304f\u3001NVIDIA\u793e\u3084AMD\u793e\u306a\u3069\u306e\u6c4e\u7528GPU\u3092\u6d3b\u7528\u3059\u308b\u3053\u3068\u3067\u5b9f\u88c5\u3059\u308b\u3053\u3068\u304c\u53ef\u80fd\u3067\u3059\u3002<\/p>\n<figure><img decoding=\"async\" src=\"https:\/\/d-itlab.co.jp\/wp-content\/uploads\/20240603\/SAS_top.png\" \/><figcaption class=\"caption-center\">\u8868\uff1a2:1\u306e\u30b9\u30d1\u30fc\u30b9\u30d1\u30bf\u30fc\u30f3\u3092\u7528\u3044\u3066\u6f14\u7b97\u91cf\u3092\u4fdd\u3063\u305f\u307e\u307e\u5c64\u3054\u3068\u306e\u30d1\u30e9\u30e1\u30fc\u30bf\u6570\u3092\u5897\u3084\u3059\u624b\u6cd5\u306e\u6bd4\u8f03<\/figcaption><\/figure>\n<p>\u81ea\u52d5\u8eca\u3084\u643a\u5e2f\u96fb\u8a71\u306a\u3069\u306e\u30a8\u30c3\u30b8\u7aef\u672b\u306b\u5927\u898f\u6a21\u306a\u9ad8\u7cbe\u5ea6\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u306e\u30e2\u30c7\u30eb\u3092\u7d44\u307f\u8fbc\u3080\u306b\u306f\u3001\u30cf\u30fc\u30c9\u30a6\u30a7\u30a2\u306e\u6027\u80fd\u3084\u4f7f\u7528\u96fb\u529b\u306b\u5236\u9650\u304c\u3042\u308b\u305f\u3081\u7cbe\u5ea6\u3092\u843d\u3068\u3055\u305a\u6f14\u7b97\u91cf\u3092\u6e1b\u3089\u3059\u5fc5\u8981\u304c\u3042\u308a\u307e\u3059\u3002\u672c\u624b\u6cd5\u306f\u305d\u306e\u8ab2\u984c\u3078\u306e\u65b0\u3057\u3044\u30a2\u30d7\u30ed\u30fc\u30c1\u3067\u3042\u308a\u3001\u4e16\u754c\u4e2d\u3067\u5e45\u5e83\u304f\u6d3b\u7528\u3055\u308c\u3066\u3044\u308bGPU\u306b\u642d\u8f09\u3055\u308c\u305f\u3001\u758e(\u30b9\u30d1\u30fc\u30b9)\u306a\u884c\u5217\u306e\u9ad8\u901f\u8a08\u7b97\u6a5f\u80fd\u306e\u6709\u76ca\u306a\u6d3b\u7528\u6cd5\u3092\u8003\u6848\u3057\u305f\u70b9\u3082\u8a55\u4fa1\u3055\u308c\u307e\u3057\u305f\u3002<\/p>\n<p class=\"has-text-color has-background has-medium-font-size has-very-light-gray-color has-vivid-red-background-color\"><strong>\u25a0\u7814\u7a76\u306e\u80cc\u666f\uff1a\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u306e\u7cbe\u5ea6\u5411\u4e0a\u306b\u304a\u3051\u308b\u58c1<\/strong><\/p>\n<p>\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u306f\u3001\u5404\u5c64\u306e\u30d1\u30e9\u30e1\u30fc\u30bf\u304c\u591a\u3044\uff08\u5e45\u304c\u5e83\u3044\uff09\u307b\u3069\u7cbe\u5ea6\u304c\u9ad8\u304f\u306a\u308a\u307e\u3059\u3002\u3057\u304b\u3057\u3001\u5404\u5c64\u306e\u30d1\u30e9\u30e1\u30fc\u30bf\u304c\u591a\u3044\u5927\u898f\u6a21\u306a\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u3067\u306f\u6f14\u7b97\u91cf\u304c\u5897\u3048\u308b\u305f\u3081\u3001\u9ad8\u6027\u80fd\u306a\u30cf\u30fc\u30c9\u30a6\u30a7\u30a2\u3084\u9ad8\u96fb\u529b\u306e\u4f9b\u7d66\u304c\u5fc5\u8981\u3068\u306a\u308a\u307e\u3059\u3002\u4e00\u65b9\u3001AI\u306e\u66f4\u306a\u308b\u5229\u7528\u304c\u671f\u5f85\u3055\u308c\u308b\u643a\u5e2f\u96fb\u8a71\u3084\u81ea\u52d5\u8eca\u306a\u3069\u306f\u3001\u30a8\u30c3\u30b8\u7aef\u672b\u3068\u3057\u3066\u30cf\u30fc\u30c9\u30a6\u30a7\u30a2\u6027\u80fd\u3084\u4f7f\u7528\u96fb\u529b\u306b\u5236\u9650\u304c\u3042\u308a\u307e\u3059\u3002\u305d\u306e\u305f\u3081\u3001\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u306e\u5b9f\u88c5\u306b\u3042\u305f\u3063\u3066\u306f\u30e2\u30c7\u30eb\u306e\u7cbe\u5ea6\u3092\u843d\u3068\u3055\u305a\u6f14\u7b97\u91cf\u3092\u6e1b\u3089\u3059\u3053\u3068\u304c\u8ab2\u984c\u3068\u306a\u308a\u307e\u3059\u3002<\/p>\n<p>\u524d\u63d0\u3068\u3057\u3066\u3001\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u306e\u6f14\u7b97\u306f\u5404\u5c64\u306e\u5165\u529b\u3068\u91cd\u307f\u306e\u5185\u7a4d\u3092\u53d6\u308b\u6f14\u7b97\u3067\u69cb\u6210\u3055\u308c\u307e\u3059\u3002\u305d\u3057\u3066\u3001\u3053\u306e\u6f14\u7b97\u91cf\u3092\u6e1b\u3089\u3059\u624b\u6cd5\u3068\u3057\u3066\u3001\u5b66\u7fd2\u3057\u305f\u30e2\u30c7\u30eb\u306e\u91cd\u307f\u30d1\u30e9\u30e1\u30fc\u30bf\u306e\u4e00\u90e8\u3092\u30bc\u30ed\u306b\u3059\u308b\u300c\u679d\u5208\u308a\u300d\u3068\u3044\u3046\u624b\u6cd5\u304c\u3088\u304f\u7528\u3044\u3089\u308c\u307e\u3059\u3002\u300c\u679d\u5208\u308a\u300d\u3092\u884c\u3063\u3066\u3001\u30bc\u30ed\u306b\u8fd1\u3044\u30d1\u30e9\u30e1\u30fc\u30bf\u3092\u53b3\u5bc6\u306b\u30bc\u30ed\u306b\u7f6e\u304d\u63db\u3048\u3066\u3082\u7cbe\u5ea6\u3078\u306e\u5f71\u97ff\u304c\u5c0f\u3055\u3044\u3053\u3068\u304c\u77e5\u3089\u308c\u3066\u3044\u307e\u3059\u3002\u3055\u3089\u306b\u3001\u30bc\u30ed\u306b\u3059\u308b\u30d1\u30e9\u30e1\u30fc\u30bf\u306e\u4f4d\u7f6e\u306b\u69cb\u9020\uff08\u898f\u5247\u6027\uff09\u3092\u6301\u305f\u305b\u308b\u3053\u3068\u3067\u3001\u7cbe\u5ea6\u3092\u4fdd\u3063\u305f\u307e\u307e\u6f14\u7b97\u91cf\u3092\u6e1b\u3089\u3059\u3053\u3068\u304c\u53ef\u80fd\u3067\u3059\u3002\u305f\u3060\u3057\u3001\u305d\u308c\u3092\u5b9f\u73fe\u3059\u308b\u306b\u306f\u305d\u306e\u69cb\u9020\u3092\u9ad8\u901f\u306b\u51e6\u7406\u3059\u308b\u6f14\u7b97\u6a5f\u80fd\u3092\u642d\u8f09\u3057\u305fGPU\u306a\u3069\u306e\u30cf\u30fc\u30c9\u30a6\u30a7\u30a2\u304c\u5fc5\u8981\u3068\u306a\u308a\u307e\u3059\u3002<\/p>\n<p>\u3053\u308c\u307e\u3067\u306bNVIDIA\u793e\u306f\u3001\u300c\u9023\u7d9a\u3059\u308bM\u500b\u306e\u30e2\u30c7\u30eb\u306e\u91cd\u307f\u306e\u30d1\u30e9\u30e1\u30fc\u30bf\u306e\u3046\u3061N\u500b\u3092\u30bc\u30ed\u300d\u306b\u3059\u308b\u69cb\u9020\u3092\u6301\u3063\u305f\u679d\u5208\u308a\u624b\u6cd5(SWS)\u3092\u63d0\u6848\u3057\u3066\u3044\u307e\u3059\u3002\u540c\u793e\u304c\u958b\u767a\u3057\u305fGPU\u306b\u306f\u3053\u306e\u624b\u6cd5\u3092\u30b5\u30dd\u30fc\u30c8\u3059\u308b\u6f14\u7b97\u5668Sparse Tensor Core\u304c\u5b9f\u88c5\u3055\u308c\u3066\u304a\u308a\u3001\u6f14\u7b97\u91cf\u3092\u5143\u306e\u30e2\u30c7\u30eb\u306e\u534a\u5206\u306b\u6e1b\u3089\u3059\u3053\u3068\u304c\u3067\u304d\u307e\u3059\u3002<\/p>\n<p>\u4e00\u65b9\u3067\u3001\u6f14\u7b97\u91cf\u3092\u6e1b\u3089\u3059\u305f\u3081\u306b\u91cd\u307f\u3067\u306f\u306a\u304f\u5165\u529b\u306e\u4e00\u90e8\u3092\u30bc\u30ed\u306b\u3059\u308b(\u30b9\u30d1\u30fc\u30b9\u306b\u3059\u308b)\u65b9\u6cd5\u3082\u3042\u308a\u307e\u3059\u3002\u3057\u304b\u3057\u3001\u56fa\u5b9a\u3055\u308c\u305f\u30e2\u30c7\u30eb\u306e\u91cd\u307f\u306e\u30d1\u30e9\u30e1\u30fc\u30bf\u3068\u7570\u306a\u308a\u3001\u5165\u529b\u306f\u6bce\u56de\u7570\u306a\u308b\u5024\u3092\u53d6\u308b\u305f\u3081\u7cbe\u5ea6\u52a3\u5316\u3092\u6291\u3048\u3064\u3064\u3001\u69cb\u9020\u3092\u6301\u305f\u305b\u3066\u30b9\u30d1\u30fc\u30b9\u306b\u3059\u308b\u3053\u3068\u306f\u3053\u308c\u307e\u3067\u56f0\u96e3\u3067\u3057\u305f\u3002\u305d\u306e\u305f\u3081\u3001\u69cb\u9020\u3092\u6301\u305f\u305b\u305a\u306b\u30b9\u30d1\u30fc\u30b9\u306b\u3059\u308b\u624b\u6cd5\u304c\u63d0\u6848\u3055\u308c\u3066\u304d\u307e\u3057\u305f\u304c\u3001\u305d\u308c\u3089\u306e\u624b\u6cd5\u306f\u30cf\u30fc\u30c9\u30a6\u30a7\u30a2\u4e0a\u3067\u5b9f\u88c5\u3059\u308b\u3053\u3068\u306f\u975e\u5e38\u306b\u56f0\u96e3\u3067\u3059\u3002<\/p>\n<p class=\"has-text-color has-background has-medium-font-size has-very-light-gray-color has-vivid-red-background-color\"><strong>\u25a0\u672c\u7814\u7a76\u306e\u6210\u679c\uff1aSWS\u3088\u308a\u9ad8\u3044\u7cbe\u5ea6\u3092\u540c\u3058\u6f14\u7b97\u91cf\u3067\u5b9f\u73fe<\/strong><\/p>\n<p>\u672c\u7814\u7a76\u3067\u63d0\u6848\u3059\u308bSAS\uff08Structured Activation Sparsification\uff09\u306f\u3001\u5165\u529b\u306e\u4e00\u90e8\u3092\u30bc\u30ed\u306b\u3059\u308b\u306e\u3067\u306f\u306a\u304f\u3080\u3057\u308d\u3001\u300c\u9023\u7d9a\u3059\u308bM\u500b\u306e\u3046\u30611\u500b\u3060\u3051\u5024\u3092\u6301\u3064\u300d\u3088\u3046\u306a\u898f\u5247\u3067\u5165\u529b\u306e\u6b21\u5143\u3092\u5897\u3084\u3059\u5909\u63db\u3092\u3057\u307e\u3059\u3002\u3053\u308c\u306b\u3088\u308a\u3001\u5165\u529b\u6570\u306fM\u500d\u306e\u69cb\u9020\u5316\u3055\u308c\u305f\u30b9\u30d1\u30fc\u30b9\u306a\u884c\u5217\u3068\u306a\u308a\u3001\u91cd\u307f\u884c\u5217\u3082M\u500d\u306e\u30d1\u30e9\u30e1\u30fc\u30bf\u3092\u6709\u3059\u308b\u3053\u3068\u304c\u53ef\u80fd\u3068\u306a\u308a\u307e\u3059\u3002\u3053\u306e\u6f14\u7b97\u306f\u7387\u76f4\u306b\u306f\u5143\u306e\u884c\u5217\u306b\u6bd4\u3079\u3066M\u500d\u306e\u6f14\u7b97\u91cf\u3092\u5fc5\u8981\u3068\u3057\u307e\u3059\u304c\u3001\u305d\u306e\u69cb\u9020\u3092\u6301\u3063\u305f\u30b9\u30d1\u30fc\u30b9\u6027\u3092\u5229\u7528\u3059\u308b\u3053\u3068\u3067\u3001\u5143\u306e\u884c\u5217\u3068\u540c\u3058\u5927\u304d\u3055\u306e\u5c0f\u3055\u306a\u884c\u5217\u540c\u58eb\u306e\u6f14\u7b97\u306b\u5e30\u7740\u3067\u304d\u307e\u3059\u3002\u3055\u3089\u306b\u3001M=2\u306e\u6642\u306fNVIDIA\u793e\u306eAmpere(Sparse Tensor Core)\u3084AMD\u793e\u306eCDNA\u306a\u3069\u306b\u642d\u8f09\u306e\u30b9\u30d1\u30fc\u30b9\u884c\u5217\u306e\u9ad8\u901f\u8a08\u7b97\u6a5f\u80fd\u3092\u5165\u529b\u884c\u5217\u306b\u5fdc\u7528\u3059\u308b\u3053\u3068\u3067<br \/>\n\u305d\u306e\u307e\u307e\u5b9f\u88c5\u3059\u308b\u3053\u3068\u304c\u53ef\u80fd\u3067\u3059\u3002<\/p>\n<figure><img decoding=\"async\" src=\"https:\/\/d-itlab.co.jp\/wp-content\/uploads\/20240603\/SAS_image.png\" \/><figcaption class=\"caption-center\">\u56f3\uff1a\u5165\u529b\u3092\u69cb\u9020\u5316\u3055\u308c\u305f\u30b9\u30d1\u30fc\u30b9\u306a\u884c\u5217\u306b\u5909\u63db\u3057\u3066\u91cd\u307f\u306e\u30d1\u30e9\u30e1\u30fc\u30bf\u6570\u3092\u6e1b\u3089\u3055\u305a\u6f14\u7b97\u3059\u308b<\/figcaption><\/figure>\n<p>\u3053\u306e\u3088\u3046\u306b\u3001\u672c\u7814\u7a76\u306e\u63d0\u6848\u3059\u308bSAS\u306f\u6f14\u7b97\u91cf\u3092\u5909\u3048\u305a\u306b\u305f\u304f\u3055\u3093\u306e\u30d1\u30e9\u30e1\u30fc\u30bf\u3092\u3082\u3063\u305f\u5e45\u306e\u5e83\u3044\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u3092\u5b9f\u73fe\u3057\u307e\u3059\u3002\u305d\u306e\u305f\u3081\u3001\u540c\u3058\u6f14\u7b97\u91cf\u306e\u3082\u3068\u3067\u3001\u76f4\u63a5\u91cd\u307f\u3092\u30b9\u30d1\u30fc\u30b9\u306b\u3059\u308b\u5f93\u6765\u306eSWS\u3088\u308a\u9ad8\u3044\u8868\u73fe\u529b\u30fb\u7cbe\u5ea6\u3092\u4fdd\u6301\u3067\u304d\u307e\u3059\u3002\u3055\u3089\u306b\u5165\u529b\u306e\u30b9\u30d1\u30fc\u30b9\u6027\u3092\u4e0a\u3052\u3066\u3044\u304f\u3053\u3068\u3067\u6f14\u7b97\u91cf\u3092\u5909\u3048\u305a\u306b\u7cbe\u5ea6\u304c\u5411\u4e0a\u3057\u3066\u3044\u304f\u3053\u3068\u3082\u78ba\u8a8d\u3067\u304d\u307e\u3057\u305f\u3002\u307e\u305f\u3001SAS\u306b\u3088\u308b\u5185\u7a4d\u304cSparse Tensor Core\u3067\u52d5\u4f5c\u3059\u308b\u3053\u3068\u3082\u691c\u8a3c\u3057\u307e\u3057\u305f\u3002<\/p>\n<p class=\"has-text-color has-background has-medium-font-size has-very-light-gray-color has-vivid-red-background-color\"><strong>\u25a0\u672c\u7814\u7a76\u306e\u8ad6\u6587<\/strong><\/p>\n<p>Yusuke Sekikawa and Shingo Yashima. \u201cSAS: Structured Activation Sparsification.\u201d In The Twelfth International Conference on Learning Representations (2024)<\/p>\n<p class=\"has-text-color has-background has-medium-font-size has-very-light-gray-color has-vivid-red-background-color\"><strong>\u25a0\u4eca\u5f8c\u306e\u5c55\u958b<\/strong><\/p>\n<p>\u4eca\u56de\u306e\u7814\u7a76\u767a\u8868\u3067\u306f\u3001SAS\u306e\u30a2\u30eb\u30b4\u30ea\u30ba\u30e0\u306e\u63d0\u6848\u3068\u305d\u306e\u7cbe\u5ea6\u8a55\u4fa1\u306a\u3089\u3073\u306b\u6c4e\u7528GPU\u3067\u306e\u52d5\u4f5c\u691c\u8a3c\u3092\u884c\u3044\u307e\u3057\u305f\u3002\u4eca\u5f8c\u306f\u3001\u5b9f\u969b\u306e\u30a2\u30d7\u30ea\u30b1\u30fc\u30b7\u30e7\u30f3\u306b\u5411\u3051\u305f\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u3092\u69cb\u7bc9\u3059\u308b\u305f\u3081\u306e\u30bd\u30d5\u30c8\u30a6\u30a7\u30a2\u958b\u767a\u3092\u9032\u3081\u3066\u3044\u304d\u307e\u3059\u3002<br \/>\n\u307e\u305f\u3001\u672c\u7814\u7a76\u6210\u679c\u306f\u6c4e\u7528GPU\u3078\u306e\u9069\u7528\u306b\u7559\u307e\u3089\u305a\u3001SAS\u306e\u539f\u7406\u3092\u6d3b\u7528\u3057\u305f\u3001\u81ea\u52d5\u8eca\u3084\u643a\u5e2f\u96fb\u8a71\u306a\u3069\u306e\u30a8\u30c3\u30b8\u7aef\u672b\u5411\u3051\u306e\u9ad8\u7cbe\u5ea6\u5c02\u7528AI\u30a2\u30af\u30bb\u30e9\u30ec\u30fc\u30bf\u306e\u958b\u767a\u304c\u671f\u5f85\u3055\u308c\u307e\u3059\u3002<\/p>\n<figure><img decoding=\"async\" src=\"https:\/\/d-itlab.co.jp\/wp-content\/uploads\/20240603\/sekikawa.jpg\" \/><figcaption class=\"caption-center\">\u95a2\u5ddd\u96c4\u4ecb(\u7814\u7a76\u958b\u767a\u30b0\u30eb\u30fc\u30d7\u30fb\u30b7\u30cb\u30a2\u30ea\u30b5\u30fc\u30c1\u30e3\u30fc)<\/figcaption><p class=\"has-text-color has-background has-medium-font-size has-very-light-gray-color has-vivid-red-background-color\"><strong>\u25a0ICLR\u306b\u3064\u3044\u3066<\/strong><\/p>\n<p>\u6a5f\u68b0\u5b66\u7fd2\u5206\u91ce\u306e\u56fd\u969b\u4f1a\u8b70\u300cICLR 2024\u300d\u203b1\u306f\u4e16\u754c\u4e2d\u306e\u7814\u7a76\u8005\u306b\u3088\u3063\u3066\u6bce\u5e74\u958b\u50ac\u3055\u308c\u308b\u56fd\u969b\u4f1a\u8b70\u3067\u3001\u300cICML\u300d\u203b2\u300cNeurIPS\u300d\u203b3\u3068\u4e26\u3073\u3001\u6a5f\u68b0\u5b66\u7fd2\u3084\u6df1\u5c64\u5b66\u7fd2\u306e\u5206\u91ce\u3067\u6a29\u5a01\u3042\u308b\u30c8\u30c3\u30d7\u30ab\u30f3\u30d5\u30a1\u30ec\u30f3\u30b9\u306e\u4e00\u3064\u3067\u3059\u3002<\/p>\n<p><small><br \/>\n\u203b1\u3000\u300cICLR\u300dThe International Conference on Learning Representations ( <a href=\"https:\/\/iclr.cc\/\">https:\/\/iclr.cc\/<\/a> )<br \/>\n\u203b2\u3000\u300cNeurIPS\u300dNeural Information Processing Systems( <a href=\"https:\/\/nips.cc\/\">https:\/\/nips.cc\/ <\/a> )<br \/>\n\u203b3\u3000\u300cICML\u300dInternational Conference on Machine Learning\u3000\u3000\uff08<a href=\"https:\/\/icml.cc\/\">https:\/\/icml.cc\/<\/a>\uff09<\/small><\/p>\n<p class=\"has-text-color has-background has-medium-font-size has-very-light-gray-color has-vivid-red-background-color\"><strong>\u25a0\u682a\u5f0f\u4f1a\u793e\u30c7\u30f3\u30bd\u30fc\u30a2\u30a4\u30c6\u30a3\u30fc\u30e9\u30dc\u30e9\u30c8\u30ea\u3068\u306f<\/strong><\/p>\n<p>\u30c7\u30f3\u30bd\u30fc\u30b0\u30eb\u30fc\u30d7\u306b\u304a\u3051\u308b\u60c5\u5831\u6280\u8853\u306e\u5148\u7aef\u7814\u7a76\u3092\u62c5\u304625\u4eba\u307b\u3069\u306e\u7814\u7a76\u8005\u96c6\u56e3\u3067\u3042\u308a\u3001\u300c\u81ea\u5206\u305f\u3061\u3067\u8ab2\u984c\u3092\u898b\u3064\u3051\u3001\u305d\u308c\u3092\u89e3\u6c7a\u3059\u308b\u6280\u8853\u306e\u67f1\u3092\u4f5c\u308b\u300d\u30b7\u30fc\u30ba\u63d0\u6848\u578b\u306e\u5148\u7aef\u57fa\u790e\u7814\u7a76\u4f01\u696d\u3067\u3059\u3002\u7814\u7a76\u5206\u91ce\u306b\u306f\u3001\u6df1\u5c64\u5b66\u7fd2\u3084\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u3001\u753b\u50cf\u8a8d\u8b58\u3001\u81ea\u7136\u8a00\u8a9e\u51e6\u7406\u3001\u8a8d\u77e5\u79d1\u5b66\u3001\u4fe1\u53f7\u51e6\u7406\u3001\u30e6\u30fc\u30b6\u30fc\u30a4\u30f3\u30bf\u30fc\u30d5\u30a7\u30fc\u30b9\u3001\u30bb\u30f3\u30b7\u30f3\u30b0\u6280\u8853\u306a\u3069\u304c\u3042\u308a\u307e\u3059\u3002\u682a\u5f0f\u4f1a\u793e\u30c7\u30f3\u30bd\u30fc\u306e100\uff05\u51fa\u8cc7\u5b50\u4f1a\u793e\u3068\u306a\u308a\u307e\u3059\u3002<\/p>\n<p class=\"has-text-color has-background has-medium-font-size has-very-light-gray-color has-vivid-red-background-color\"><strong>\u25a0\u554f\u3044\u5408\u308f\u305b\u5148<\/strong><\/p>\n<p>\u30c7\u30f3\u30bd\u30fcIT\u30e9\u30dc\u30e9\u30c8\u30ea\u5e83\u5831\u4e8b\u52d9\u5c40\uff08\u30a8\u30dd\u30c3\u30af\u30b7\u30fc\u30c9\uff09\u3000\u68ee\u4e0b<br \/>\n\u96fb\u8a71\uff1a03\u20103407\u20105780\u3000\u30e1\u30fc\u30eb\uff1apress@epochseed.jp<\/figure>\n","protected":false},"featured_media":0,"template":"","categories":[20],"member":[27],"keyword_tech":[65],"class_list":["post-1362","release","type-release","status-publish","hentry","category-release","member-27","keyword_tech-model-compression","en-US"],"acf":[],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.2 - aioseo.com -->\n\t<meta name=\"description\" content=\"NVIDIA\u793e\u306a\u3069\u304c\u63d0\u4f9b\u3059\u308b\u6c4e\u7528GPU\u306e \u65b0\u305f\u306a\u6f14\u7b97\u91cf\u524a\u6e1b\u3068\u7cbe\u5ea6\u7dad\u6301\u3092\u4e21\u7acb\u3059\u308b\u624b\u6cd5\u3092\u63d0\u6848 \uff5e\u6a5f\u68b0\u5b66\u7fd2\u30fb\uff21\uff29\u5206\u91ce\u306e\u30c8\u30c3\u30d7\u30ab\u30f3\u30d5\u30a1\u30ec\u30f3\u30b9\u300cICLR2024\u300d\u306b\u4e3b\u8457\u7814\u7a76\u8ad6\u6587\u304c\u63a1\u629e\uff5e \u30af\u30eb\u30de\u3068\u30e2\u30d3\u30ea\u30c6\u30a3\u793e\u4f1a\u5168\u4f53\u306e\u672a\u6765\u3092\u898b\u636e\u3048\u3001\u300c\u7a2e\u300d\u3068\u306a\u308b\u5148\u7aef\u57fa\u790e\u7814\u7a76\u3092\u884c\u3046\u682a\u5f0f\u4f1a\u793e\u30c7\u30f3\u30bd\u30fc\u30a2\u30a4\u30c6\u30a3\u30e9\u30dc\u30e9\u30c8\u30ea\uff08\u672c\u793e\uff1a\u6771\u4eac\u90fd\u6e2f\u533a \u4ee3\u8868\u53d6\u7de0\u5f79\u793e\u9577\uff1a\u5cb8\u672c\u6b63\u5fd7\uff09\u306e\u7814\u7a76\u8005\u3067\u3042\u308b\u95a2\u5ddd\u96c4\u4ecb\u3089\u306b\u3088\u308b\u8ad6\u6587\u300cSAS: Structured Activation Sparsification\u300d\u304c\u30015\u67087\u65e5\u304b\u308911\u65e5\u306b\u30aa\u30fc\u30b9\u30c8\u30ea\u30a2\u306e\u30a6\u30a3\u30fc\u30f3\u3067\u958b\u50ac\u3055\u308c\u305f\u300cThe Twelfth International Conference on Learning Representations (ICLR 2024)\u300d\u3067\u63a1\u629e\u3055\u308c\u307e\u3057\u305f\u3002\u300cICLR\u300d\u306f\u6a5f\u68b0\u5b66\u7fd2\u5206\u91ce\u306b\u304a\u3044\u3066\u56fd\u969b\u7684\u306b\u6a29\u5a01\u306e\u3042\u308b\u30c8\u30c3\u30d7\u30ab\u30f3\u30d5\u30a1\u30ec\u30f3\u30b9\u306e\u4e00\u3064\u3067\u3059\u3002 \u672c\u7814\u7a76\u3067\u306f\u3001\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u306e\u6f14\u7b97\u91cf\u3092\u5897\u3084\u3055\u305a\u306b\u30d1\u30e9\u30e1\u30fc\u30bf\u6570\u3092\u5897\u3084\u3059\u6f14\u7b97\u624b\u6cd5\u3092\u63d0\u6848\u3057\u307e\u3057\u305f\u3002\u3053\u308c\u306b\u3088\u308a\u3001\u6f14\u7b97\u91cf\u524a\u6e1b\u3068\u7cbe\u5ea6\u7dad\u6301\u306e\u4e21\u7acb\u304c\u5b9f\u73fe\u3067\u304d\u307e\u3059\u3002\u307e\u305f\u5c02\u7528\u30cf\u30fc\u30c9\u30a6\u30a7\u30a2\u3092\u65b0\u305f\u306b\u958b\u767a\u3059\u308b\u3053\u3068\u306a\u304f\u3001NVIDIA\u793e\u3084AMD\u793e\u306a\u3069\u306e\u6c4e\u7528GPU\u3092\u6d3b\u7528\u3059\u308b\u3053\u3068\u3067\u5b9f\u88c5\u3059\u308b\u3053\u3068\u304c\u53ef\u80fd\u3067\u3059\u3002 \u81ea\u52d5\u8eca\u3084\u643a\u5e2f\u96fb\u8a71\u306a\u3069\u306e\u30a8\u30c3\u30b8\u7aef\u672b\u306b\u5927\u898f\u6a21\u306a\u9ad8\u7cbe\u5ea6\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u306e\u30e2\u30c7\u30eb\u3092\u7d44\u307f\u8fbc\u3080\u306b\u306f\u3001\u30cf\u30fc\u30c9\u30a6\u30a7\u30a2\u306e\u6027\u80fd\u3084\u4f7f\u7528\u96fb\u529b\u306b\u5236\u9650\u304c\u3042\u308b\u305f\u3081\u7cbe\u5ea6\u3092\u843d\u3068\u3055\u305a\u6f14\u7b97\u91cf\u3092\u6e1b\u3089\u3059\u5fc5\u8981\u304c\u3042\u308a\u307e\u3059\u3002\u672c\u624b\u6cd5\u306f\u305d\u306e\u8ab2\u984c\u3078\u306e\u65b0\u3057\u3044\u30a2\u30d7\u30ed\u30fc\u30c1\u3067\u3042\u308a\u3001\u4e16\u754c\u4e2d\u3067\u5e45\u5e83\u304f\u6d3b\u7528\u3055\u308c\u3066\u3044\u308bGPU\u306b\u642d\u8f09\u3055\u308c\u305f\u3001\u758e(\u30b9\u30d1\u30fc\u30b9)\u306a\u884c\u5217\u306e\u9ad8\u901f\u8a08\u7b97\u6a5f\u80fd\u306e\u6709\u76ca\u306a\u6d3b\u7528\u6cd5\u3092\u8003\u6848\u3057\u305f\u70b9\u3082\u8a55\u4fa1\u3055\u308c\u307e\u3057\u305f\u3002 \u25a0\u7814\u7a76\u306e\u80cc\u666f\uff1a\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u306e\u7cbe\u5ea6\u5411\u4e0a\u306b\u304a\u3051\u308b\u58c1 \u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u306f\u3001\u5404\u5c64\u306e\u30d1\u30e9\u30e1\u30fc\u30bf\u304c\u591a\u3044\uff08\u5e45\u304c\u5e83\u3044\uff09\u307b\u3069\u7cbe\u5ea6\u304c\u9ad8\u304f\u306a\u308a\u307e\u3059\u3002\u3057\u304b\u3057\u3001\u5404\u5c64\u306e\u30d1\u30e9\u30e1\u30fc\u30bf\u304c\u591a\u3044\u5927\u898f\u6a21\u306a\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u3067\u306f\u6f14\u7b97\u91cf\u304c\u5897\u3048\u308b\u305f\u3081\u3001\u9ad8\u6027\u80fd\u306a\u30cf\u30fc\u30c9\u30a6\u30a7\u30a2\u3084\u9ad8\u96fb\u529b\u306e\u4f9b\u7d66\u304c\u5fc5\u8981\u3068\u306a\u308a\u307e\u3059\u3002\u4e00\u65b9\u3001AI\u306e\u66f4\u306a\u308b\u5229\u7528\u304c\u671f\u5f85\u3055\u308c\u308b\u643a\u5e2f\u96fb\u8a71\u3084\u81ea\u52d5\u8eca\u306a\u3069\u306f\u3001\u30a8\u30c3\u30b8\u7aef\u672b\u3068\u3057\u3066\u30cf\u30fc\u30c9\u30a6\u30a7\u30a2\u6027\u80fd\u3084\u4f7f\u7528\u96fb\u529b\u306b\u5236\u9650\u304c\u3042\u308a\u307e\u3059\u3002\u305d\u306e\u305f\u3081\u3001\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u306e\u5b9f\u88c5\u306b\u3042\u305f\u3063\u3066\u306f\u30e2\u30c7\u30eb\u306e\u7cbe\u5ea6\u3092\u843d\u3068\u3055\u305a\u6f14\u7b97\u91cf\u3092\u6e1b\u3089\u3059\u3053\u3068\u304c\u8ab2\u984c\u3068\u306a\u308a\u307e\u3059\u3002 \u524d\u63d0\u3068\u3057\u3066\u3001\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u306e\u6f14\u7b97\u306f\u5404\u5c64\u306e\u5165\u529b\u3068\u91cd\u307f\u306e\u5185\u7a4d\u3092\u53d6\u308b\u6f14\u7b97\u3067\u69cb\u6210\u3055\u308c\u307e\u3059\u3002\u305d\u3057\u3066\u3001\u3053\u306e\u6f14\u7b97\u91cf\u3092\u6e1b\u3089\u3059\u624b\u6cd5\u3068\u3057\u3066\u3001\u5b66\u7fd2\u3057\u305f\u30e2\u30c7\u30eb\u306e\u91cd\u307f\u30d1\u30e9\u30e1\u30fc\u30bf\u306e\u4e00\u90e8\u3092\u30bc\u30ed\u306b\u3059\u308b\u300c\u679d\u5208\u308a\u300d\u3068\u3044\u3046\u624b\u6cd5\u304c\u3088\u304f\u7528\u3044\u3089\u308c\u307e\u3059\u3002\u300c\u679d\u5208\u308a\u300d\u3092\u884c\u3063\u3066\u3001\u30bc\u30ed\u306b\u8fd1\u3044\u30d1\u30e9\u30e1\u30fc\u30bf\u3092\u53b3\u5bc6\u306b\u30bc\u30ed\u306b\u7f6e\u304d\u63db\u3048\u3066\u3082\u7cbe\u5ea6\u3078\u306e\u5f71\u97ff\u304c\u5c0f\u3055\u3044\u3053\u3068\u304c\u77e5\u3089\u308c\u3066\u3044\u307e\u3059\u3002\u3055\u3089\u306b\u3001\u30bc\u30ed\u306b\u3059\u308b\u30d1\u30e9\u30e1\u30fc\u30bf\u306e\u4f4d\u7f6e\u306b\u69cb\u9020\uff08\u898f\u5247\u6027\uff09\u3092\u6301\u305f\u305b\u308b\u3053\u3068\u3067\u3001\u7cbe\u5ea6\u3092\u4fdd\u3063\u305f\u307e\u307e\u6f14\u7b97\u91cf\u3092\u6e1b\u3089\u3059\u3053\u3068\u304c\u53ef\u80fd\u3067\u3059\u3002\u305f\u3060\u3057\u3001\u305d\u308c\u3092\u5b9f\u73fe\u3059\u308b\u306b\u306f\u305d\u306e\u69cb\u9020\u3092\u9ad8\u901f\u306b\u51e6\u7406\u3059\u308b\u6f14\u7b97\u6a5f\u80fd\u3092\u642d\u8f09\u3057\u305fGPU\u306a\u3069\u306e\u30cf\u30fc\u30c9\u30a6\u30a7\u30a2\u304c\u5fc5\u8981\u3068\u306a\u308a\u307e\u3059\u3002 \u3053\u308c\u307e\u3067\u306bNVIDIA\u793e\u306f\u3001\u300c\u9023\u7d9a\u3059\u308bM\u500b\u306e\u30e2\u30c7\u30eb\u306e\u91cd\u307f\u306e\u30d1\u30e9\u30e1\u30fc\u30bf\u306e\u3046\u3061N\u500b\u3092\u30bc\u30ed\u300d\u306b\u3059\u308b\u69cb\u9020\u3092\u6301\u3063\u305f\u679d\u5208\u308a\u624b\u6cd5(SWS)\u3092\u63d0\u6848\u3057\u3066\u3044\u307e\u3059\u3002\u540c\u793e\u304c\u958b\u767a\u3057\u305fGPU\u306b\u306f\u3053\u306e\u624b\u6cd5\u3092\u30b5\u30dd\u30fc\u30c8\u3059\u308b\u6f14\u7b97\u5668Sparse Tensor Core\u304c\u5b9f\u88c5\u3055\u308c\u3066\u304a\u308a\u3001\u6f14\u7b97\u91cf\u3092\u5143\u306e\u30e2\u30c7\u30eb\u306e\u534a\u5206\u306b\u6e1b\u3089\u3059\u3053\u3068\u304c\u3067\u304d\u307e\u3059\u3002 \u4e00\u65b9\u3067\u3001\u6f14\u7b97\u91cf\u3092\u6e1b\u3089\u3059\u305f\u3081\u306b\u91cd\u307f\u3067\u306f\u306a\u304f\u5165\u529b\u306e\u4e00\u90e8\u3092\u30bc\u30ed\u306b\u3059\u308b(\u30b9\u30d1\u30fc\u30b9\u306b\u3059\u308b)\u65b9\u6cd5\u3082\u3042\u308a\u307e\u3059\u3002\u3057\u304b\u3057\u3001\u56fa\u5b9a\u3055\u308c\u305f\u30e2\u30c7\u30eb\u306e\u91cd\u307f\u306e\u30d1\u30e9\u30e1\u30fc\u30bf\u3068\u7570\u306a\u308a\u3001\u5165\u529b\u306f\u6bce\u56de\u7570\u306a\u308b\u5024\u3092\u53d6\u308b\u305f\u3081\u7cbe\u5ea6\u52a3\u5316\u3092\u6291\u3048\u3064\u3064\u3001\u69cb\u9020\u3092\u6301\u305f\u305b\u3066\u30b9\u30d1\u30fc\u30b9\u306b\u3059\u308b\u3053\u3068\u306f\u3053\u308c\u307e\u3067\u56f0\u96e3\u3067\u3057\u305f\u3002\u305d\u306e\u305f\u3081\u3001\u69cb\u9020\u3092\u6301\u305f\u305b\u305a\u306b\u30b9\u30d1\u30fc\u30b9\u306b\u3059\u308b\u624b\u6cd5\u304c\u63d0\u6848\u3055\u308c\u3066\u304d\u307e\u3057\u305f\u304c\u3001\u305d\u308c\u3089\u306e\u624b\u6cd5\u306f\u30cf\u30fc\u30c9\u30a6\u30a7\u30a2\u4e0a\u3067\u5b9f\u88c5\u3059\u308b\u3053\u3068\u306f\u975e\u5e38\u306b\u56f0\u96e3\u3067\u3059\u3002 \u25a0\u672c\u7814\u7a76\u306e\u6210\u679c\uff1aSWS\u3088\u308a\u9ad8\u3044\u7cbe\u5ea6\u3092\u540c\u3058\u6f14\u7b97\u91cf\u3067\u5b9f\u73fe \u672c\u7814\u7a76\u3067\u63d0\u6848\u3059\u308bSAS\uff08Structured Activation Sparsification\uff09\u306f\u3001\u5165\u529b\u306e\u4e00\u90e8\u3092\u30bc\u30ed\u306b\u3059\u308b\u306e\u3067\u306f\u306a\u304f\u3080\u3057\u308d\u3001\u300c\u9023\u7d9a\u3059\u308bM\u500b\u306e\u3046\u30611\u500b\u3060\u3051\u5024\u3092\u6301\u3064\u300d\u3088\u3046\u306a\u898f\u5247\u3067\u5165\u529b\u306e\u6b21\u5143\u3092\u5897\u3084\u3059\u5909\u63db\u3092\u3057\u307e\u3059\u3002\u3053\u308c\u306b\u3088\u308a\u3001\u5165\u529b\u6570\u306fM\u500d\u306e\u69cb\u9020\u5316\u3055\u308c\u305f\u30b9\u30d1\u30fc\u30b9\u306a\u884c\u5217\u3068\u306a\u308a\u3001\u91cd\u307f\u884c\u5217\u3082M\u500d\u306e\u30d1\u30e9\u30e1\u30fc\u30bf\u3092\u6709\u3059\u308b\u3053\u3068\u304c\u53ef\u80fd\u3068\u306a\u308a\u307e\u3059\u3002\u3053\u306e\u6f14\u7b97\u306f\u7387\u76f4\u306b\u306f\u5143\u306e\u884c\u5217\u306b\u6bd4\u3079\u3066M\u500d\u306e\u6f14\u7b97\u91cf\u3092\u5fc5\u8981\u3068\u3057\u307e\u3059\u304c\u3001\u305d\u306e\u69cb\u9020\u3092\u6301\u3063\u305f\u30b9\u30d1\u30fc\u30b9\u6027\u3092\u5229\u7528\u3059\u308b\u3053\u3068\u3067\u3001\u5143\u306e\u884c\u5217\u3068\u540c\u3058\u5927\u304d\u3055\u306e\u5c0f\u3055\u306a\u884c\u5217\u540c\u58eb\u306e\u6f14\u7b97\u306b\u5e30\u7740\u3067\u304d\u307e\u3059\u3002\u3055\u3089\u306b\u3001M=2\u306e\u6642\u306fNVIDIA\u793e\u306eAmpere(Sparse Tensor Core)\u3084AMD\u793e\u306eCDNA\u306a\u3069\u306b\u642d\u8f09\u306e\u30b9\u30d1\u30fc\u30b9\u884c\u5217\u306e\u9ad8\u901f\u8a08\u7b97\u6a5f\u80fd\u3092\u5165\u529b\u884c\u5217\u306b\u5fdc\u7528\u3059\u308b\u3053\u3068\u3067 \u305d\u306e\u307e\u307e\u5b9f\u88c5\u3059\u308b\u3053\u3068\u304c\u53ef\u80fd\u3067\u3059\u3002 \u3053\u306e\u3088\u3046\u306b\u3001\u672c\u7814\u7a76\u306e\u63d0\u6848\u3059\u308bSAS\u306f\u6f14\u7b97\u91cf\u3092\u5909\u3048\u305a\u306b\u305f\u304f\u3055\u3093\u306e\u30d1\u30e9\u30e1\u30fc\u30bf\u3092\u3082\u3063\u305f\u5e45\u306e\u5e83\u3044\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u3092\u5b9f\u73fe\u3057\u307e\u3059\u3002\u305d\u306e\u305f\u3081\u3001\u540c\u3058\u6f14\u7b97\u91cf\u306e\u3082\u3068\u3067\u3001\u76f4\u63a5\u91cd\u307f\u3092\u30b9\u30d1\u30fc\u30b9\u306b\u3059\u308b\u5f93\u6765\u306eSWS\u3088\u308a\u9ad8\u3044\u8868\u73fe\u529b\u30fb\u7cbe\u5ea6\u3092\u4fdd\u6301\u3067\u304d\u307e\u3059\u3002\u3055\u3089\u306b\u5165\u529b\u306e\u30b9\u30d1\u30fc\u30b9\u6027\u3092\u4e0a\u3052\u3066\u3044\u304f\u3053\u3068\u3067\u6f14\u7b97\u91cf\u3092\u5909\u3048\u305a\u306b\u7cbe\u5ea6\u304c\u5411\u4e0a\u3057\u3066\u3044\u304f\u3053\u3068\u3082\u78ba\u8a8d\u3067\u304d\u307e\u3057\u305f\u3002\u307e\u305f\u3001SAS\u306b\u3088\u308b\u5185\u7a4d\u304cSparse Tensor Core\u3067\u52d5\u4f5c\u3059\u308b\u3053\u3068\u3082\u691c\u8a3c\u3057\u307e\u3057\u305f\u3002 \u25a0\u672c\u7814\u7a76\u306e\u8ad6\u6587 Yusuke Sekikawa and Shingo Yashima. \u201cSAS: Structured Activation Sparsification.\u201d In The Twelfth International Conference on Learning Representations (2024) \u25a0\u4eca\u5f8c\u306e\u5c55\u958b \u4eca\u56de\u306e\u7814\u7a76\u767a\u8868\u3067\u306f\u3001SAS\u306e\u30a2\u30eb\u30b4\u30ea\u30ba\u30e0\u306e\u63d0\u6848\u3068\u305d\u306e\u7cbe\u5ea6\u8a55\u4fa1\u306a\u3089\u3073\u306b\u6c4e\u7528GPU\u3067\u306e\u52d5\u4f5c\u691c\u8a3c\u3092\u884c\u3044\u307e\u3057\u305f\u3002\u4eca\u5f8c\u306f\u3001\u5b9f\u969b\u306e\u30a2\u30d7\u30ea\u30b1\u30fc\u30b7\u30e7\u30f3\u306b\u5411\u3051\u305f\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u3092\u69cb\u7bc9\u3059\u308b\u305f\u3081\u306e\u30bd\u30d5\u30c8\u30a6\u30a7\u30a2\u958b\u767a\u3092\u9032\u3081\u3066\u3044\u304d\u307e\u3059\u3002\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<link rel=\"canonical\" href=\"https:\/\/d-itlab.co.jp\/en\/release\/20240603\/\" \/>\n\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.2\" \/>\n\t\t<meta property=\"og:locale\" content=\"en_US\" \/>\n\t\t<meta property=\"og:site_name\" content=\"\u682a\u5f0f\u4f1a\u793e\u30c7\u30f3\u30bd\u30fc\u30a2\u30a4\u30c6\u30a3\u30fc\u30e9\u30dc\u30e9\u30c8\u30ea - \u591a\u69d8\u306a\u4eba\u3001\u591a\u69d8\u306a\u6280\u8853\u3001\u591a\u69d8\u306a\u601d\u3044\u304c\u30aa\u30fc\u30d7\u30f3\u306b\u4ea4\u3058\u308a\u5408\u3046\u7814\u7a76\u958b\u767a\u4f01\u696d\u3002\u305d\u308c\u304c\u30c7\u30f3\u30bd\u30fc\u30a2\u30a4\u30c6\u30a3\u30fc\u30e9\u30dc\u30e9\u30c8\u30ea\u3067\u3059\u3002\u308f\u305f\u3057\u305f\u3061\u306f\u81ea\u7531\u306a\u767a\u60f3\u3067\u307e\u3060\u898b\u306c\u4e16\u754c\u306e\u30ef\u30af\u30ef\u30af\u3092\u5275\u9020\u3057\u307e\u3059\u3002\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\u6c4e\u7528GPU\u306e\u65b0\u305f\u306a\u6f14\u7b97\u91cf\u524a\u6e1b\u3068\u7cbe\u5ea6\u7dad\u6301\u3092\u4e21\u7acb\u3059\u308b\u624b\u6cd5\u3092\u63d0\u6848[ICLR2024] - \u682a\u5f0f\u4f1a\u793e\u30c7\u30f3\u30bd\u30fc\u30a2\u30a4\u30c6\u30a3\u30fc\u30e9\u30dc\u30e9\u30c8\u30ea\" \/>\n\t\t<meta property=\"og:description\" content=\"NVIDIA\u793e\u306a\u3069\u304c\u63d0\u4f9b\u3059\u308b\u6c4e\u7528GPU\u306e \u65b0\u305f\u306a\u6f14\u7b97\u91cf\u524a\u6e1b\u3068\u7cbe\u5ea6\u7dad\u6301\u3092\u4e21\u7acb\u3059\u308b\u624b\u6cd5\u3092\u63d0\u6848 \uff5e\u6a5f\u68b0\u5b66\u7fd2\u30fb\uff21\uff29\u5206\u91ce\u306e\u30c8\u30c3\u30d7\u30ab\u30f3\u30d5\u30a1\u30ec\u30f3\u30b9\u300cICLR2024\u300d\u306b\u4e3b\u8457\u7814\u7a76\u8ad6\u6587\u304c\u63a1\u629e\uff5e \u30af\u30eb\u30de\u3068\u30e2\u30d3\u30ea\u30c6\u30a3\u793e\u4f1a\u5168\u4f53\u306e\u672a\u6765\u3092\u898b\u636e\u3048\u3001\u300c\u7a2e\u300d\u3068\u306a\u308b\u5148\u7aef\u57fa\u790e\u7814\u7a76\u3092\u884c\u3046\u682a\u5f0f\u4f1a\u793e\u30c7\u30f3\u30bd\u30fc\u30a2\u30a4\u30c6\u30a3\u30e9\u30dc\u30e9\u30c8\u30ea\uff08\u672c\u793e\uff1a\u6771\u4eac\u90fd\u6e2f\u533a \u4ee3\u8868\u53d6\u7de0\u5f79\u793e\u9577\uff1a\u5cb8\u672c\u6b63\u5fd7\uff09\u306e\u7814\u7a76\u8005\u3067\u3042\u308b\u95a2\u5ddd\u96c4\u4ecb\u3089\u306b\u3088\u308b\u8ad6\u6587\u300cSAS: Structured Activation Sparsification\u300d\u304c\u30015\u67087\u65e5\u304b\u308911\u65e5\u306b\u30aa\u30fc\u30b9\u30c8\u30ea\u30a2\u306e\u30a6\u30a3\u30fc\u30f3\u3067\u958b\u50ac\u3055\u308c\u305f\u300cThe Twelfth International Conference on Learning Representations (ICLR 2024)\u300d\u3067\u63a1\u629e\u3055\u308c\u307e\u3057\u305f\u3002\u300cICLR\u300d\u306f\u6a5f\u68b0\u5b66\u7fd2\u5206\u91ce\u306b\u304a\u3044\u3066\u56fd\u969b\u7684\u306b\u6a29\u5a01\u306e\u3042\u308b\u30c8\u30c3\u30d7\u30ab\u30f3\u30d5\u30a1\u30ec\u30f3\u30b9\u306e\u4e00\u3064\u3067\u3059\u3002 \u672c\u7814\u7a76\u3067\u306f\u3001\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u306e\u6f14\u7b97\u91cf\u3092\u5897\u3084\u3055\u305a\u306b\u30d1\u30e9\u30e1\u30fc\u30bf\u6570\u3092\u5897\u3084\u3059\u6f14\u7b97\u624b\u6cd5\u3092\u63d0\u6848\u3057\u307e\u3057\u305f\u3002\u3053\u308c\u306b\u3088\u308a\u3001\u6f14\u7b97\u91cf\u524a\u6e1b\u3068\u7cbe\u5ea6\u7dad\u6301\u306e\u4e21\u7acb\u304c\u5b9f\u73fe\u3067\u304d\u307e\u3059\u3002\u307e\u305f\u5c02\u7528\u30cf\u30fc\u30c9\u30a6\u30a7\u30a2\u3092\u65b0\u305f\u306b\u958b\u767a\u3059\u308b\u3053\u3068\u306a\u304f\u3001NVIDIA\u793e\u3084AMD\u793e\u306a\u3069\u306e\u6c4e\u7528GPU\u3092\u6d3b\u7528\u3059\u308b\u3053\u3068\u3067\u5b9f\u88c5\u3059\u308b\u3053\u3068\u304c\u53ef\u80fd\u3067\u3059\u3002 \u81ea\u52d5\u8eca\u3084\u643a\u5e2f\u96fb\u8a71\u306a\u3069\u306e\u30a8\u30c3\u30b8\u7aef\u672b\u306b\u5927\u898f\u6a21\u306a\u9ad8\u7cbe\u5ea6\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u306e\u30e2\u30c7\u30eb\u3092\u7d44\u307f\u8fbc\u3080\u306b\u306f\u3001\u30cf\u30fc\u30c9\u30a6\u30a7\u30a2\u306e\u6027\u80fd\u3084\u4f7f\u7528\u96fb\u529b\u306b\u5236\u9650\u304c\u3042\u308b\u305f\u3081\u7cbe\u5ea6\u3092\u843d\u3068\u3055\u305a\u6f14\u7b97\u91cf\u3092\u6e1b\u3089\u3059\u5fc5\u8981\u304c\u3042\u308a\u307e\u3059\u3002\u672c\u624b\u6cd5\u306f\u305d\u306e\u8ab2\u984c\u3078\u306e\u65b0\u3057\u3044\u30a2\u30d7\u30ed\u30fc\u30c1\u3067\u3042\u308a\u3001\u4e16\u754c\u4e2d\u3067\u5e45\u5e83\u304f\u6d3b\u7528\u3055\u308c\u3066\u3044\u308bGPU\u306b\u642d\u8f09\u3055\u308c\u305f\u3001\u758e(\u30b9\u30d1\u30fc\u30b9)\u306a\u884c\u5217\u306e\u9ad8\u901f\u8a08\u7b97\u6a5f\u80fd\u306e\u6709\u76ca\u306a\u6d3b\u7528\u6cd5\u3092\u8003\u6848\u3057\u305f\u70b9\u3082\u8a55\u4fa1\u3055\u308c\u307e\u3057\u305f\u3002 \u25a0\u7814\u7a76\u306e\u80cc\u666f\uff1a\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u306e\u7cbe\u5ea6\u5411\u4e0a\u306b\u304a\u3051\u308b\u58c1 \u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u306f\u3001\u5404\u5c64\u306e\u30d1\u30e9\u30e1\u30fc\u30bf\u304c\u591a\u3044\uff08\u5e45\u304c\u5e83\u3044\uff09\u307b\u3069\u7cbe\u5ea6\u304c\u9ad8\u304f\u306a\u308a\u307e\u3059\u3002\u3057\u304b\u3057\u3001\u5404\u5c64\u306e\u30d1\u30e9\u30e1\u30fc\u30bf\u304c\u591a\u3044\u5927\u898f\u6a21\u306a\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u3067\u306f\u6f14\u7b97\u91cf\u304c\u5897\u3048\u308b\u305f\u3081\u3001\u9ad8\u6027\u80fd\u306a\u30cf\u30fc\u30c9\u30a6\u30a7\u30a2\u3084\u9ad8\u96fb\u529b\u306e\u4f9b\u7d66\u304c\u5fc5\u8981\u3068\u306a\u308a\u307e\u3059\u3002\u4e00\u65b9\u3001AI\u306e\u66f4\u306a\u308b\u5229\u7528\u304c\u671f\u5f85\u3055\u308c\u308b\u643a\u5e2f\u96fb\u8a71\u3084\u81ea\u52d5\u8eca\u306a\u3069\u306f\u3001\u30a8\u30c3\u30b8\u7aef\u672b\u3068\u3057\u3066\u30cf\u30fc\u30c9\u30a6\u30a7\u30a2\u6027\u80fd\u3084\u4f7f\u7528\u96fb\u529b\u306b\u5236\u9650\u304c\u3042\u308a\u307e\u3059\u3002\u305d\u306e\u305f\u3081\u3001\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u306e\u5b9f\u88c5\u306b\u3042\u305f\u3063\u3066\u306f\u30e2\u30c7\u30eb\u306e\u7cbe\u5ea6\u3092\u843d\u3068\u3055\u305a\u6f14\u7b97\u91cf\u3092\u6e1b\u3089\u3059\u3053\u3068\u304c\u8ab2\u984c\u3068\u306a\u308a\u307e\u3059\u3002 \u524d\u63d0\u3068\u3057\u3066\u3001\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u306e\u6f14\u7b97\u306f\u5404\u5c64\u306e\u5165\u529b\u3068\u91cd\u307f\u306e\u5185\u7a4d\u3092\u53d6\u308b\u6f14\u7b97\u3067\u69cb\u6210\u3055\u308c\u307e\u3059\u3002\u305d\u3057\u3066\u3001\u3053\u306e\u6f14\u7b97\u91cf\u3092\u6e1b\u3089\u3059\u624b\u6cd5\u3068\u3057\u3066\u3001\u5b66\u7fd2\u3057\u305f\u30e2\u30c7\u30eb\u306e\u91cd\u307f\u30d1\u30e9\u30e1\u30fc\u30bf\u306e\u4e00\u90e8\u3092\u30bc\u30ed\u306b\u3059\u308b\u300c\u679d\u5208\u308a\u300d\u3068\u3044\u3046\u624b\u6cd5\u304c\u3088\u304f\u7528\u3044\u3089\u308c\u307e\u3059\u3002\u300c\u679d\u5208\u308a\u300d\u3092\u884c\u3063\u3066\u3001\u30bc\u30ed\u306b\u8fd1\u3044\u30d1\u30e9\u30e1\u30fc\u30bf\u3092\u53b3\u5bc6\u306b\u30bc\u30ed\u306b\u7f6e\u304d\u63db\u3048\u3066\u3082\u7cbe\u5ea6\u3078\u306e\u5f71\u97ff\u304c\u5c0f\u3055\u3044\u3053\u3068\u304c\u77e5\u3089\u308c\u3066\u3044\u307e\u3059\u3002\u3055\u3089\u306b\u3001\u30bc\u30ed\u306b\u3059\u308b\u30d1\u30e9\u30e1\u30fc\u30bf\u306e\u4f4d\u7f6e\u306b\u69cb\u9020\uff08\u898f\u5247\u6027\uff09\u3092\u6301\u305f\u305b\u308b\u3053\u3068\u3067\u3001\u7cbe\u5ea6\u3092\u4fdd\u3063\u305f\u307e\u307e\u6f14\u7b97\u91cf\u3092\u6e1b\u3089\u3059\u3053\u3068\u304c\u53ef\u80fd\u3067\u3059\u3002\u305f\u3060\u3057\u3001\u305d\u308c\u3092\u5b9f\u73fe\u3059\u308b\u306b\u306f\u305d\u306e\u69cb\u9020\u3092\u9ad8\u901f\u306b\u51e6\u7406\u3059\u308b\u6f14\u7b97\u6a5f\u80fd\u3092\u642d\u8f09\u3057\u305fGPU\u306a\u3069\u306e\u30cf\u30fc\u30c9\u30a6\u30a7\u30a2\u304c\u5fc5\u8981\u3068\u306a\u308a\u307e\u3059\u3002 \u3053\u308c\u307e\u3067\u306bNVIDIA\u793e\u306f\u3001\u300c\u9023\u7d9a\u3059\u308bM\u500b\u306e\u30e2\u30c7\u30eb\u306e\u91cd\u307f\u306e\u30d1\u30e9\u30e1\u30fc\u30bf\u306e\u3046\u3061N\u500b\u3092\u30bc\u30ed\u300d\u306b\u3059\u308b\u69cb\u9020\u3092\u6301\u3063\u305f\u679d\u5208\u308a\u624b\u6cd5(SWS)\u3092\u63d0\u6848\u3057\u3066\u3044\u307e\u3059\u3002\u540c\u793e\u304c\u958b\u767a\u3057\u305fGPU\u306b\u306f\u3053\u306e\u624b\u6cd5\u3092\u30b5\u30dd\u30fc\u30c8\u3059\u308b\u6f14\u7b97\u5668Sparse Tensor Core\u304c\u5b9f\u88c5\u3055\u308c\u3066\u304a\u308a\u3001\u6f14\u7b97\u91cf\u3092\u5143\u306e\u30e2\u30c7\u30eb\u306e\u534a\u5206\u306b\u6e1b\u3089\u3059\u3053\u3068\u304c\u3067\u304d\u307e\u3059\u3002 \u4e00\u65b9\u3067\u3001\u6f14\u7b97\u91cf\u3092\u6e1b\u3089\u3059\u305f\u3081\u306b\u91cd\u307f\u3067\u306f\u306a\u304f\u5165\u529b\u306e\u4e00\u90e8\u3092\u30bc\u30ed\u306b\u3059\u308b(\u30b9\u30d1\u30fc\u30b9\u306b\u3059\u308b)\u65b9\u6cd5\u3082\u3042\u308a\u307e\u3059\u3002\u3057\u304b\u3057\u3001\u56fa\u5b9a\u3055\u308c\u305f\u30e2\u30c7\u30eb\u306e\u91cd\u307f\u306e\u30d1\u30e9\u30e1\u30fc\u30bf\u3068\u7570\u306a\u308a\u3001\u5165\u529b\u306f\u6bce\u56de\u7570\u306a\u308b\u5024\u3092\u53d6\u308b\u305f\u3081\u7cbe\u5ea6\u52a3\u5316\u3092\u6291\u3048\u3064\u3064\u3001\u69cb\u9020\u3092\u6301\u305f\u305b\u3066\u30b9\u30d1\u30fc\u30b9\u306b\u3059\u308b\u3053\u3068\u306f\u3053\u308c\u307e\u3067\u56f0\u96e3\u3067\u3057\u305f\u3002\u305d\u306e\u305f\u3081\u3001\u69cb\u9020\u3092\u6301\u305f\u305b\u305a\u306b\u30b9\u30d1\u30fc\u30b9\u306b\u3059\u308b\u624b\u6cd5\u304c\u63d0\u6848\u3055\u308c\u3066\u304d\u307e\u3057\u305f\u304c\u3001\u305d\u308c\u3089\u306e\u624b\u6cd5\u306f\u30cf\u30fc\u30c9\u30a6\u30a7\u30a2\u4e0a\u3067\u5b9f\u88c5\u3059\u308b\u3053\u3068\u306f\u975e\u5e38\u306b\u56f0\u96e3\u3067\u3059\u3002 \u25a0\u672c\u7814\u7a76\u306e\u6210\u679c\uff1aSWS\u3088\u308a\u9ad8\u3044\u7cbe\u5ea6\u3092\u540c\u3058\u6f14\u7b97\u91cf\u3067\u5b9f\u73fe \u672c\u7814\u7a76\u3067\u63d0\u6848\u3059\u308bSAS\uff08Structured Activation Sparsification\uff09\u306f\u3001\u5165\u529b\u306e\u4e00\u90e8\u3092\u30bc\u30ed\u306b\u3059\u308b\u306e\u3067\u306f\u306a\u304f\u3080\u3057\u308d\u3001\u300c\u9023\u7d9a\u3059\u308bM\u500b\u306e\u3046\u30611\u500b\u3060\u3051\u5024\u3092\u6301\u3064\u300d\u3088\u3046\u306a\u898f\u5247\u3067\u5165\u529b\u306e\u6b21\u5143\u3092\u5897\u3084\u3059\u5909\u63db\u3092\u3057\u307e\u3059\u3002\u3053\u308c\u306b\u3088\u308a\u3001\u5165\u529b\u6570\u306fM\u500d\u306e\u69cb\u9020\u5316\u3055\u308c\u305f\u30b9\u30d1\u30fc\u30b9\u306a\u884c\u5217\u3068\u306a\u308a\u3001\u91cd\u307f\u884c\u5217\u3082M\u500d\u306e\u30d1\u30e9\u30e1\u30fc\u30bf\u3092\u6709\u3059\u308b\u3053\u3068\u304c\u53ef\u80fd\u3068\u306a\u308a\u307e\u3059\u3002\u3053\u306e\u6f14\u7b97\u306f\u7387\u76f4\u306b\u306f\u5143\u306e\u884c\u5217\u306b\u6bd4\u3079\u3066M\u500d\u306e\u6f14\u7b97\u91cf\u3092\u5fc5\u8981\u3068\u3057\u307e\u3059\u304c\u3001\u305d\u306e\u69cb\u9020\u3092\u6301\u3063\u305f\u30b9\u30d1\u30fc\u30b9\u6027\u3092\u5229\u7528\u3059\u308b\u3053\u3068\u3067\u3001\u5143\u306e\u884c\u5217\u3068\u540c\u3058\u5927\u304d\u3055\u306e\u5c0f\u3055\u306a\u884c\u5217\u540c\u58eb\u306e\u6f14\u7b97\u306b\u5e30\u7740\u3067\u304d\u307e\u3059\u3002\u3055\u3089\u306b\u3001M=2\u306e\u6642\u306fNVIDIA\u793e\u306eAmpere(Sparse Tensor Core)\u3084AMD\u793e\u306eCDNA\u306a\u3069\u306b\u642d\u8f09\u306e\u30b9\u30d1\u30fc\u30b9\u884c\u5217\u306e\u9ad8\u901f\u8a08\u7b97\u6a5f\u80fd\u3092\u5165\u529b\u884c\u5217\u306b\u5fdc\u7528\u3059\u308b\u3053\u3068\u3067 \u305d\u306e\u307e\u307e\u5b9f\u88c5\u3059\u308b\u3053\u3068\u304c\u53ef\u80fd\u3067\u3059\u3002 \u3053\u306e\u3088\u3046\u306b\u3001\u672c\u7814\u7a76\u306e\u63d0\u6848\u3059\u308bSAS\u306f\u6f14\u7b97\u91cf\u3092\u5909\u3048\u305a\u306b\u305f\u304f\u3055\u3093\u306e\u30d1\u30e9\u30e1\u30fc\u30bf\u3092\u3082\u3063\u305f\u5e45\u306e\u5e83\u3044\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u3092\u5b9f\u73fe\u3057\u307e\u3059\u3002\u305d\u306e\u305f\u3081\u3001\u540c\u3058\u6f14\u7b97\u91cf\u306e\u3082\u3068\u3067\u3001\u76f4\u63a5\u91cd\u307f\u3092\u30b9\u30d1\u30fc\u30b9\u306b\u3059\u308b\u5f93\u6765\u306eSWS\u3088\u308a\u9ad8\u3044\u8868\u73fe\u529b\u30fb\u7cbe\u5ea6\u3092\u4fdd\u6301\u3067\u304d\u307e\u3059\u3002\u3055\u3089\u306b\u5165\u529b\u306e\u30b9\u30d1\u30fc\u30b9\u6027\u3092\u4e0a\u3052\u3066\u3044\u304f\u3053\u3068\u3067\u6f14\u7b97\u91cf\u3092\u5909\u3048\u305a\u306b\u7cbe\u5ea6\u304c\u5411\u4e0a\u3057\u3066\u3044\u304f\u3053\u3068\u3082\u78ba\u8a8d\u3067\u304d\u307e\u3057\u305f\u3002\u307e\u305f\u3001SAS\u306b\u3088\u308b\u5185\u7a4d\u304cSparse Tensor Core\u3067\u52d5\u4f5c\u3059\u308b\u3053\u3068\u3082\u691c\u8a3c\u3057\u307e\u3057\u305f\u3002 \u25a0\u672c\u7814\u7a76\u306e\u8ad6\u6587 Yusuke Sekikawa and Shingo Yashima. \u201cSAS: Structured Activation Sparsification.\u201d In The Twelfth International Conference on Learning Representations (2024) \u25a0\u4eca\u5f8c\u306e\u5c55\u958b \u4eca\u56de\u306e\u7814\u7a76\u767a\u8868\u3067\u306f\u3001SAS\u306e\u30a2\u30eb\u30b4\u30ea\u30ba\u30e0\u306e\u63d0\u6848\u3068\u305d\u306e\u7cbe\u5ea6\u8a55\u4fa1\u306a\u3089\u3073\u306b\u6c4e\u7528GPU\u3067\u306e\u52d5\u4f5c\u691c\u8a3c\u3092\u884c\u3044\u307e\u3057\u305f\u3002\u4eca\u5f8c\u306f\u3001\u5b9f\u969b\u306e\u30a2\u30d7\u30ea\u30b1\u30fc\u30b7\u30e7\u30f3\u306b\u5411\u3051\u305f\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u3092\u69cb\u7bc9\u3059\u308b\u305f\u3081\u306e\u30bd\u30d5\u30c8\u30a6\u30a7\u30a2\u958b\u767a\u3092\u9032\u3081\u3066\u3044\u304d\u307e\u3059\u3002\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/d-itlab.co.jp\/en\/release\/20240603\/\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/d-itlab.co.jp\/wp-content\/uploads\/2025\/07\/itlab_OGP.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/d-itlab.co.jp\/wp-content\/uploads\/2025\/07\/itlab_OGP.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"1200\" \/>\n\t\t<meta property=\"og:image:height\" content=\"630\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2024-06-03T01:44:48+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2026-03-10T01:45:00+00:00\" \/>\n\t\t<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n\t\t<meta name=\"twitter:title\" content=\"\u6c4e\u7528GPU\u306e\u65b0\u305f\u306a\u6f14\u7b97\u91cf\u524a\u6e1b\u3068\u7cbe\u5ea6\u7dad\u6301\u3092\u4e21\u7acb\u3059\u308b\u624b\u6cd5\u3092\u63d0\u6848[ICLR2024] - \u682a\u5f0f\u4f1a\u793e\u30c7\u30f3\u30bd\u30fc\u30a2\u30a4\u30c6\u30a3\u30fc\u30e9\u30dc\u30e9\u30c8\u30ea\" \/>\n\t\t<meta name=\"twitter:description\" content=\"NVIDIA\u793e\u306a\u3069\u304c\u63d0\u4f9b\u3059\u308b\u6c4e\u7528GPU\u306e \u65b0\u305f\u306a\u6f14\u7b97\u91cf\u524a\u6e1b\u3068\u7cbe\u5ea6\u7dad\u6301\u3092\u4e21\u7acb\u3059\u308b\u624b\u6cd5\u3092\u63d0\u6848 \uff5e\u6a5f\u68b0\u5b66\u7fd2\u30fb\uff21\uff29\u5206\u91ce\u306e\u30c8\u30c3\u30d7\u30ab\u30f3\u30d5\u30a1\u30ec\u30f3\u30b9\u300cICLR2024\u300d\u306b\u4e3b\u8457\u7814\u7a76\u8ad6\u6587\u304c\u63a1\u629e\uff5e \u30af\u30eb\u30de\u3068\u30e2\u30d3\u30ea\u30c6\u30a3\u793e\u4f1a\u5168\u4f53\u306e\u672a\u6765\u3092\u898b\u636e\u3048\u3001\u300c\u7a2e\u300d\u3068\u306a\u308b\u5148\u7aef\u57fa\u790e\u7814\u7a76\u3092\u884c\u3046\u682a\u5f0f\u4f1a\u793e\u30c7\u30f3\u30bd\u30fc\u30a2\u30a4\u30c6\u30a3\u30e9\u30dc\u30e9\u30c8\u30ea\uff08\u672c\u793e\uff1a\u6771\u4eac\u90fd\u6e2f\u533a \u4ee3\u8868\u53d6\u7de0\u5f79\u793e\u9577\uff1a\u5cb8\u672c\u6b63\u5fd7\uff09\u306e\u7814\u7a76\u8005\u3067\u3042\u308b\u95a2\u5ddd\u96c4\u4ecb\u3089\u306b\u3088\u308b\u8ad6\u6587\u300cSAS: Structured Activation Sparsification\u300d\u304c\u30015\u67087\u65e5\u304b\u308911\u65e5\u306b\u30aa\u30fc\u30b9\u30c8\u30ea\u30a2\u306e\u30a6\u30a3\u30fc\u30f3\u3067\u958b\u50ac\u3055\u308c\u305f\u300cThe Twelfth International Conference on Learning Representations (ICLR 2024)\u300d\u3067\u63a1\u629e\u3055\u308c\u307e\u3057\u305f\u3002\u300cICLR\u300d\u306f\u6a5f\u68b0\u5b66\u7fd2\u5206\u91ce\u306b\u304a\u3044\u3066\u56fd\u969b\u7684\u306b\u6a29\u5a01\u306e\u3042\u308b\u30c8\u30c3\u30d7\u30ab\u30f3\u30d5\u30a1\u30ec\u30f3\u30b9\u306e\u4e00\u3064\u3067\u3059\u3002 \u672c\u7814\u7a76\u3067\u306f\u3001\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u306e\u6f14\u7b97\u91cf\u3092\u5897\u3084\u3055\u305a\u306b\u30d1\u30e9\u30e1\u30fc\u30bf\u6570\u3092\u5897\u3084\u3059\u6f14\u7b97\u624b\u6cd5\u3092\u63d0\u6848\u3057\u307e\u3057\u305f\u3002\u3053\u308c\u306b\u3088\u308a\u3001\u6f14\u7b97\u91cf\u524a\u6e1b\u3068\u7cbe\u5ea6\u7dad\u6301\u306e\u4e21\u7acb\u304c\u5b9f\u73fe\u3067\u304d\u307e\u3059\u3002\u307e\u305f\u5c02\u7528\u30cf\u30fc\u30c9\u30a6\u30a7\u30a2\u3092\u65b0\u305f\u306b\u958b\u767a\u3059\u308b\u3053\u3068\u306a\u304f\u3001NVIDIA\u793e\u3084AMD\u793e\u306a\u3069\u306e\u6c4e\u7528GPU\u3092\u6d3b\u7528\u3059\u308b\u3053\u3068\u3067\u5b9f\u88c5\u3059\u308b\u3053\u3068\u304c\u53ef\u80fd\u3067\u3059\u3002 \u81ea\u52d5\u8eca\u3084\u643a\u5e2f\u96fb\u8a71\u306a\u3069\u306e\u30a8\u30c3\u30b8\u7aef\u672b\u306b\u5927\u898f\u6a21\u306a\u9ad8\u7cbe\u5ea6\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u306e\u30e2\u30c7\u30eb\u3092\u7d44\u307f\u8fbc\u3080\u306b\u306f\u3001\u30cf\u30fc\u30c9\u30a6\u30a7\u30a2\u306e\u6027\u80fd\u3084\u4f7f\u7528\u96fb\u529b\u306b\u5236\u9650\u304c\u3042\u308b\u305f\u3081\u7cbe\u5ea6\u3092\u843d\u3068\u3055\u305a\u6f14\u7b97\u91cf\u3092\u6e1b\u3089\u3059\u5fc5\u8981\u304c\u3042\u308a\u307e\u3059\u3002\u672c\u624b\u6cd5\u306f\u305d\u306e\u8ab2\u984c\u3078\u306e\u65b0\u3057\u3044\u30a2\u30d7\u30ed\u30fc\u30c1\u3067\u3042\u308a\u3001\u4e16\u754c\u4e2d\u3067\u5e45\u5e83\u304f\u6d3b\u7528\u3055\u308c\u3066\u3044\u308bGPU\u306b\u642d\u8f09\u3055\u308c\u305f\u3001\u758e(\u30b9\u30d1\u30fc\u30b9)\u306a\u884c\u5217\u306e\u9ad8\u901f\u8a08\u7b97\u6a5f\u80fd\u306e\u6709\u76ca\u306a\u6d3b\u7528\u6cd5\u3092\u8003\u6848\u3057\u305f\u70b9\u3082\u8a55\u4fa1\u3055\u308c\u307e\u3057\u305f\u3002 \u25a0\u7814\u7a76\u306e\u80cc\u666f\uff1a\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u306e\u7cbe\u5ea6\u5411\u4e0a\u306b\u304a\u3051\u308b\u58c1 \u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u306f\u3001\u5404\u5c64\u306e\u30d1\u30e9\u30e1\u30fc\u30bf\u304c\u591a\u3044\uff08\u5e45\u304c\u5e83\u3044\uff09\u307b\u3069\u7cbe\u5ea6\u304c\u9ad8\u304f\u306a\u308a\u307e\u3059\u3002\u3057\u304b\u3057\u3001\u5404\u5c64\u306e\u30d1\u30e9\u30e1\u30fc\u30bf\u304c\u591a\u3044\u5927\u898f\u6a21\u306a\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u3067\u306f\u6f14\u7b97\u91cf\u304c\u5897\u3048\u308b\u305f\u3081\u3001\u9ad8\u6027\u80fd\u306a\u30cf\u30fc\u30c9\u30a6\u30a7\u30a2\u3084\u9ad8\u96fb\u529b\u306e\u4f9b\u7d66\u304c\u5fc5\u8981\u3068\u306a\u308a\u307e\u3059\u3002\u4e00\u65b9\u3001AI\u306e\u66f4\u306a\u308b\u5229\u7528\u304c\u671f\u5f85\u3055\u308c\u308b\u643a\u5e2f\u96fb\u8a71\u3084\u81ea\u52d5\u8eca\u306a\u3069\u306f\u3001\u30a8\u30c3\u30b8\u7aef\u672b\u3068\u3057\u3066\u30cf\u30fc\u30c9\u30a6\u30a7\u30a2\u6027\u80fd\u3084\u4f7f\u7528\u96fb\u529b\u306b\u5236\u9650\u304c\u3042\u308a\u307e\u3059\u3002\u305d\u306e\u305f\u3081\u3001\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u306e\u5b9f\u88c5\u306b\u3042\u305f\u3063\u3066\u306f\u30e2\u30c7\u30eb\u306e\u7cbe\u5ea6\u3092\u843d\u3068\u3055\u305a\u6f14\u7b97\u91cf\u3092\u6e1b\u3089\u3059\u3053\u3068\u304c\u8ab2\u984c\u3068\u306a\u308a\u307e\u3059\u3002 \u524d\u63d0\u3068\u3057\u3066\u3001\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u306e\u6f14\u7b97\u306f\u5404\u5c64\u306e\u5165\u529b\u3068\u91cd\u307f\u306e\u5185\u7a4d\u3092\u53d6\u308b\u6f14\u7b97\u3067\u69cb\u6210\u3055\u308c\u307e\u3059\u3002\u305d\u3057\u3066\u3001\u3053\u306e\u6f14\u7b97\u91cf\u3092\u6e1b\u3089\u3059\u624b\u6cd5\u3068\u3057\u3066\u3001\u5b66\u7fd2\u3057\u305f\u30e2\u30c7\u30eb\u306e\u91cd\u307f\u30d1\u30e9\u30e1\u30fc\u30bf\u306e\u4e00\u90e8\u3092\u30bc\u30ed\u306b\u3059\u308b\u300c\u679d\u5208\u308a\u300d\u3068\u3044\u3046\u624b\u6cd5\u304c\u3088\u304f\u7528\u3044\u3089\u308c\u307e\u3059\u3002\u300c\u679d\u5208\u308a\u300d\u3092\u884c\u3063\u3066\u3001\u30bc\u30ed\u306b\u8fd1\u3044\u30d1\u30e9\u30e1\u30fc\u30bf\u3092\u53b3\u5bc6\u306b\u30bc\u30ed\u306b\u7f6e\u304d\u63db\u3048\u3066\u3082\u7cbe\u5ea6\u3078\u306e\u5f71\u97ff\u304c\u5c0f\u3055\u3044\u3053\u3068\u304c\u77e5\u3089\u308c\u3066\u3044\u307e\u3059\u3002\u3055\u3089\u306b\u3001\u30bc\u30ed\u306b\u3059\u308b\u30d1\u30e9\u30e1\u30fc\u30bf\u306e\u4f4d\u7f6e\u306b\u69cb\u9020\uff08\u898f\u5247\u6027\uff09\u3092\u6301\u305f\u305b\u308b\u3053\u3068\u3067\u3001\u7cbe\u5ea6\u3092\u4fdd\u3063\u305f\u307e\u307e\u6f14\u7b97\u91cf\u3092\u6e1b\u3089\u3059\u3053\u3068\u304c\u53ef\u80fd\u3067\u3059\u3002\u305f\u3060\u3057\u3001\u305d\u308c\u3092\u5b9f\u73fe\u3059\u308b\u306b\u306f\u305d\u306e\u69cb\u9020\u3092\u9ad8\u901f\u306b\u51e6\u7406\u3059\u308b\u6f14\u7b97\u6a5f\u80fd\u3092\u642d\u8f09\u3057\u305fGPU\u306a\u3069\u306e\u30cf\u30fc\u30c9\u30a6\u30a7\u30a2\u304c\u5fc5\u8981\u3068\u306a\u308a\u307e\u3059\u3002 \u3053\u308c\u307e\u3067\u306bNVIDIA\u793e\u306f\u3001\u300c\u9023\u7d9a\u3059\u308bM\u500b\u306e\u30e2\u30c7\u30eb\u306e\u91cd\u307f\u306e\u30d1\u30e9\u30e1\u30fc\u30bf\u306e\u3046\u3061N\u500b\u3092\u30bc\u30ed\u300d\u306b\u3059\u308b\u69cb\u9020\u3092\u6301\u3063\u305f\u679d\u5208\u308a\u624b\u6cd5(SWS)\u3092\u63d0\u6848\u3057\u3066\u3044\u307e\u3059\u3002\u540c\u793e\u304c\u958b\u767a\u3057\u305fGPU\u306b\u306f\u3053\u306e\u624b\u6cd5\u3092\u30b5\u30dd\u30fc\u30c8\u3059\u308b\u6f14\u7b97\u5668Sparse Tensor Core\u304c\u5b9f\u88c5\u3055\u308c\u3066\u304a\u308a\u3001\u6f14\u7b97\u91cf\u3092\u5143\u306e\u30e2\u30c7\u30eb\u306e\u534a\u5206\u306b\u6e1b\u3089\u3059\u3053\u3068\u304c\u3067\u304d\u307e\u3059\u3002 \u4e00\u65b9\u3067\u3001\u6f14\u7b97\u91cf\u3092\u6e1b\u3089\u3059\u305f\u3081\u306b\u91cd\u307f\u3067\u306f\u306a\u304f\u5165\u529b\u306e\u4e00\u90e8\u3092\u30bc\u30ed\u306b\u3059\u308b(\u30b9\u30d1\u30fc\u30b9\u306b\u3059\u308b)\u65b9\u6cd5\u3082\u3042\u308a\u307e\u3059\u3002\u3057\u304b\u3057\u3001\u56fa\u5b9a\u3055\u308c\u305f\u30e2\u30c7\u30eb\u306e\u91cd\u307f\u306e\u30d1\u30e9\u30e1\u30fc\u30bf\u3068\u7570\u306a\u308a\u3001\u5165\u529b\u306f\u6bce\u56de\u7570\u306a\u308b\u5024\u3092\u53d6\u308b\u305f\u3081\u7cbe\u5ea6\u52a3\u5316\u3092\u6291\u3048\u3064\u3064\u3001\u69cb\u9020\u3092\u6301\u305f\u305b\u3066\u30b9\u30d1\u30fc\u30b9\u306b\u3059\u308b\u3053\u3068\u306f\u3053\u308c\u307e\u3067\u56f0\u96e3\u3067\u3057\u305f\u3002\u305d\u306e\u305f\u3081\u3001\u69cb\u9020\u3092\u6301\u305f\u305b\u305a\u306b\u30b9\u30d1\u30fc\u30b9\u306b\u3059\u308b\u624b\u6cd5\u304c\u63d0\u6848\u3055\u308c\u3066\u304d\u307e\u3057\u305f\u304c\u3001\u305d\u308c\u3089\u306e\u624b\u6cd5\u306f\u30cf\u30fc\u30c9\u30a6\u30a7\u30a2\u4e0a\u3067\u5b9f\u88c5\u3059\u308b\u3053\u3068\u306f\u975e\u5e38\u306b\u56f0\u96e3\u3067\u3059\u3002 \u25a0\u672c\u7814\u7a76\u306e\u6210\u679c\uff1aSWS\u3088\u308a\u9ad8\u3044\u7cbe\u5ea6\u3092\u540c\u3058\u6f14\u7b97\u91cf\u3067\u5b9f\u73fe \u672c\u7814\u7a76\u3067\u63d0\u6848\u3059\u308bSAS\uff08Structured Activation Sparsification\uff09\u306f\u3001\u5165\u529b\u306e\u4e00\u90e8\u3092\u30bc\u30ed\u306b\u3059\u308b\u306e\u3067\u306f\u306a\u304f\u3080\u3057\u308d\u3001\u300c\u9023\u7d9a\u3059\u308bM\u500b\u306e\u3046\u30611\u500b\u3060\u3051\u5024\u3092\u6301\u3064\u300d\u3088\u3046\u306a\u898f\u5247\u3067\u5165\u529b\u306e\u6b21\u5143\u3092\u5897\u3084\u3059\u5909\u63db\u3092\u3057\u307e\u3059\u3002\u3053\u308c\u306b\u3088\u308a\u3001\u5165\u529b\u6570\u306fM\u500d\u306e\u69cb\u9020\u5316\u3055\u308c\u305f\u30b9\u30d1\u30fc\u30b9\u306a\u884c\u5217\u3068\u306a\u308a\u3001\u91cd\u307f\u884c\u5217\u3082M\u500d\u306e\u30d1\u30e9\u30e1\u30fc\u30bf\u3092\u6709\u3059\u308b\u3053\u3068\u304c\u53ef\u80fd\u3068\u306a\u308a\u307e\u3059\u3002\u3053\u306e\u6f14\u7b97\u306f\u7387\u76f4\u306b\u306f\u5143\u306e\u884c\u5217\u306b\u6bd4\u3079\u3066M\u500d\u306e\u6f14\u7b97\u91cf\u3092\u5fc5\u8981\u3068\u3057\u307e\u3059\u304c\u3001\u305d\u306e\u69cb\u9020\u3092\u6301\u3063\u305f\u30b9\u30d1\u30fc\u30b9\u6027\u3092\u5229\u7528\u3059\u308b\u3053\u3068\u3067\u3001\u5143\u306e\u884c\u5217\u3068\u540c\u3058\u5927\u304d\u3055\u306e\u5c0f\u3055\u306a\u884c\u5217\u540c\u58eb\u306e\u6f14\u7b97\u306b\u5e30\u7740\u3067\u304d\u307e\u3059\u3002\u3055\u3089\u306b\u3001M=2\u306e\u6642\u306fNVIDIA\u793e\u306eAmpere(Sparse Tensor Core)\u3084AMD\u793e\u306eCDNA\u306a\u3069\u306b\u642d\u8f09\u306e\u30b9\u30d1\u30fc\u30b9\u884c\u5217\u306e\u9ad8\u901f\u8a08\u7b97\u6a5f\u80fd\u3092\u5165\u529b\u884c\u5217\u306b\u5fdc\u7528\u3059\u308b\u3053\u3068\u3067 \u305d\u306e\u307e\u307e\u5b9f\u88c5\u3059\u308b\u3053\u3068\u304c\u53ef\u80fd\u3067\u3059\u3002 \u3053\u306e\u3088\u3046\u306b\u3001\u672c\u7814\u7a76\u306e\u63d0\u6848\u3059\u308bSAS\u306f\u6f14\u7b97\u91cf\u3092\u5909\u3048\u305a\u306b\u305f\u304f\u3055\u3093\u306e\u30d1\u30e9\u30e1\u30fc\u30bf\u3092\u3082\u3063\u305f\u5e45\u306e\u5e83\u3044\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u3092\u5b9f\u73fe\u3057\u307e\u3059\u3002\u305d\u306e\u305f\u3081\u3001\u540c\u3058\u6f14\u7b97\u91cf\u306e\u3082\u3068\u3067\u3001\u76f4\u63a5\u91cd\u307f\u3092\u30b9\u30d1\u30fc\u30b9\u306b\u3059\u308b\u5f93\u6765\u306eSWS\u3088\u308a\u9ad8\u3044\u8868\u73fe\u529b\u30fb\u7cbe\u5ea6\u3092\u4fdd\u6301\u3067\u304d\u307e\u3059\u3002\u3055\u3089\u306b\u5165\u529b\u306e\u30b9\u30d1\u30fc\u30b9\u6027\u3092\u4e0a\u3052\u3066\u3044\u304f\u3053\u3068\u3067\u6f14\u7b97\u91cf\u3092\u5909\u3048\u305a\u306b\u7cbe\u5ea6\u304c\u5411\u4e0a\u3057\u3066\u3044\u304f\u3053\u3068\u3082\u78ba\u8a8d\u3067\u304d\u307e\u3057\u305f\u3002\u307e\u305f\u3001SAS\u306b\u3088\u308b\u5185\u7a4d\u304cSparse Tensor Core\u3067\u52d5\u4f5c\u3059\u308b\u3053\u3068\u3082\u691c\u8a3c\u3057\u307e\u3057\u305f\u3002 \u25a0\u672c\u7814\u7a76\u306e\u8ad6\u6587 Yusuke Sekikawa and Shingo Yashima. \u201cSAS: Structured Activation Sparsification.\u201d In The Twelfth International Conference on Learning Representations (2024) \u25a0\u4eca\u5f8c\u306e\u5c55\u958b \u4eca\u56de\u306e\u7814\u7a76\u767a\u8868\u3067\u306f\u3001SAS\u306e\u30a2\u30eb\u30b4\u30ea\u30ba\u30e0\u306e\u63d0\u6848\u3068\u305d\u306e\u7cbe\u5ea6\u8a55\u4fa1\u306a\u3089\u3073\u306b\u6c4e\u7528GPU\u3067\u306e\u52d5\u4f5c\u691c\u8a3c\u3092\u884c\u3044\u307e\u3057\u305f\u3002\u4eca\u5f8c\u306f\u3001\u5b9f\u969b\u306e\u30a2\u30d7\u30ea\u30b1\u30fc\u30b7\u30e7\u30f3\u306b\u5411\u3051\u305f\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u3092\u69cb\u7bc9\u3059\u308b\u305f\u3081\u306e\u30bd\u30d5\u30c8\u30a6\u30a7\u30a2\u958b\u767a\u3092\u9032\u3081\u3066\u3044\u304d\u307e\u3059\u3002\" \/>\n\t\t<meta name=\"twitter:image\" content=\"https:\/\/d-itlab.co.jp\/wp-content\/uploads\/2025\/07\/itlab_OGP.jpg\" \/>\n\t\t<script type=\"application\/ld+json\" class=\"aioseo-schema\">\n\t\t\t{\"@context\":\"https:\\\/\\\/schema.org\",\"@graph\":[{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\\\/\\\/d-itlab.co.jp\\\/en\\\/release\\\/20240603\\\/#breadcrumblist\",\"itemListElement\":[{\"@type\":\"ListItem\",\"@id\":\"https:\\\/\\\/d-itlab.co.jp\\\/#listItem\",\"position\":1,\"name\":\"Home\",\"item\":\"https:\\\/\\\/d-itlab.co.jp\\\/\",\"nextItem\":{\"@type\":\"ListItem\",\"@id\":\"https:\\\/\\\/d-itlab.co.jp\\\/en\\\/release\\\/#listItem\",\"name\":\"\\u30d7\\u30ec\\u30b9\\u30ea\\u30ea\\u30fc\\u30b9\"}},{\"@type\":\"ListItem\",\"@id\":\"https:\\\/\\\/d-itlab.co.jp\\\/en\\\/release\\\/#listItem\",\"position\":2,\"name\":\"\\u30d7\\u30ec\\u30b9\\u30ea\\u30ea\\u30fc\\u30b9\",\"item\":\"https:\\\/\\\/d-itlab.co.jp\\\/en\\\/release\\\/\",\"nextItem\":{\"@type\":\"ListItem\",\"@id\":\"https:\\\/\\\/d-itlab.co.jp\\\/en\\\/category\\\/release\\\/#listItem\",\"name\":\"Press Release\"},\"previousItem\":{\"@type\":\"ListItem\",\"@id\":\"https:\\\/\\\/d-itlab.co.jp\\\/#listItem\",\"name\":\"Home\"}},{\"@type\":\"ListItem\",\"@id\":\"https:\\\/\\\/d-itlab.co.jp\\\/en\\\/category\\\/release\\\/#listItem\",\"position\":3,\"name\":\"Press Release\",\"item\":\"https:\\\/\\\/d-itlab.co.jp\\\/en\\\/category\\\/release\\\/\",\"nextItem\":{\"@type\":\"ListItem\",\"@id\":\"https:\\\/\\\/d-itlab.co.jp\\\/en\\\/release\\\/20240603\\\/#listItem\",\"name\":\"\\u6c4e\\u7528GPU\\u306e\\u65b0\\u305f\\u306a\\u6f14\\u7b97\\u91cf\\u524a\\u6e1b\\u3068\\u7cbe\\u5ea6\\u7dad\\u6301\\u3092\\u4e21\\u7acb\\u3059\\u308b\\u624b\\u6cd5\\u3092\\u63d0\\u6848[ICLR2024]\"},\"previousItem\":{\"@type\":\"ListItem\",\"@id\":\"https:\\\/\\\/d-itlab.co.jp\\\/en\\\/release\\\/#listItem\",\"name\":\"\\u30d7\\u30ec\\u30b9\\u30ea\\u30ea\\u30fc\\u30b9\"}},{\"@type\":\"ListItem\",\"@id\":\"https:\\\/\\\/d-itlab.co.jp\\\/en\\\/release\\\/20240603\\\/#listItem\",\"position\":4,\"name\":\"\\u6c4e\\u7528GPU\\u306e\\u65b0\\u305f\\u306a\\u6f14\\u7b97\\u91cf\\u524a\\u6e1b\\u3068\\u7cbe\\u5ea6\\u7dad\\u6301\\u3092\\u4e21\\u7acb\\u3059\\u308b\\u624b\\u6cd5\\u3092\\u63d0\\u6848[ICLR2024]\",\"previousItem\":{\"@type\":\"ListItem\",\"@id\":\"https:\\\/\\\/d-itlab.co.jp\\\/en\\\/category\\\/release\\\/#listItem\",\"name\":\"Press Release\"}}]},{\"@type\":\"Organization\",\"@id\":\"https:\\\/\\\/d-itlab.co.jp\\\/#organization\",\"name\":\"\\u682a\\u5f0f\\u4f1a\\u793e\\u30c7\\u30f3\\u30bd\\u30fc\\u30a2\\u30a4\\u30c6\\u30a3\\u30fc\\u30e9\\u30dc\\u30e9\\u30c8\\u30ea\",\"description\":\"\\u591a\\u69d8\\u306a\\u4eba\\u3001\\u591a\\u69d8\\u306a\\u6280\\u8853\\u3001\\u591a\\u69d8\\u306a\\u601d\\u3044\\u304c\\u30aa\\u30fc\\u30d7\\u30f3\\u306b\\u4ea4\\u3058\\u308a\\u5408\\u3046\\u7814\\u7a76\\u958b\\u767a\\u4f01\\u696d\\u3002\\u305d\\u308c\\u304c\\u30c7\\u30f3\\u30bd\\u30fc\\u30a2\\u30a4\\u30c6\\u30a3\\u30fc\\u30e9\\u30dc\\u30e9\\u30c8\\u30ea\\u3067\\u3059\\u3002\\u308f\\u305f\\u3057\\u305f\\u3061\\u306f\\u81ea\\u7531\\u306a\\u767a\\u60f3\\u3067\\u307e\\u3060\\u898b\\u306c\\u4e16\\u754c\\u306e\\u30ef\\u30af\\u30ef\\u30af\\u3092\\u5275\\u9020\\u3057\\u307e\\u3059\\u3002\",\"url\":\"https:\\\/\\\/d-itlab.co.jp\\\/\"},{\"@type\":\"WebPage\",\"@id\":\"https:\\\/\\\/d-itlab.co.jp\\\/en\\\/release\\\/20240603\\\/#webpage\",\"url\":\"https:\\\/\\\/d-itlab.co.jp\\\/en\\\/release\\\/20240603\\\/\",\"name\":\"\\u6c4e\\u7528GPU\\u306e\\u65b0\\u305f\\u306a\\u6f14\\u7b97\\u91cf\\u524a\\u6e1b\\u3068\\u7cbe\\u5ea6\\u7dad\\u6301\\u3092\\u4e21\\u7acb\\u3059\\u308b\\u624b\\u6cd5\\u3092\\u63d0\\u6848[ICLR2024] - \\u682a\\u5f0f\\u4f1a\\u793e\\u30c7\\u30f3\\u30bd\\u30fc\\u30a2\\u30a4\\u30c6\\u30a3\\u30fc\\u30e9\\u30dc\\u30e9\\u30c8\\u30ea\",\"description\":\"NVIDIA\\u793e\\u306a\\u3069\\u304c\\u63d0\\u4f9b\\u3059\\u308b\\u6c4e\\u7528GPU\\u306e \\u65b0\\u305f\\u306a\\u6f14\\u7b97\\u91cf\\u524a\\u6e1b\\u3068\\u7cbe\\u5ea6\\u7dad\\u6301\\u3092\\u4e21\\u7acb\\u3059\\u308b\\u624b\\u6cd5\\u3092\\u63d0\\u6848 \\uff5e\\u6a5f\\u68b0\\u5b66\\u7fd2\\u30fb\\uff21\\uff29\\u5206\\u91ce\\u306e\\u30c8\\u30c3\\u30d7\\u30ab\\u30f3\\u30d5\\u30a1\\u30ec\\u30f3\\u30b9\\u300cICLR2024\\u300d\\u306b\\u4e3b\\u8457\\u7814\\u7a76\\u8ad6\\u6587\\u304c\\u63a1\\u629e\\uff5e \\u30af\\u30eb\\u30de\\u3068\\u30e2\\u30d3\\u30ea\\u30c6\\u30a3\\u793e\\u4f1a\\u5168\\u4f53\\u306e\\u672a\\u6765\\u3092\\u898b\\u636e\\u3048\\u3001\\u300c\\u7a2e\\u300d\\u3068\\u306a\\u308b\\u5148\\u7aef\\u57fa\\u790e\\u7814\\u7a76\\u3092\\u884c\\u3046\\u682a\\u5f0f\\u4f1a\\u793e\\u30c7\\u30f3\\u30bd\\u30fc\\u30a2\\u30a4\\u30c6\\u30a3\\u30e9\\u30dc\\u30e9\\u30c8\\u30ea\\uff08\\u672c\\u793e\\uff1a\\u6771\\u4eac\\u90fd\\u6e2f\\u533a \\u4ee3\\u8868\\u53d6\\u7de0\\u5f79\\u793e\\u9577\\uff1a\\u5cb8\\u672c\\u6b63\\u5fd7\\uff09\\u306e\\u7814\\u7a76\\u8005\\u3067\\u3042\\u308b\\u95a2\\u5ddd\\u96c4\\u4ecb\\u3089\\u306b\\u3088\\u308b\\u8ad6\\u6587\\u300cSAS: Structured Activation Sparsification\\u300d\\u304c\\u30015\\u67087\\u65e5\\u304b\\u308911\\u65e5\\u306b\\u30aa\\u30fc\\u30b9\\u30c8\\u30ea\\u30a2\\u306e\\u30a6\\u30a3\\u30fc\\u30f3\\u3067\\u958b\\u50ac\\u3055\\u308c\\u305f\\u300cThe Twelfth International Conference on Learning Representations (ICLR 2024)\\u300d\\u3067\\u63a1\\u629e\\u3055\\u308c\\u307e\\u3057\\u305f\\u3002\\u300cICLR\\u300d\\u306f\\u6a5f\\u68b0\\u5b66\\u7fd2\\u5206\\u91ce\\u306b\\u304a\\u3044\\u3066\\u56fd\\u969b\\u7684\\u306b\\u6a29\\u5a01\\u306e\\u3042\\u308b\\u30c8\\u30c3\\u30d7\\u30ab\\u30f3\\u30d5\\u30a1\\u30ec\\u30f3\\u30b9\\u306e\\u4e00\\u3064\\u3067\\u3059\\u3002 \\u672c\\u7814\\u7a76\\u3067\\u306f\\u3001\\u30cb\\u30e5\\u30fc\\u30e9\\u30eb\\u30cd\\u30c3\\u30c8\\u30ef\\u30fc\\u30af\\u306e\\u6f14\\u7b97\\u91cf\\u3092\\u5897\\u3084\\u3055\\u305a\\u306b\\u30d1\\u30e9\\u30e1\\u30fc\\u30bf\\u6570\\u3092\\u5897\\u3084\\u3059\\u6f14\\u7b97\\u624b\\u6cd5\\u3092\\u63d0\\u6848\\u3057\\u307e\\u3057\\u305f\\u3002\\u3053\\u308c\\u306b\\u3088\\u308a\\u3001\\u6f14\\u7b97\\u91cf\\u524a\\u6e1b\\u3068\\u7cbe\\u5ea6\\u7dad\\u6301\\u306e\\u4e21\\u7acb\\u304c\\u5b9f\\u73fe\\u3067\\u304d\\u307e\\u3059\\u3002\\u307e\\u305f\\u5c02\\u7528\\u30cf\\u30fc\\u30c9\\u30a6\\u30a7\\u30a2\\u3092\\u65b0\\u305f\\u306b\\u958b\\u767a\\u3059\\u308b\\u3053\\u3068\\u306a\\u304f\\u3001NVIDIA\\u793e\\u3084AMD\\u793e\\u306a\\u3069\\u306e\\u6c4e\\u7528GPU\\u3092\\u6d3b\\u7528\\u3059\\u308b\\u3053\\u3068\\u3067\\u5b9f\\u88c5\\u3059\\u308b\\u3053\\u3068\\u304c\\u53ef\\u80fd\\u3067\\u3059\\u3002 \\u81ea\\u52d5\\u8eca\\u3084\\u643a\\u5e2f\\u96fb\\u8a71\\u306a\\u3069\\u306e\\u30a8\\u30c3\\u30b8\\u7aef\\u672b\\u306b\\u5927\\u898f\\u6a21\\u306a\\u9ad8\\u7cbe\\u5ea6\\u30cb\\u30e5\\u30fc\\u30e9\\u30eb\\u30cd\\u30c3\\u30c8\\u30ef\\u30fc\\u30af\\u306e\\u30e2\\u30c7\\u30eb\\u3092\\u7d44\\u307f\\u8fbc\\u3080\\u306b\\u306f\\u3001\\u30cf\\u30fc\\u30c9\\u30a6\\u30a7\\u30a2\\u306e\\u6027\\u80fd\\u3084\\u4f7f\\u7528\\u96fb\\u529b\\u306b\\u5236\\u9650\\u304c\\u3042\\u308b\\u305f\\u3081\\u7cbe\\u5ea6\\u3092\\u843d\\u3068\\u3055\\u305a\\u6f14\\u7b97\\u91cf\\u3092\\u6e1b\\u3089\\u3059\\u5fc5\\u8981\\u304c\\u3042\\u308a\\u307e\\u3059\\u3002\\u672c\\u624b\\u6cd5\\u306f\\u305d\\u306e\\u8ab2\\u984c\\u3078\\u306e\\u65b0\\u3057\\u3044\\u30a2\\u30d7\\u30ed\\u30fc\\u30c1\\u3067\\u3042\\u308a\\u3001\\u4e16\\u754c\\u4e2d\\u3067\\u5e45\\u5e83\\u304f\\u6d3b\\u7528\\u3055\\u308c\\u3066\\u3044\\u308bGPU\\u306b\\u642d\\u8f09\\u3055\\u308c\\u305f\\u3001\\u758e(\\u30b9\\u30d1\\u30fc\\u30b9)\\u306a\\u884c\\u5217\\u306e\\u9ad8\\u901f\\u8a08\\u7b97\\u6a5f\\u80fd\\u306e\\u6709\\u76ca\\u306a\\u6d3b\\u7528\\u6cd5\\u3092\\u8003\\u6848\\u3057\\u305f\\u70b9\\u3082\\u8a55\\u4fa1\\u3055\\u308c\\u307e\\u3057\\u305f\\u3002 \\u25a0\\u7814\\u7a76\\u306e\\u80cc\\u666f\\uff1a\\u30cb\\u30e5\\u30fc\\u30e9\\u30eb\\u30cd\\u30c3\\u30c8\\u30ef\\u30fc\\u30af\\u306e\\u7cbe\\u5ea6\\u5411\\u4e0a\\u306b\\u304a\\u3051\\u308b\\u58c1 \\u30cb\\u30e5\\u30fc\\u30e9\\u30eb\\u30cd\\u30c3\\u30c8\\u30ef\\u30fc\\u30af\\u306f\\u3001\\u5404\\u5c64\\u306e\\u30d1\\u30e9\\u30e1\\u30fc\\u30bf\\u304c\\u591a\\u3044\\uff08\\u5e45\\u304c\\u5e83\\u3044\\uff09\\u307b\\u3069\\u7cbe\\u5ea6\\u304c\\u9ad8\\u304f\\u306a\\u308a\\u307e\\u3059\\u3002\\u3057\\u304b\\u3057\\u3001\\u5404\\u5c64\\u306e\\u30d1\\u30e9\\u30e1\\u30fc\\u30bf\\u304c\\u591a\\u3044\\u5927\\u898f\\u6a21\\u306a\\u30cd\\u30c3\\u30c8\\u30ef\\u30fc\\u30af\\u3067\\u306f\\u6f14\\u7b97\\u91cf\\u304c\\u5897\\u3048\\u308b\\u305f\\u3081\\u3001\\u9ad8\\u6027\\u80fd\\u306a\\u30cf\\u30fc\\u30c9\\u30a6\\u30a7\\u30a2\\u3084\\u9ad8\\u96fb\\u529b\\u306e\\u4f9b\\u7d66\\u304c\\u5fc5\\u8981\\u3068\\u306a\\u308a\\u307e\\u3059\\u3002\\u4e00\\u65b9\\u3001AI\\u306e\\u66f4\\u306a\\u308b\\u5229\\u7528\\u304c\\u671f\\u5f85\\u3055\\u308c\\u308b\\u643a\\u5e2f\\u96fb\\u8a71\\u3084\\u81ea\\u52d5\\u8eca\\u306a\\u3069\\u306f\\u3001\\u30a8\\u30c3\\u30b8\\u7aef\\u672b\\u3068\\u3057\\u3066\\u30cf\\u30fc\\u30c9\\u30a6\\u30a7\\u30a2\\u6027\\u80fd\\u3084\\u4f7f\\u7528\\u96fb\\u529b\\u306b\\u5236\\u9650\\u304c\\u3042\\u308a\\u307e\\u3059\\u3002\\u305d\\u306e\\u305f\\u3081\\u3001\\u30cb\\u30e5\\u30fc\\u30e9\\u30eb\\u30cd\\u30c3\\u30c8\\u30ef\\u30fc\\u30af\\u306e\\u5b9f\\u88c5\\u306b\\u3042\\u305f\\u3063\\u3066\\u306f\\u30e2\\u30c7\\u30eb\\u306e\\u7cbe\\u5ea6\\u3092\\u843d\\u3068\\u3055\\u305a\\u6f14\\u7b97\\u91cf\\u3092\\u6e1b\\u3089\\u3059\\u3053\\u3068\\u304c\\u8ab2\\u984c\\u3068\\u306a\\u308a\\u307e\\u3059\\u3002 \\u524d\\u63d0\\u3068\\u3057\\u3066\\u3001\\u30cb\\u30e5\\u30fc\\u30e9\\u30eb\\u30cd\\u30c3\\u30c8\\u30ef\\u30fc\\u30af\\u306e\\u6f14\\u7b97\\u306f\\u5404\\u5c64\\u306e\\u5165\\u529b\\u3068\\u91cd\\u307f\\u306e\\u5185\\u7a4d\\u3092\\u53d6\\u308b\\u6f14\\u7b97\\u3067\\u69cb\\u6210\\u3055\\u308c\\u307e\\u3059\\u3002\\u305d\\u3057\\u3066\\u3001\\u3053\\u306e\\u6f14\\u7b97\\u91cf\\u3092\\u6e1b\\u3089\\u3059\\u624b\\u6cd5\\u3068\\u3057\\u3066\\u3001\\u5b66\\u7fd2\\u3057\\u305f\\u30e2\\u30c7\\u30eb\\u306e\\u91cd\\u307f\\u30d1\\u30e9\\u30e1\\u30fc\\u30bf\\u306e\\u4e00\\u90e8\\u3092\\u30bc\\u30ed\\u306b\\u3059\\u308b\\u300c\\u679d\\u5208\\u308a\\u300d\\u3068\\u3044\\u3046\\u624b\\u6cd5\\u304c\\u3088\\u304f\\u7528\\u3044\\u3089\\u308c\\u307e\\u3059\\u3002\\u300c\\u679d\\u5208\\u308a\\u300d\\u3092\\u884c\\u3063\\u3066\\u3001\\u30bc\\u30ed\\u306b\\u8fd1\\u3044\\u30d1\\u30e9\\u30e1\\u30fc\\u30bf\\u3092\\u53b3\\u5bc6\\u306b\\u30bc\\u30ed\\u306b\\u7f6e\\u304d\\u63db\\u3048\\u3066\\u3082\\u7cbe\\u5ea6\\u3078\\u306e\\u5f71\\u97ff\\u304c\\u5c0f\\u3055\\u3044\\u3053\\u3068\\u304c\\u77e5\\u3089\\u308c\\u3066\\u3044\\u307e\\u3059\\u3002\\u3055\\u3089\\u306b\\u3001\\u30bc\\u30ed\\u306b\\u3059\\u308b\\u30d1\\u30e9\\u30e1\\u30fc\\u30bf\\u306e\\u4f4d\\u7f6e\\u306b\\u69cb\\u9020\\uff08\\u898f\\u5247\\u6027\\uff09\\u3092\\u6301\\u305f\\u305b\\u308b\\u3053\\u3068\\u3067\\u3001\\u7cbe\\u5ea6\\u3092\\u4fdd\\u3063\\u305f\\u307e\\u307e\\u6f14\\u7b97\\u91cf\\u3092\\u6e1b\\u3089\\u3059\\u3053\\u3068\\u304c\\u53ef\\u80fd\\u3067\\u3059\\u3002\\u305f\\u3060\\u3057\\u3001\\u305d\\u308c\\u3092\\u5b9f\\u73fe\\u3059\\u308b\\u306b\\u306f\\u305d\\u306e\\u69cb\\u9020\\u3092\\u9ad8\\u901f\\u306b\\u51e6\\u7406\\u3059\\u308b\\u6f14\\u7b97\\u6a5f\\u80fd\\u3092\\u642d\\u8f09\\u3057\\u305fGPU\\u306a\\u3069\\u306e\\u30cf\\u30fc\\u30c9\\u30a6\\u30a7\\u30a2\\u304c\\u5fc5\\u8981\\u3068\\u306a\\u308a\\u307e\\u3059\\u3002 \\u3053\\u308c\\u307e\\u3067\\u306bNVIDIA\\u793e\\u306f\\u3001\\u300c\\u9023\\u7d9a\\u3059\\u308bM\\u500b\\u306e\\u30e2\\u30c7\\u30eb\\u306e\\u91cd\\u307f\\u306e\\u30d1\\u30e9\\u30e1\\u30fc\\u30bf\\u306e\\u3046\\u3061N\\u500b\\u3092\\u30bc\\u30ed\\u300d\\u306b\\u3059\\u308b\\u69cb\\u9020\\u3092\\u6301\\u3063\\u305f\\u679d\\u5208\\u308a\\u624b\\u6cd5(SWS)\\u3092\\u63d0\\u6848\\u3057\\u3066\\u3044\\u307e\\u3059\\u3002\\u540c\\u793e\\u304c\\u958b\\u767a\\u3057\\u305fGPU\\u306b\\u306f\\u3053\\u306e\\u624b\\u6cd5\\u3092\\u30b5\\u30dd\\u30fc\\u30c8\\u3059\\u308b\\u6f14\\u7b97\\u5668Sparse Tensor Core\\u304c\\u5b9f\\u88c5\\u3055\\u308c\\u3066\\u304a\\u308a\\u3001\\u6f14\\u7b97\\u91cf\\u3092\\u5143\\u306e\\u30e2\\u30c7\\u30eb\\u306e\\u534a\\u5206\\u306b\\u6e1b\\u3089\\u3059\\u3053\\u3068\\u304c\\u3067\\u304d\\u307e\\u3059\\u3002 \\u4e00\\u65b9\\u3067\\u3001\\u6f14\\u7b97\\u91cf\\u3092\\u6e1b\\u3089\\u3059\\u305f\\u3081\\u306b\\u91cd\\u307f\\u3067\\u306f\\u306a\\u304f\\u5165\\u529b\\u306e\\u4e00\\u90e8\\u3092\\u30bc\\u30ed\\u306b\\u3059\\u308b(\\u30b9\\u30d1\\u30fc\\u30b9\\u306b\\u3059\\u308b)\\u65b9\\u6cd5\\u3082\\u3042\\u308a\\u307e\\u3059\\u3002\\u3057\\u304b\\u3057\\u3001\\u56fa\\u5b9a\\u3055\\u308c\\u305f\\u30e2\\u30c7\\u30eb\\u306e\\u91cd\\u307f\\u306e\\u30d1\\u30e9\\u30e1\\u30fc\\u30bf\\u3068\\u7570\\u306a\\u308a\\u3001\\u5165\\u529b\\u306f\\u6bce\\u56de\\u7570\\u306a\\u308b\\u5024\\u3092\\u53d6\\u308b\\u305f\\u3081\\u7cbe\\u5ea6\\u52a3\\u5316\\u3092\\u6291\\u3048\\u3064\\u3064\\u3001\\u69cb\\u9020\\u3092\\u6301\\u305f\\u305b\\u3066\\u30b9\\u30d1\\u30fc\\u30b9\\u306b\\u3059\\u308b\\u3053\\u3068\\u306f\\u3053\\u308c\\u307e\\u3067\\u56f0\\u96e3\\u3067\\u3057\\u305f\\u3002\\u305d\\u306e\\u305f\\u3081\\u3001\\u69cb\\u9020\\u3092\\u6301\\u305f\\u305b\\u305a\\u306b\\u30b9\\u30d1\\u30fc\\u30b9\\u306b\\u3059\\u308b\\u624b\\u6cd5\\u304c\\u63d0\\u6848\\u3055\\u308c\\u3066\\u304d\\u307e\\u3057\\u305f\\u304c\\u3001\\u305d\\u308c\\u3089\\u306e\\u624b\\u6cd5\\u306f\\u30cf\\u30fc\\u30c9\\u30a6\\u30a7\\u30a2\\u4e0a\\u3067\\u5b9f\\u88c5\\u3059\\u308b\\u3053\\u3068\\u306f\\u975e\\u5e38\\u306b\\u56f0\\u96e3\\u3067\\u3059\\u3002 \\u25a0\\u672c\\u7814\\u7a76\\u306e\\u6210\\u679c\\uff1aSWS\\u3088\\u308a\\u9ad8\\u3044\\u7cbe\\u5ea6\\u3092\\u540c\\u3058\\u6f14\\u7b97\\u91cf\\u3067\\u5b9f\\u73fe \\u672c\\u7814\\u7a76\\u3067\\u63d0\\u6848\\u3059\\u308bSAS\\uff08Structured Activation Sparsification\\uff09\\u306f\\u3001\\u5165\\u529b\\u306e\\u4e00\\u90e8\\u3092\\u30bc\\u30ed\\u306b\\u3059\\u308b\\u306e\\u3067\\u306f\\u306a\\u304f\\u3080\\u3057\\u308d\\u3001\\u300c\\u9023\\u7d9a\\u3059\\u308bM\\u500b\\u306e\\u3046\\u30611\\u500b\\u3060\\u3051\\u5024\\u3092\\u6301\\u3064\\u300d\\u3088\\u3046\\u306a\\u898f\\u5247\\u3067\\u5165\\u529b\\u306e\\u6b21\\u5143\\u3092\\u5897\\u3084\\u3059\\u5909\\u63db\\u3092\\u3057\\u307e\\u3059\\u3002\\u3053\\u308c\\u306b\\u3088\\u308a\\u3001\\u5165\\u529b\\u6570\\u306fM\\u500d\\u306e\\u69cb\\u9020\\u5316\\u3055\\u308c\\u305f\\u30b9\\u30d1\\u30fc\\u30b9\\u306a\\u884c\\u5217\\u3068\\u306a\\u308a\\u3001\\u91cd\\u307f\\u884c\\u5217\\u3082M\\u500d\\u306e\\u30d1\\u30e9\\u30e1\\u30fc\\u30bf\\u3092\\u6709\\u3059\\u308b\\u3053\\u3068\\u304c\\u53ef\\u80fd\\u3068\\u306a\\u308a\\u307e\\u3059\\u3002\\u3053\\u306e\\u6f14\\u7b97\\u306f\\u7387\\u76f4\\u306b\\u306f\\u5143\\u306e\\u884c\\u5217\\u306b\\u6bd4\\u3079\\u3066M\\u500d\\u306e\\u6f14\\u7b97\\u91cf\\u3092\\u5fc5\\u8981\\u3068\\u3057\\u307e\\u3059\\u304c\\u3001\\u305d\\u306e\\u69cb\\u9020\\u3092\\u6301\\u3063\\u305f\\u30b9\\u30d1\\u30fc\\u30b9\\u6027\\u3092\\u5229\\u7528\\u3059\\u308b\\u3053\\u3068\\u3067\\u3001\\u5143\\u306e\\u884c\\u5217\\u3068\\u540c\\u3058\\u5927\\u304d\\u3055\\u306e\\u5c0f\\u3055\\u306a\\u884c\\u5217\\u540c\\u58eb\\u306e\\u6f14\\u7b97\\u306b\\u5e30\\u7740\\u3067\\u304d\\u307e\\u3059\\u3002\\u3055\\u3089\\u306b\\u3001M=2\\u306e\\u6642\\u306fNVIDIA\\u793e\\u306eAmpere(Sparse Tensor Core)\\u3084AMD\\u793e\\u306eCDNA\\u306a\\u3069\\u306b\\u642d\\u8f09\\u306e\\u30b9\\u30d1\\u30fc\\u30b9\\u884c\\u5217\\u306e\\u9ad8\\u901f\\u8a08\\u7b97\\u6a5f\\u80fd\\u3092\\u5165\\u529b\\u884c\\u5217\\u306b\\u5fdc\\u7528\\u3059\\u308b\\u3053\\u3068\\u3067 \\u305d\\u306e\\u307e\\u307e\\u5b9f\\u88c5\\u3059\\u308b\\u3053\\u3068\\u304c\\u53ef\\u80fd\\u3067\\u3059\\u3002 \\u3053\\u306e\\u3088\\u3046\\u306b\\u3001\\u672c\\u7814\\u7a76\\u306e\\u63d0\\u6848\\u3059\\u308bSAS\\u306f\\u6f14\\u7b97\\u91cf\\u3092\\u5909\\u3048\\u305a\\u306b\\u305f\\u304f\\u3055\\u3093\\u306e\\u30d1\\u30e9\\u30e1\\u30fc\\u30bf\\u3092\\u3082\\u3063\\u305f\\u5e45\\u306e\\u5e83\\u3044\\u30cb\\u30e5\\u30fc\\u30e9\\u30eb\\u30cd\\u30c3\\u30c8\\u30ef\\u30fc\\u30af\\u3092\\u5b9f\\u73fe\\u3057\\u307e\\u3059\\u3002\\u305d\\u306e\\u305f\\u3081\\u3001\\u540c\\u3058\\u6f14\\u7b97\\u91cf\\u306e\\u3082\\u3068\\u3067\\u3001\\u76f4\\u63a5\\u91cd\\u307f\\u3092\\u30b9\\u30d1\\u30fc\\u30b9\\u306b\\u3059\\u308b\\u5f93\\u6765\\u306eSWS\\u3088\\u308a\\u9ad8\\u3044\\u8868\\u73fe\\u529b\\u30fb\\u7cbe\\u5ea6\\u3092\\u4fdd\\u6301\\u3067\\u304d\\u307e\\u3059\\u3002\\u3055\\u3089\\u306b\\u5165\\u529b\\u306e\\u30b9\\u30d1\\u30fc\\u30b9\\u6027\\u3092\\u4e0a\\u3052\\u3066\\u3044\\u304f\\u3053\\u3068\\u3067\\u6f14\\u7b97\\u91cf\\u3092\\u5909\\u3048\\u305a\\u306b\\u7cbe\\u5ea6\\u304c\\u5411\\u4e0a\\u3057\\u3066\\u3044\\u304f\\u3053\\u3068\\u3082\\u78ba\\u8a8d\\u3067\\u304d\\u307e\\u3057\\u305f\\u3002\\u307e\\u305f\\u3001SAS\\u306b\\u3088\\u308b\\u5185\\u7a4d\\u304cSparse Tensor Core\\u3067\\u52d5\\u4f5c\\u3059\\u308b\\u3053\\u3068\\u3082\\u691c\\u8a3c\\u3057\\u307e\\u3057\\u305f\\u3002 \\u25a0\\u672c\\u7814\\u7a76\\u306e\\u8ad6\\u6587 Yusuke Sekikawa and Shingo Yashima. \\u201cSAS: Structured Activation Sparsification.\\u201d In The Twelfth International Conference on Learning Representations (2024) \\u25a0\\u4eca\\u5f8c\\u306e\\u5c55\\u958b \\u4eca\\u56de\\u306e\\u7814\\u7a76\\u767a\\u8868\\u3067\\u306f\\u3001SAS\\u306e\\u30a2\\u30eb\\u30b4\\u30ea\\u30ba\\u30e0\\u306e\\u63d0\\u6848\\u3068\\u305d\\u306e\\u7cbe\\u5ea6\\u8a55\\u4fa1\\u306a\\u3089\\u3073\\u306b\\u6c4e\\u7528GPU\\u3067\\u306e\\u52d5\\u4f5c\\u691c\\u8a3c\\u3092\\u884c\\u3044\\u307e\\u3057\\u305f\\u3002\\u4eca\\u5f8c\\u306f\\u3001\\u5b9f\\u969b\\u306e\\u30a2\\u30d7\\u30ea\\u30b1\\u30fc\\u30b7\\u30e7\\u30f3\\u306b\\u5411\\u3051\\u305f\\u30cb\\u30e5\\u30fc\\u30e9\\u30eb\\u30cd\\u30c3\\u30c8\\u30ef\\u30fc\\u30af\\u3092\\u69cb\\u7bc9\\u3059\\u308b\\u305f\\u3081\\u306e\\u30bd\\u30d5\\u30c8\\u30a6\\u30a7\\u30a2\\u958b\\u767a\\u3092\\u9032\\u3081\\u3066\\u3044\\u304d\\u307e\\u3059\\u3002\",\"inLanguage\":\"en-US\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/d-itlab.co.jp\\\/#website\"},\"breadcrumb\":{\"@id\":\"https:\\\/\\\/d-itlab.co.jp\\\/en\\\/release\\\/20240603\\\/#breadcrumblist\"},\"datePublished\":\"2024-06-03T10:44:48+09:00\",\"dateModified\":\"2026-03-10T10:45:00+09:00\"},{\"@type\":\"WebSite\",\"@id\":\"https:\\\/\\\/d-itlab.co.jp\\\/#website\",\"url\":\"https:\\\/\\\/d-itlab.co.jp\\\/\",\"name\":\"\\u682a\\u5f0f\\u4f1a\\u793e\\u30c7\\u30f3\\u30bd\\u30fc\\u30a2\\u30a4\\u30c6\\u30a3\\u30fc\\u30e9\\u30dc\\u30e9\\u30c8\\u30ea\",\"description\":\"\\u591a\\u69d8\\u306a\\u4eba\\u3001\\u591a\\u69d8\\u306a\\u6280\\u8853\\u3001\\u591a\\u69d8\\u306a\\u601d\\u3044\\u304c\\u30aa\\u30fc\\u30d7\\u30f3\\u306b\\u4ea4\\u3058\\u308a\\u5408\\u3046\\u7814\\u7a76\\u958b\\u767a\\u4f01\\u696d\\u3002\\u305d\\u308c\\u304c\\u30c7\\u30f3\\u30bd\\u30fc\\u30a2\\u30a4\\u30c6\\u30a3\\u30fc\\u30e9\\u30dc\\u30e9\\u30c8\\u30ea\\u3067\\u3059\\u3002\\u308f\\u305f\\u3057\\u305f\\u3061\\u306f\\u81ea\\u7531\\u306a\\u767a\\u60f3\\u3067\\u307e\\u3060\\u898b\\u306c\\u4e16\\u754c\\u306e\\u30ef\\u30af\\u30ef\\u30af\\u3092\\u5275\\u9020\\u3057\\u307e\\u3059\\u3002\",\"inLanguage\":\"en-US\",\"publisher\":{\"@id\":\"https:\\\/\\\/d-itlab.co.jp\\\/#organization\"}}]}\n\t\t<\/script>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\u6c4e\u7528GPU\u306e\u65b0\u305f\u306a\u6f14\u7b97\u91cf\u524a\u6e1b\u3068\u7cbe\u5ea6\u7dad\u6301\u3092\u4e21\u7acb\u3059\u308b\u624b\u6cd5\u3092\u63d0\u6848[ICLR2024] - \u682a\u5f0f\u4f1a\u793e\u30c7\u30f3\u30bd\u30fc\u30a2\u30a4\u30c6\u30a3\u30fc\u30e9\u30dc\u30e9\u30c8\u30ea","description":"NVIDIA\u793e\u306a\u3069\u304c\u63d0\u4f9b\u3059\u308b\u6c4e\u7528GPU\u306e \u65b0\u305f\u306a\u6f14\u7b97\u91cf\u524a\u6e1b\u3068\u7cbe\u5ea6\u7dad\u6301\u3092\u4e21\u7acb\u3059\u308b\u624b\u6cd5\u3092\u63d0\u6848 \uff5e\u6a5f\u68b0\u5b66\u7fd2\u30fb\uff21\uff29\u5206\u91ce\u306e\u30c8\u30c3\u30d7\u30ab\u30f3\u30d5\u30a1\u30ec\u30f3\u30b9\u300cICLR2024\u300d\u306b\u4e3b\u8457\u7814\u7a76\u8ad6\u6587\u304c\u63a1\u629e\uff5e \u30af\u30eb\u30de\u3068\u30e2\u30d3\u30ea\u30c6\u30a3\u793e\u4f1a\u5168\u4f53\u306e\u672a\u6765\u3092\u898b\u636e\u3048\u3001\u300c\u7a2e\u300d\u3068\u306a\u308b\u5148\u7aef\u57fa\u790e\u7814\u7a76\u3092\u884c\u3046\u682a\u5f0f\u4f1a\u793e\u30c7\u30f3\u30bd\u30fc\u30a2\u30a4\u30c6\u30a3\u30e9\u30dc\u30e9\u30c8\u30ea\uff08\u672c\u793e\uff1a\u6771\u4eac\u90fd\u6e2f\u533a \u4ee3\u8868\u53d6\u7de0\u5f79\u793e\u9577\uff1a\u5cb8\u672c\u6b63\u5fd7\uff09\u306e\u7814\u7a76\u8005\u3067\u3042\u308b\u95a2\u5ddd\u96c4\u4ecb\u3089\u306b\u3088\u308b\u8ad6\u6587\u300cSAS: Structured Activation Sparsification\u300d\u304c\u30015\u67087\u65e5\u304b\u308911\u65e5\u306b\u30aa\u30fc\u30b9\u30c8\u30ea\u30a2\u306e\u30a6\u30a3\u30fc\u30f3\u3067\u958b\u50ac\u3055\u308c\u305f\u300cThe Twelfth International Conference on Learning Representations (ICLR 2024)\u300d\u3067\u63a1\u629e\u3055\u308c\u307e\u3057\u305f\u3002\u300cICLR\u300d\u306f\u6a5f\u68b0\u5b66\u7fd2\u5206\u91ce\u306b\u304a\u3044\u3066\u56fd\u969b\u7684\u306b\u6a29\u5a01\u306e\u3042\u308b\u30c8\u30c3\u30d7\u30ab\u30f3\u30d5\u30a1\u30ec\u30f3\u30b9\u306e\u4e00\u3064\u3067\u3059\u3002 \u672c\u7814\u7a76\u3067\u306f\u3001\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u306e\u6f14\u7b97\u91cf\u3092\u5897\u3084\u3055\u305a\u306b\u30d1\u30e9\u30e1\u30fc\u30bf\u6570\u3092\u5897\u3084\u3059\u6f14\u7b97\u624b\u6cd5\u3092\u63d0\u6848\u3057\u307e\u3057\u305f\u3002\u3053\u308c\u306b\u3088\u308a\u3001\u6f14\u7b97\u91cf\u524a\u6e1b\u3068\u7cbe\u5ea6\u7dad\u6301\u306e\u4e21\u7acb\u304c\u5b9f\u73fe\u3067\u304d\u307e\u3059\u3002\u307e\u305f\u5c02\u7528\u30cf\u30fc\u30c9\u30a6\u30a7\u30a2\u3092\u65b0\u305f\u306b\u958b\u767a\u3059\u308b\u3053\u3068\u306a\u304f\u3001NVIDIA\u793e\u3084AMD\u793e\u306a\u3069\u306e\u6c4e\u7528GPU\u3092\u6d3b\u7528\u3059\u308b\u3053\u3068\u3067\u5b9f\u88c5\u3059\u308b\u3053\u3068\u304c\u53ef\u80fd\u3067\u3059\u3002 \u81ea\u52d5\u8eca\u3084\u643a\u5e2f\u96fb\u8a71\u306a\u3069\u306e\u30a8\u30c3\u30b8\u7aef\u672b\u306b\u5927\u898f\u6a21\u306a\u9ad8\u7cbe\u5ea6\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u306e\u30e2\u30c7\u30eb\u3092\u7d44\u307f\u8fbc\u3080\u306b\u306f\u3001\u30cf\u30fc\u30c9\u30a6\u30a7\u30a2\u306e\u6027\u80fd\u3084\u4f7f\u7528\u96fb\u529b\u306b\u5236\u9650\u304c\u3042\u308b\u305f\u3081\u7cbe\u5ea6\u3092\u843d\u3068\u3055\u305a\u6f14\u7b97\u91cf\u3092\u6e1b\u3089\u3059\u5fc5\u8981\u304c\u3042\u308a\u307e\u3059\u3002\u672c\u624b\u6cd5\u306f\u305d\u306e\u8ab2\u984c\u3078\u306e\u65b0\u3057\u3044\u30a2\u30d7\u30ed\u30fc\u30c1\u3067\u3042\u308a\u3001\u4e16\u754c\u4e2d\u3067\u5e45\u5e83\u304f\u6d3b\u7528\u3055\u308c\u3066\u3044\u308bGPU\u306b\u642d\u8f09\u3055\u308c\u305f\u3001\u758e(\u30b9\u30d1\u30fc\u30b9)\u306a\u884c\u5217\u306e\u9ad8\u901f\u8a08\u7b97\u6a5f\u80fd\u306e\u6709\u76ca\u306a\u6d3b\u7528\u6cd5\u3092\u8003\u6848\u3057\u305f\u70b9\u3082\u8a55\u4fa1\u3055\u308c\u307e\u3057\u305f\u3002 \u25a0\u7814\u7a76\u306e\u80cc\u666f\uff1a\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u306e\u7cbe\u5ea6\u5411\u4e0a\u306b\u304a\u3051\u308b\u58c1 \u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u306f\u3001\u5404\u5c64\u306e\u30d1\u30e9\u30e1\u30fc\u30bf\u304c\u591a\u3044\uff08\u5e45\u304c\u5e83\u3044\uff09\u307b\u3069\u7cbe\u5ea6\u304c\u9ad8\u304f\u306a\u308a\u307e\u3059\u3002\u3057\u304b\u3057\u3001\u5404\u5c64\u306e\u30d1\u30e9\u30e1\u30fc\u30bf\u304c\u591a\u3044\u5927\u898f\u6a21\u306a\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u3067\u306f\u6f14\u7b97\u91cf\u304c\u5897\u3048\u308b\u305f\u3081\u3001\u9ad8\u6027\u80fd\u306a\u30cf\u30fc\u30c9\u30a6\u30a7\u30a2\u3084\u9ad8\u96fb\u529b\u306e\u4f9b\u7d66\u304c\u5fc5\u8981\u3068\u306a\u308a\u307e\u3059\u3002\u4e00\u65b9\u3001AI\u306e\u66f4\u306a\u308b\u5229\u7528\u304c\u671f\u5f85\u3055\u308c\u308b\u643a\u5e2f\u96fb\u8a71\u3084\u81ea\u52d5\u8eca\u306a\u3069\u306f\u3001\u30a8\u30c3\u30b8\u7aef\u672b\u3068\u3057\u3066\u30cf\u30fc\u30c9\u30a6\u30a7\u30a2\u6027\u80fd\u3084\u4f7f\u7528\u96fb\u529b\u306b\u5236\u9650\u304c\u3042\u308a\u307e\u3059\u3002\u305d\u306e\u305f\u3081\u3001\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u306e\u5b9f\u88c5\u306b\u3042\u305f\u3063\u3066\u306f\u30e2\u30c7\u30eb\u306e\u7cbe\u5ea6\u3092\u843d\u3068\u3055\u305a\u6f14\u7b97\u91cf\u3092\u6e1b\u3089\u3059\u3053\u3068\u304c\u8ab2\u984c\u3068\u306a\u308a\u307e\u3059\u3002 \u524d\u63d0\u3068\u3057\u3066\u3001\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u306e\u6f14\u7b97\u306f\u5404\u5c64\u306e\u5165\u529b\u3068\u91cd\u307f\u306e\u5185\u7a4d\u3092\u53d6\u308b\u6f14\u7b97\u3067\u69cb\u6210\u3055\u308c\u307e\u3059\u3002\u305d\u3057\u3066\u3001\u3053\u306e\u6f14\u7b97\u91cf\u3092\u6e1b\u3089\u3059\u624b\u6cd5\u3068\u3057\u3066\u3001\u5b66\u7fd2\u3057\u305f\u30e2\u30c7\u30eb\u306e\u91cd\u307f\u30d1\u30e9\u30e1\u30fc\u30bf\u306e\u4e00\u90e8\u3092\u30bc\u30ed\u306b\u3059\u308b\u300c\u679d\u5208\u308a\u300d\u3068\u3044\u3046\u624b\u6cd5\u304c\u3088\u304f\u7528\u3044\u3089\u308c\u307e\u3059\u3002\u300c\u679d\u5208\u308a\u300d\u3092\u884c\u3063\u3066\u3001\u30bc\u30ed\u306b\u8fd1\u3044\u30d1\u30e9\u30e1\u30fc\u30bf\u3092\u53b3\u5bc6\u306b\u30bc\u30ed\u306b\u7f6e\u304d\u63db\u3048\u3066\u3082\u7cbe\u5ea6\u3078\u306e\u5f71\u97ff\u304c\u5c0f\u3055\u3044\u3053\u3068\u304c\u77e5\u3089\u308c\u3066\u3044\u307e\u3059\u3002\u3055\u3089\u306b\u3001\u30bc\u30ed\u306b\u3059\u308b\u30d1\u30e9\u30e1\u30fc\u30bf\u306e\u4f4d\u7f6e\u306b\u69cb\u9020\uff08\u898f\u5247\u6027\uff09\u3092\u6301\u305f\u305b\u308b\u3053\u3068\u3067\u3001\u7cbe\u5ea6\u3092\u4fdd\u3063\u305f\u307e\u307e\u6f14\u7b97\u91cf\u3092\u6e1b\u3089\u3059\u3053\u3068\u304c\u53ef\u80fd\u3067\u3059\u3002\u305f\u3060\u3057\u3001\u305d\u308c\u3092\u5b9f\u73fe\u3059\u308b\u306b\u306f\u305d\u306e\u69cb\u9020\u3092\u9ad8\u901f\u306b\u51e6\u7406\u3059\u308b\u6f14\u7b97\u6a5f\u80fd\u3092\u642d\u8f09\u3057\u305fGPU\u306a\u3069\u306e\u30cf\u30fc\u30c9\u30a6\u30a7\u30a2\u304c\u5fc5\u8981\u3068\u306a\u308a\u307e\u3059\u3002 \u3053\u308c\u307e\u3067\u306bNVIDIA\u793e\u306f\u3001\u300c\u9023\u7d9a\u3059\u308bM\u500b\u306e\u30e2\u30c7\u30eb\u306e\u91cd\u307f\u306e\u30d1\u30e9\u30e1\u30fc\u30bf\u306e\u3046\u3061N\u500b\u3092\u30bc\u30ed\u300d\u306b\u3059\u308b\u69cb\u9020\u3092\u6301\u3063\u305f\u679d\u5208\u308a\u624b\u6cd5(SWS)\u3092\u63d0\u6848\u3057\u3066\u3044\u307e\u3059\u3002\u540c\u793e\u304c\u958b\u767a\u3057\u305fGPU\u306b\u306f\u3053\u306e\u624b\u6cd5\u3092\u30b5\u30dd\u30fc\u30c8\u3059\u308b\u6f14\u7b97\u5668Sparse Tensor Core\u304c\u5b9f\u88c5\u3055\u308c\u3066\u304a\u308a\u3001\u6f14\u7b97\u91cf\u3092\u5143\u306e\u30e2\u30c7\u30eb\u306e\u534a\u5206\u306b\u6e1b\u3089\u3059\u3053\u3068\u304c\u3067\u304d\u307e\u3059\u3002 \u4e00\u65b9\u3067\u3001\u6f14\u7b97\u91cf\u3092\u6e1b\u3089\u3059\u305f\u3081\u306b\u91cd\u307f\u3067\u306f\u306a\u304f\u5165\u529b\u306e\u4e00\u90e8\u3092\u30bc\u30ed\u306b\u3059\u308b(\u30b9\u30d1\u30fc\u30b9\u306b\u3059\u308b)\u65b9\u6cd5\u3082\u3042\u308a\u307e\u3059\u3002\u3057\u304b\u3057\u3001\u56fa\u5b9a\u3055\u308c\u305f\u30e2\u30c7\u30eb\u306e\u91cd\u307f\u306e\u30d1\u30e9\u30e1\u30fc\u30bf\u3068\u7570\u306a\u308a\u3001\u5165\u529b\u306f\u6bce\u56de\u7570\u306a\u308b\u5024\u3092\u53d6\u308b\u305f\u3081\u7cbe\u5ea6\u52a3\u5316\u3092\u6291\u3048\u3064\u3064\u3001\u69cb\u9020\u3092\u6301\u305f\u305b\u3066\u30b9\u30d1\u30fc\u30b9\u306b\u3059\u308b\u3053\u3068\u306f\u3053\u308c\u307e\u3067\u56f0\u96e3\u3067\u3057\u305f\u3002\u305d\u306e\u305f\u3081\u3001\u69cb\u9020\u3092\u6301\u305f\u305b\u305a\u306b\u30b9\u30d1\u30fc\u30b9\u306b\u3059\u308b\u624b\u6cd5\u304c\u63d0\u6848\u3055\u308c\u3066\u304d\u307e\u3057\u305f\u304c\u3001\u305d\u308c\u3089\u306e\u624b\u6cd5\u306f\u30cf\u30fc\u30c9\u30a6\u30a7\u30a2\u4e0a\u3067\u5b9f\u88c5\u3059\u308b\u3053\u3068\u306f\u975e\u5e38\u306b\u56f0\u96e3\u3067\u3059\u3002 \u25a0\u672c\u7814\u7a76\u306e\u6210\u679c\uff1aSWS\u3088\u308a\u9ad8\u3044\u7cbe\u5ea6\u3092\u540c\u3058\u6f14\u7b97\u91cf\u3067\u5b9f\u73fe \u672c\u7814\u7a76\u3067\u63d0\u6848\u3059\u308bSAS\uff08Structured Activation Sparsification\uff09\u306f\u3001\u5165\u529b\u306e\u4e00\u90e8\u3092\u30bc\u30ed\u306b\u3059\u308b\u306e\u3067\u306f\u306a\u304f\u3080\u3057\u308d\u3001\u300c\u9023\u7d9a\u3059\u308bM\u500b\u306e\u3046\u30611\u500b\u3060\u3051\u5024\u3092\u6301\u3064\u300d\u3088\u3046\u306a\u898f\u5247\u3067\u5165\u529b\u306e\u6b21\u5143\u3092\u5897\u3084\u3059\u5909\u63db\u3092\u3057\u307e\u3059\u3002\u3053\u308c\u306b\u3088\u308a\u3001\u5165\u529b\u6570\u306fM\u500d\u306e\u69cb\u9020\u5316\u3055\u308c\u305f\u30b9\u30d1\u30fc\u30b9\u306a\u884c\u5217\u3068\u306a\u308a\u3001\u91cd\u307f\u884c\u5217\u3082M\u500d\u306e\u30d1\u30e9\u30e1\u30fc\u30bf\u3092\u6709\u3059\u308b\u3053\u3068\u304c\u53ef\u80fd\u3068\u306a\u308a\u307e\u3059\u3002\u3053\u306e\u6f14\u7b97\u306f\u7387\u76f4\u306b\u306f\u5143\u306e\u884c\u5217\u306b\u6bd4\u3079\u3066M\u500d\u306e\u6f14\u7b97\u91cf\u3092\u5fc5\u8981\u3068\u3057\u307e\u3059\u304c\u3001\u305d\u306e\u69cb\u9020\u3092\u6301\u3063\u305f\u30b9\u30d1\u30fc\u30b9\u6027\u3092\u5229\u7528\u3059\u308b\u3053\u3068\u3067\u3001\u5143\u306e\u884c\u5217\u3068\u540c\u3058\u5927\u304d\u3055\u306e\u5c0f\u3055\u306a\u884c\u5217\u540c\u58eb\u306e\u6f14\u7b97\u306b\u5e30\u7740\u3067\u304d\u307e\u3059\u3002\u3055\u3089\u306b\u3001M=2\u306e\u6642\u306fNVIDIA\u793e\u306eAmpere(Sparse Tensor Core)\u3084AMD\u793e\u306eCDNA\u306a\u3069\u306b\u642d\u8f09\u306e\u30b9\u30d1\u30fc\u30b9\u884c\u5217\u306e\u9ad8\u901f\u8a08\u7b97\u6a5f\u80fd\u3092\u5165\u529b\u884c\u5217\u306b\u5fdc\u7528\u3059\u308b\u3053\u3068\u3067 \u305d\u306e\u307e\u307e\u5b9f\u88c5\u3059\u308b\u3053\u3068\u304c\u53ef\u80fd\u3067\u3059\u3002 \u3053\u306e\u3088\u3046\u306b\u3001\u672c\u7814\u7a76\u306e\u63d0\u6848\u3059\u308bSAS\u306f\u6f14\u7b97\u91cf\u3092\u5909\u3048\u305a\u306b\u305f\u304f\u3055\u3093\u306e\u30d1\u30e9\u30e1\u30fc\u30bf\u3092\u3082\u3063\u305f\u5e45\u306e\u5e83\u3044\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u3092\u5b9f\u73fe\u3057\u307e\u3059\u3002\u305d\u306e\u305f\u3081\u3001\u540c\u3058\u6f14\u7b97\u91cf\u306e\u3082\u3068\u3067\u3001\u76f4\u63a5\u91cd\u307f\u3092\u30b9\u30d1\u30fc\u30b9\u306b\u3059\u308b\u5f93\u6765\u306eSWS\u3088\u308a\u9ad8\u3044\u8868\u73fe\u529b\u30fb\u7cbe\u5ea6\u3092\u4fdd\u6301\u3067\u304d\u307e\u3059\u3002\u3055\u3089\u306b\u5165\u529b\u306e\u30b9\u30d1\u30fc\u30b9\u6027\u3092\u4e0a\u3052\u3066\u3044\u304f\u3053\u3068\u3067\u6f14\u7b97\u91cf\u3092\u5909\u3048\u305a\u306b\u7cbe\u5ea6\u304c\u5411\u4e0a\u3057\u3066\u3044\u304f\u3053\u3068\u3082\u78ba\u8a8d\u3067\u304d\u307e\u3057\u305f\u3002\u307e\u305f\u3001SAS\u306b\u3088\u308b\u5185\u7a4d\u304cSparse Tensor Core\u3067\u52d5\u4f5c\u3059\u308b\u3053\u3068\u3082\u691c\u8a3c\u3057\u307e\u3057\u305f\u3002 \u25a0\u672c\u7814\u7a76\u306e\u8ad6\u6587 Yusuke Sekikawa and Shingo Yashima. \u201cSAS: Structured Activation Sparsification.\u201d In The Twelfth International Conference on Learning Representations (2024) \u25a0\u4eca\u5f8c\u306e\u5c55\u958b \u4eca\u56de\u306e\u7814\u7a76\u767a\u8868\u3067\u306f\u3001SAS\u306e\u30a2\u30eb\u30b4\u30ea\u30ba\u30e0\u306e\u63d0\u6848\u3068\u305d\u306e\u7cbe\u5ea6\u8a55\u4fa1\u306a\u3089\u3073\u306b\u6c4e\u7528GPU\u3067\u306e\u52d5\u4f5c\u691c\u8a3c\u3092\u884c\u3044\u307e\u3057\u305f\u3002\u4eca\u5f8c\u306f\u3001\u5b9f\u969b\u306e\u30a2\u30d7\u30ea\u30b1\u30fc\u30b7\u30e7\u30f3\u306b\u5411\u3051\u305f\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u3092\u69cb\u7bc9\u3059\u308b\u305f\u3081\u306e\u30bd\u30d5\u30c8\u30a6\u30a7\u30a2\u958b\u767a\u3092\u9032\u3081\u3066\u3044\u304d\u307e\u3059\u3002","canonical_url":"https:\/\/d-itlab.co.jp\/en\/release\/20240603\/","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"BreadcrumbList","@id":"https:\/\/d-itlab.co.jp\/en\/release\/20240603\/#breadcrumblist","itemListElement":[{"@type":"ListItem","@id":"https:\/\/d-itlab.co.jp\/#listItem","position":1,"name":"Home","item":"https:\/\/d-itlab.co.jp\/","nextItem":{"@type":"ListItem","@id":"https:\/\/d-itlab.co.jp\/en\/release\/#listItem","name":"\u30d7\u30ec\u30b9\u30ea\u30ea\u30fc\u30b9"}},{"@type":"ListItem","@id":"https:\/\/d-itlab.co.jp\/en\/release\/#listItem","position":2,"name":"\u30d7\u30ec\u30b9\u30ea\u30ea\u30fc\u30b9","item":"https:\/\/d-itlab.co.jp\/en\/release\/","nextItem":{"@type":"ListItem","@id":"https:\/\/d-itlab.co.jp\/en\/category\/release\/#listItem","name":"Press Release"},"previousItem":{"@type":"ListItem","@id":"https:\/\/d-itlab.co.jp\/#listItem","name":"Home"}},{"@type":"ListItem","@id":"https:\/\/d-itlab.co.jp\/en\/category\/release\/#listItem","position":3,"name":"Press Release","item":"https:\/\/d-itlab.co.jp\/en\/category\/release\/","nextItem":{"@type":"ListItem","@id":"https:\/\/d-itlab.co.jp\/en\/release\/20240603\/#listItem","name":"\u6c4e\u7528GPU\u306e\u65b0\u305f\u306a\u6f14\u7b97\u91cf\u524a\u6e1b\u3068\u7cbe\u5ea6\u7dad\u6301\u3092\u4e21\u7acb\u3059\u308b\u624b\u6cd5\u3092\u63d0\u6848[ICLR2024]"},"previousItem":{"@type":"ListItem","@id":"https:\/\/d-itlab.co.jp\/en\/release\/#listItem","name":"\u30d7\u30ec\u30b9\u30ea\u30ea\u30fc\u30b9"}},{"@type":"ListItem","@id":"https:\/\/d-itlab.co.jp\/en\/release\/20240603\/#listItem","position":4,"name":"\u6c4e\u7528GPU\u306e\u65b0\u305f\u306a\u6f14\u7b97\u91cf\u524a\u6e1b\u3068\u7cbe\u5ea6\u7dad\u6301\u3092\u4e21\u7acb\u3059\u308b\u624b\u6cd5\u3092\u63d0\u6848[ICLR2024]","previousItem":{"@type":"ListItem","@id":"https:\/\/d-itlab.co.jp\/en\/category\/release\/#listItem","name":"Press Release"}}]},{"@type":"Organization","@id":"https:\/\/d-itlab.co.jp\/#organization","name":"\u682a\u5f0f\u4f1a\u793e\u30c7\u30f3\u30bd\u30fc\u30a2\u30a4\u30c6\u30a3\u30fc\u30e9\u30dc\u30e9\u30c8\u30ea","description":"\u591a\u69d8\u306a\u4eba\u3001\u591a\u69d8\u306a\u6280\u8853\u3001\u591a\u69d8\u306a\u601d\u3044\u304c\u30aa\u30fc\u30d7\u30f3\u306b\u4ea4\u3058\u308a\u5408\u3046\u7814\u7a76\u958b\u767a\u4f01\u696d\u3002\u305d\u308c\u304c\u30c7\u30f3\u30bd\u30fc\u30a2\u30a4\u30c6\u30a3\u30fc\u30e9\u30dc\u30e9\u30c8\u30ea\u3067\u3059\u3002\u308f\u305f\u3057\u305f\u3061\u306f\u81ea\u7531\u306a\u767a\u60f3\u3067\u307e\u3060\u898b\u306c\u4e16\u754c\u306e\u30ef\u30af\u30ef\u30af\u3092\u5275\u9020\u3057\u307e\u3059\u3002","url":"https:\/\/d-itlab.co.jp\/"},{"@type":"WebPage","@id":"https:\/\/d-itlab.co.jp\/en\/release\/20240603\/#webpage","url":"https:\/\/d-itlab.co.jp\/en\/release\/20240603\/","name":"\u6c4e\u7528GPU\u306e\u65b0\u305f\u306a\u6f14\u7b97\u91cf\u524a\u6e1b\u3068\u7cbe\u5ea6\u7dad\u6301\u3092\u4e21\u7acb\u3059\u308b\u624b\u6cd5\u3092\u63d0\u6848[ICLR2024] - \u682a\u5f0f\u4f1a\u793e\u30c7\u30f3\u30bd\u30fc\u30a2\u30a4\u30c6\u30a3\u30fc\u30e9\u30dc\u30e9\u30c8\u30ea","description":"NVIDIA\u793e\u306a\u3069\u304c\u63d0\u4f9b\u3059\u308b\u6c4e\u7528GPU\u306e \u65b0\u305f\u306a\u6f14\u7b97\u91cf\u524a\u6e1b\u3068\u7cbe\u5ea6\u7dad\u6301\u3092\u4e21\u7acb\u3059\u308b\u624b\u6cd5\u3092\u63d0\u6848 \uff5e\u6a5f\u68b0\u5b66\u7fd2\u30fb\uff21\uff29\u5206\u91ce\u306e\u30c8\u30c3\u30d7\u30ab\u30f3\u30d5\u30a1\u30ec\u30f3\u30b9\u300cICLR2024\u300d\u306b\u4e3b\u8457\u7814\u7a76\u8ad6\u6587\u304c\u63a1\u629e\uff5e \u30af\u30eb\u30de\u3068\u30e2\u30d3\u30ea\u30c6\u30a3\u793e\u4f1a\u5168\u4f53\u306e\u672a\u6765\u3092\u898b\u636e\u3048\u3001\u300c\u7a2e\u300d\u3068\u306a\u308b\u5148\u7aef\u57fa\u790e\u7814\u7a76\u3092\u884c\u3046\u682a\u5f0f\u4f1a\u793e\u30c7\u30f3\u30bd\u30fc\u30a2\u30a4\u30c6\u30a3\u30e9\u30dc\u30e9\u30c8\u30ea\uff08\u672c\u793e\uff1a\u6771\u4eac\u90fd\u6e2f\u533a \u4ee3\u8868\u53d6\u7de0\u5f79\u793e\u9577\uff1a\u5cb8\u672c\u6b63\u5fd7\uff09\u306e\u7814\u7a76\u8005\u3067\u3042\u308b\u95a2\u5ddd\u96c4\u4ecb\u3089\u306b\u3088\u308b\u8ad6\u6587\u300cSAS: Structured Activation Sparsification\u300d\u304c\u30015\u67087\u65e5\u304b\u308911\u65e5\u306b\u30aa\u30fc\u30b9\u30c8\u30ea\u30a2\u306e\u30a6\u30a3\u30fc\u30f3\u3067\u958b\u50ac\u3055\u308c\u305f\u300cThe Twelfth International Conference on Learning Representations (ICLR 2024)\u300d\u3067\u63a1\u629e\u3055\u308c\u307e\u3057\u305f\u3002\u300cICLR\u300d\u306f\u6a5f\u68b0\u5b66\u7fd2\u5206\u91ce\u306b\u304a\u3044\u3066\u56fd\u969b\u7684\u306b\u6a29\u5a01\u306e\u3042\u308b\u30c8\u30c3\u30d7\u30ab\u30f3\u30d5\u30a1\u30ec\u30f3\u30b9\u306e\u4e00\u3064\u3067\u3059\u3002 \u672c\u7814\u7a76\u3067\u306f\u3001\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u306e\u6f14\u7b97\u91cf\u3092\u5897\u3084\u3055\u305a\u306b\u30d1\u30e9\u30e1\u30fc\u30bf\u6570\u3092\u5897\u3084\u3059\u6f14\u7b97\u624b\u6cd5\u3092\u63d0\u6848\u3057\u307e\u3057\u305f\u3002\u3053\u308c\u306b\u3088\u308a\u3001\u6f14\u7b97\u91cf\u524a\u6e1b\u3068\u7cbe\u5ea6\u7dad\u6301\u306e\u4e21\u7acb\u304c\u5b9f\u73fe\u3067\u304d\u307e\u3059\u3002\u307e\u305f\u5c02\u7528\u30cf\u30fc\u30c9\u30a6\u30a7\u30a2\u3092\u65b0\u305f\u306b\u958b\u767a\u3059\u308b\u3053\u3068\u306a\u304f\u3001NVIDIA\u793e\u3084AMD\u793e\u306a\u3069\u306e\u6c4e\u7528GPU\u3092\u6d3b\u7528\u3059\u308b\u3053\u3068\u3067\u5b9f\u88c5\u3059\u308b\u3053\u3068\u304c\u53ef\u80fd\u3067\u3059\u3002 \u81ea\u52d5\u8eca\u3084\u643a\u5e2f\u96fb\u8a71\u306a\u3069\u306e\u30a8\u30c3\u30b8\u7aef\u672b\u306b\u5927\u898f\u6a21\u306a\u9ad8\u7cbe\u5ea6\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u306e\u30e2\u30c7\u30eb\u3092\u7d44\u307f\u8fbc\u3080\u306b\u306f\u3001\u30cf\u30fc\u30c9\u30a6\u30a7\u30a2\u306e\u6027\u80fd\u3084\u4f7f\u7528\u96fb\u529b\u306b\u5236\u9650\u304c\u3042\u308b\u305f\u3081\u7cbe\u5ea6\u3092\u843d\u3068\u3055\u305a\u6f14\u7b97\u91cf\u3092\u6e1b\u3089\u3059\u5fc5\u8981\u304c\u3042\u308a\u307e\u3059\u3002\u672c\u624b\u6cd5\u306f\u305d\u306e\u8ab2\u984c\u3078\u306e\u65b0\u3057\u3044\u30a2\u30d7\u30ed\u30fc\u30c1\u3067\u3042\u308a\u3001\u4e16\u754c\u4e2d\u3067\u5e45\u5e83\u304f\u6d3b\u7528\u3055\u308c\u3066\u3044\u308bGPU\u306b\u642d\u8f09\u3055\u308c\u305f\u3001\u758e(\u30b9\u30d1\u30fc\u30b9)\u306a\u884c\u5217\u306e\u9ad8\u901f\u8a08\u7b97\u6a5f\u80fd\u306e\u6709\u76ca\u306a\u6d3b\u7528\u6cd5\u3092\u8003\u6848\u3057\u305f\u70b9\u3082\u8a55\u4fa1\u3055\u308c\u307e\u3057\u305f\u3002 \u25a0\u7814\u7a76\u306e\u80cc\u666f\uff1a\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u306e\u7cbe\u5ea6\u5411\u4e0a\u306b\u304a\u3051\u308b\u58c1 \u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u306f\u3001\u5404\u5c64\u306e\u30d1\u30e9\u30e1\u30fc\u30bf\u304c\u591a\u3044\uff08\u5e45\u304c\u5e83\u3044\uff09\u307b\u3069\u7cbe\u5ea6\u304c\u9ad8\u304f\u306a\u308a\u307e\u3059\u3002\u3057\u304b\u3057\u3001\u5404\u5c64\u306e\u30d1\u30e9\u30e1\u30fc\u30bf\u304c\u591a\u3044\u5927\u898f\u6a21\u306a\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u3067\u306f\u6f14\u7b97\u91cf\u304c\u5897\u3048\u308b\u305f\u3081\u3001\u9ad8\u6027\u80fd\u306a\u30cf\u30fc\u30c9\u30a6\u30a7\u30a2\u3084\u9ad8\u96fb\u529b\u306e\u4f9b\u7d66\u304c\u5fc5\u8981\u3068\u306a\u308a\u307e\u3059\u3002\u4e00\u65b9\u3001AI\u306e\u66f4\u306a\u308b\u5229\u7528\u304c\u671f\u5f85\u3055\u308c\u308b\u643a\u5e2f\u96fb\u8a71\u3084\u81ea\u52d5\u8eca\u306a\u3069\u306f\u3001\u30a8\u30c3\u30b8\u7aef\u672b\u3068\u3057\u3066\u30cf\u30fc\u30c9\u30a6\u30a7\u30a2\u6027\u80fd\u3084\u4f7f\u7528\u96fb\u529b\u306b\u5236\u9650\u304c\u3042\u308a\u307e\u3059\u3002\u305d\u306e\u305f\u3081\u3001\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u306e\u5b9f\u88c5\u306b\u3042\u305f\u3063\u3066\u306f\u30e2\u30c7\u30eb\u306e\u7cbe\u5ea6\u3092\u843d\u3068\u3055\u305a\u6f14\u7b97\u91cf\u3092\u6e1b\u3089\u3059\u3053\u3068\u304c\u8ab2\u984c\u3068\u306a\u308a\u307e\u3059\u3002 \u524d\u63d0\u3068\u3057\u3066\u3001\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u306e\u6f14\u7b97\u306f\u5404\u5c64\u306e\u5165\u529b\u3068\u91cd\u307f\u306e\u5185\u7a4d\u3092\u53d6\u308b\u6f14\u7b97\u3067\u69cb\u6210\u3055\u308c\u307e\u3059\u3002\u305d\u3057\u3066\u3001\u3053\u306e\u6f14\u7b97\u91cf\u3092\u6e1b\u3089\u3059\u624b\u6cd5\u3068\u3057\u3066\u3001\u5b66\u7fd2\u3057\u305f\u30e2\u30c7\u30eb\u306e\u91cd\u307f\u30d1\u30e9\u30e1\u30fc\u30bf\u306e\u4e00\u90e8\u3092\u30bc\u30ed\u306b\u3059\u308b\u300c\u679d\u5208\u308a\u300d\u3068\u3044\u3046\u624b\u6cd5\u304c\u3088\u304f\u7528\u3044\u3089\u308c\u307e\u3059\u3002\u300c\u679d\u5208\u308a\u300d\u3092\u884c\u3063\u3066\u3001\u30bc\u30ed\u306b\u8fd1\u3044\u30d1\u30e9\u30e1\u30fc\u30bf\u3092\u53b3\u5bc6\u306b\u30bc\u30ed\u306b\u7f6e\u304d\u63db\u3048\u3066\u3082\u7cbe\u5ea6\u3078\u306e\u5f71\u97ff\u304c\u5c0f\u3055\u3044\u3053\u3068\u304c\u77e5\u3089\u308c\u3066\u3044\u307e\u3059\u3002\u3055\u3089\u306b\u3001\u30bc\u30ed\u306b\u3059\u308b\u30d1\u30e9\u30e1\u30fc\u30bf\u306e\u4f4d\u7f6e\u306b\u69cb\u9020\uff08\u898f\u5247\u6027\uff09\u3092\u6301\u305f\u305b\u308b\u3053\u3068\u3067\u3001\u7cbe\u5ea6\u3092\u4fdd\u3063\u305f\u307e\u307e\u6f14\u7b97\u91cf\u3092\u6e1b\u3089\u3059\u3053\u3068\u304c\u53ef\u80fd\u3067\u3059\u3002\u305f\u3060\u3057\u3001\u305d\u308c\u3092\u5b9f\u73fe\u3059\u308b\u306b\u306f\u305d\u306e\u69cb\u9020\u3092\u9ad8\u901f\u306b\u51e6\u7406\u3059\u308b\u6f14\u7b97\u6a5f\u80fd\u3092\u642d\u8f09\u3057\u305fGPU\u306a\u3069\u306e\u30cf\u30fc\u30c9\u30a6\u30a7\u30a2\u304c\u5fc5\u8981\u3068\u306a\u308a\u307e\u3059\u3002 \u3053\u308c\u307e\u3067\u306bNVIDIA\u793e\u306f\u3001\u300c\u9023\u7d9a\u3059\u308bM\u500b\u306e\u30e2\u30c7\u30eb\u306e\u91cd\u307f\u306e\u30d1\u30e9\u30e1\u30fc\u30bf\u306e\u3046\u3061N\u500b\u3092\u30bc\u30ed\u300d\u306b\u3059\u308b\u69cb\u9020\u3092\u6301\u3063\u305f\u679d\u5208\u308a\u624b\u6cd5(SWS)\u3092\u63d0\u6848\u3057\u3066\u3044\u307e\u3059\u3002\u540c\u793e\u304c\u958b\u767a\u3057\u305fGPU\u306b\u306f\u3053\u306e\u624b\u6cd5\u3092\u30b5\u30dd\u30fc\u30c8\u3059\u308b\u6f14\u7b97\u5668Sparse Tensor Core\u304c\u5b9f\u88c5\u3055\u308c\u3066\u304a\u308a\u3001\u6f14\u7b97\u91cf\u3092\u5143\u306e\u30e2\u30c7\u30eb\u306e\u534a\u5206\u306b\u6e1b\u3089\u3059\u3053\u3068\u304c\u3067\u304d\u307e\u3059\u3002 \u4e00\u65b9\u3067\u3001\u6f14\u7b97\u91cf\u3092\u6e1b\u3089\u3059\u305f\u3081\u306b\u91cd\u307f\u3067\u306f\u306a\u304f\u5165\u529b\u306e\u4e00\u90e8\u3092\u30bc\u30ed\u306b\u3059\u308b(\u30b9\u30d1\u30fc\u30b9\u306b\u3059\u308b)\u65b9\u6cd5\u3082\u3042\u308a\u307e\u3059\u3002\u3057\u304b\u3057\u3001\u56fa\u5b9a\u3055\u308c\u305f\u30e2\u30c7\u30eb\u306e\u91cd\u307f\u306e\u30d1\u30e9\u30e1\u30fc\u30bf\u3068\u7570\u306a\u308a\u3001\u5165\u529b\u306f\u6bce\u56de\u7570\u306a\u308b\u5024\u3092\u53d6\u308b\u305f\u3081\u7cbe\u5ea6\u52a3\u5316\u3092\u6291\u3048\u3064\u3064\u3001\u69cb\u9020\u3092\u6301\u305f\u305b\u3066\u30b9\u30d1\u30fc\u30b9\u306b\u3059\u308b\u3053\u3068\u306f\u3053\u308c\u307e\u3067\u56f0\u96e3\u3067\u3057\u305f\u3002\u305d\u306e\u305f\u3081\u3001\u69cb\u9020\u3092\u6301\u305f\u305b\u305a\u306b\u30b9\u30d1\u30fc\u30b9\u306b\u3059\u308b\u624b\u6cd5\u304c\u63d0\u6848\u3055\u308c\u3066\u304d\u307e\u3057\u305f\u304c\u3001\u305d\u308c\u3089\u306e\u624b\u6cd5\u306f\u30cf\u30fc\u30c9\u30a6\u30a7\u30a2\u4e0a\u3067\u5b9f\u88c5\u3059\u308b\u3053\u3068\u306f\u975e\u5e38\u306b\u56f0\u96e3\u3067\u3059\u3002 \u25a0\u672c\u7814\u7a76\u306e\u6210\u679c\uff1aSWS\u3088\u308a\u9ad8\u3044\u7cbe\u5ea6\u3092\u540c\u3058\u6f14\u7b97\u91cf\u3067\u5b9f\u73fe \u672c\u7814\u7a76\u3067\u63d0\u6848\u3059\u308bSAS\uff08Structured Activation Sparsification\uff09\u306f\u3001\u5165\u529b\u306e\u4e00\u90e8\u3092\u30bc\u30ed\u306b\u3059\u308b\u306e\u3067\u306f\u306a\u304f\u3080\u3057\u308d\u3001\u300c\u9023\u7d9a\u3059\u308bM\u500b\u306e\u3046\u30611\u500b\u3060\u3051\u5024\u3092\u6301\u3064\u300d\u3088\u3046\u306a\u898f\u5247\u3067\u5165\u529b\u306e\u6b21\u5143\u3092\u5897\u3084\u3059\u5909\u63db\u3092\u3057\u307e\u3059\u3002\u3053\u308c\u306b\u3088\u308a\u3001\u5165\u529b\u6570\u306fM\u500d\u306e\u69cb\u9020\u5316\u3055\u308c\u305f\u30b9\u30d1\u30fc\u30b9\u306a\u884c\u5217\u3068\u306a\u308a\u3001\u91cd\u307f\u884c\u5217\u3082M\u500d\u306e\u30d1\u30e9\u30e1\u30fc\u30bf\u3092\u6709\u3059\u308b\u3053\u3068\u304c\u53ef\u80fd\u3068\u306a\u308a\u307e\u3059\u3002\u3053\u306e\u6f14\u7b97\u306f\u7387\u76f4\u306b\u306f\u5143\u306e\u884c\u5217\u306b\u6bd4\u3079\u3066M\u500d\u306e\u6f14\u7b97\u91cf\u3092\u5fc5\u8981\u3068\u3057\u307e\u3059\u304c\u3001\u305d\u306e\u69cb\u9020\u3092\u6301\u3063\u305f\u30b9\u30d1\u30fc\u30b9\u6027\u3092\u5229\u7528\u3059\u308b\u3053\u3068\u3067\u3001\u5143\u306e\u884c\u5217\u3068\u540c\u3058\u5927\u304d\u3055\u306e\u5c0f\u3055\u306a\u884c\u5217\u540c\u58eb\u306e\u6f14\u7b97\u306b\u5e30\u7740\u3067\u304d\u307e\u3059\u3002\u3055\u3089\u306b\u3001M=2\u306e\u6642\u306fNVIDIA\u793e\u306eAmpere(Sparse Tensor Core)\u3084AMD\u793e\u306eCDNA\u306a\u3069\u306b\u642d\u8f09\u306e\u30b9\u30d1\u30fc\u30b9\u884c\u5217\u306e\u9ad8\u901f\u8a08\u7b97\u6a5f\u80fd\u3092\u5165\u529b\u884c\u5217\u306b\u5fdc\u7528\u3059\u308b\u3053\u3068\u3067 \u305d\u306e\u307e\u307e\u5b9f\u88c5\u3059\u308b\u3053\u3068\u304c\u53ef\u80fd\u3067\u3059\u3002 \u3053\u306e\u3088\u3046\u306b\u3001\u672c\u7814\u7a76\u306e\u63d0\u6848\u3059\u308bSAS\u306f\u6f14\u7b97\u91cf\u3092\u5909\u3048\u305a\u306b\u305f\u304f\u3055\u3093\u306e\u30d1\u30e9\u30e1\u30fc\u30bf\u3092\u3082\u3063\u305f\u5e45\u306e\u5e83\u3044\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u3092\u5b9f\u73fe\u3057\u307e\u3059\u3002\u305d\u306e\u305f\u3081\u3001\u540c\u3058\u6f14\u7b97\u91cf\u306e\u3082\u3068\u3067\u3001\u76f4\u63a5\u91cd\u307f\u3092\u30b9\u30d1\u30fc\u30b9\u306b\u3059\u308b\u5f93\u6765\u306eSWS\u3088\u308a\u9ad8\u3044\u8868\u73fe\u529b\u30fb\u7cbe\u5ea6\u3092\u4fdd\u6301\u3067\u304d\u307e\u3059\u3002\u3055\u3089\u306b\u5165\u529b\u306e\u30b9\u30d1\u30fc\u30b9\u6027\u3092\u4e0a\u3052\u3066\u3044\u304f\u3053\u3068\u3067\u6f14\u7b97\u91cf\u3092\u5909\u3048\u305a\u306b\u7cbe\u5ea6\u304c\u5411\u4e0a\u3057\u3066\u3044\u304f\u3053\u3068\u3082\u78ba\u8a8d\u3067\u304d\u307e\u3057\u305f\u3002\u307e\u305f\u3001SAS\u306b\u3088\u308b\u5185\u7a4d\u304cSparse Tensor Core\u3067\u52d5\u4f5c\u3059\u308b\u3053\u3068\u3082\u691c\u8a3c\u3057\u307e\u3057\u305f\u3002 \u25a0\u672c\u7814\u7a76\u306e\u8ad6\u6587 Yusuke Sekikawa and Shingo Yashima. \u201cSAS: Structured Activation Sparsification.\u201d In The Twelfth International Conference on Learning Representations (2024) \u25a0\u4eca\u5f8c\u306e\u5c55\u958b \u4eca\u56de\u306e\u7814\u7a76\u767a\u8868\u3067\u306f\u3001SAS\u306e\u30a2\u30eb\u30b4\u30ea\u30ba\u30e0\u306e\u63d0\u6848\u3068\u305d\u306e\u7cbe\u5ea6\u8a55\u4fa1\u306a\u3089\u3073\u306b\u6c4e\u7528GPU\u3067\u306e\u52d5\u4f5c\u691c\u8a3c\u3092\u884c\u3044\u307e\u3057\u305f\u3002\u4eca\u5f8c\u306f\u3001\u5b9f\u969b\u306e\u30a2\u30d7\u30ea\u30b1\u30fc\u30b7\u30e7\u30f3\u306b\u5411\u3051\u305f\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u3092\u69cb\u7bc9\u3059\u308b\u305f\u3081\u306e\u30bd\u30d5\u30c8\u30a6\u30a7\u30a2\u958b\u767a\u3092\u9032\u3081\u3066\u3044\u304d\u307e\u3059\u3002","inLanguage":"en-US","isPartOf":{"@id":"https:\/\/d-itlab.co.jp\/#website"},"breadcrumb":{"@id":"https:\/\/d-itlab.co.jp\/en\/release\/20240603\/#breadcrumblist"},"datePublished":"2024-06-03T10:44:48+09:00","dateModified":"2026-03-10T10:45:00+09:00"},{"@type":"WebSite","@id":"https:\/\/d-itlab.co.jp\/#website","url":"https:\/\/d-itlab.co.jp\/","name":"\u682a\u5f0f\u4f1a\u793e\u30c7\u30f3\u30bd\u30fc\u30a2\u30a4\u30c6\u30a3\u30fc\u30e9\u30dc\u30e9\u30c8\u30ea","description":"\u591a\u69d8\u306a\u4eba\u3001\u591a\u69d8\u306a\u6280\u8853\u3001\u591a\u69d8\u306a\u601d\u3044\u304c\u30aa\u30fc\u30d7\u30f3\u306b\u4ea4\u3058\u308a\u5408\u3046\u7814\u7a76\u958b\u767a\u4f01\u696d\u3002\u305d\u308c\u304c\u30c7\u30f3\u30bd\u30fc\u30a2\u30a4\u30c6\u30a3\u30fc\u30e9\u30dc\u30e9\u30c8\u30ea\u3067\u3059\u3002\u308f\u305f\u3057\u305f\u3061\u306f\u81ea\u7531\u306a\u767a\u60f3\u3067\u307e\u3060\u898b\u306c\u4e16\u754c\u306e\u30ef\u30af\u30ef\u30af\u3092\u5275\u9020\u3057\u307e\u3059\u3002","inLanguage":"en-US","publisher":{"@id":"https:\/\/d-itlab.co.jp\/#organization"}}]},"og:locale":"en_US","og:site_name":"\u682a\u5f0f\u4f1a\u793e\u30c7\u30f3\u30bd\u30fc\u30a2\u30a4\u30c6\u30a3\u30fc\u30e9\u30dc\u30e9\u30c8\u30ea - \u591a\u69d8\u306a\u4eba\u3001\u591a\u69d8\u306a\u6280\u8853\u3001\u591a\u69d8\u306a\u601d\u3044\u304c\u30aa\u30fc\u30d7\u30f3\u306b\u4ea4\u3058\u308a\u5408\u3046\u7814\u7a76\u958b\u767a\u4f01\u696d\u3002\u305d\u308c\u304c\u30c7\u30f3\u30bd\u30fc\u30a2\u30a4\u30c6\u30a3\u30fc\u30e9\u30dc\u30e9\u30c8\u30ea\u3067\u3059\u3002\u308f\u305f\u3057\u305f\u3061\u306f\u81ea\u7531\u306a\u767a\u60f3\u3067\u307e\u3060\u898b\u306c\u4e16\u754c\u306e\u30ef\u30af\u30ef\u30af\u3092\u5275\u9020\u3057\u307e\u3059\u3002","og:type":"article","og:title":"\u6c4e\u7528GPU\u306e\u65b0\u305f\u306a\u6f14\u7b97\u91cf\u524a\u6e1b\u3068\u7cbe\u5ea6\u7dad\u6301\u3092\u4e21\u7acb\u3059\u308b\u624b\u6cd5\u3092\u63d0\u6848[ICLR2024] - \u682a\u5f0f\u4f1a\u793e\u30c7\u30f3\u30bd\u30fc\u30a2\u30a4\u30c6\u30a3\u30fc\u30e9\u30dc\u30e9\u30c8\u30ea","og:description":"NVIDIA\u793e\u306a\u3069\u304c\u63d0\u4f9b\u3059\u308b\u6c4e\u7528GPU\u306e \u65b0\u305f\u306a\u6f14\u7b97\u91cf\u524a\u6e1b\u3068\u7cbe\u5ea6\u7dad\u6301\u3092\u4e21\u7acb\u3059\u308b\u624b\u6cd5\u3092\u63d0\u6848 \uff5e\u6a5f\u68b0\u5b66\u7fd2\u30fb\uff21\uff29\u5206\u91ce\u306e\u30c8\u30c3\u30d7\u30ab\u30f3\u30d5\u30a1\u30ec\u30f3\u30b9\u300cICLR2024\u300d\u306b\u4e3b\u8457\u7814\u7a76\u8ad6\u6587\u304c\u63a1\u629e\uff5e \u30af\u30eb\u30de\u3068\u30e2\u30d3\u30ea\u30c6\u30a3\u793e\u4f1a\u5168\u4f53\u306e\u672a\u6765\u3092\u898b\u636e\u3048\u3001\u300c\u7a2e\u300d\u3068\u306a\u308b\u5148\u7aef\u57fa\u790e\u7814\u7a76\u3092\u884c\u3046\u682a\u5f0f\u4f1a\u793e\u30c7\u30f3\u30bd\u30fc\u30a2\u30a4\u30c6\u30a3\u30e9\u30dc\u30e9\u30c8\u30ea\uff08\u672c\u793e\uff1a\u6771\u4eac\u90fd\u6e2f\u533a \u4ee3\u8868\u53d6\u7de0\u5f79\u793e\u9577\uff1a\u5cb8\u672c\u6b63\u5fd7\uff09\u306e\u7814\u7a76\u8005\u3067\u3042\u308b\u95a2\u5ddd\u96c4\u4ecb\u3089\u306b\u3088\u308b\u8ad6\u6587\u300cSAS: Structured Activation Sparsification\u300d\u304c\u30015\u67087\u65e5\u304b\u308911\u65e5\u306b\u30aa\u30fc\u30b9\u30c8\u30ea\u30a2\u306e\u30a6\u30a3\u30fc\u30f3\u3067\u958b\u50ac\u3055\u308c\u305f\u300cThe Twelfth International Conference on Learning Representations (ICLR 2024)\u300d\u3067\u63a1\u629e\u3055\u308c\u307e\u3057\u305f\u3002\u300cICLR\u300d\u306f\u6a5f\u68b0\u5b66\u7fd2\u5206\u91ce\u306b\u304a\u3044\u3066\u56fd\u969b\u7684\u306b\u6a29\u5a01\u306e\u3042\u308b\u30c8\u30c3\u30d7\u30ab\u30f3\u30d5\u30a1\u30ec\u30f3\u30b9\u306e\u4e00\u3064\u3067\u3059\u3002 \u672c\u7814\u7a76\u3067\u306f\u3001\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u306e\u6f14\u7b97\u91cf\u3092\u5897\u3084\u3055\u305a\u306b\u30d1\u30e9\u30e1\u30fc\u30bf\u6570\u3092\u5897\u3084\u3059\u6f14\u7b97\u624b\u6cd5\u3092\u63d0\u6848\u3057\u307e\u3057\u305f\u3002\u3053\u308c\u306b\u3088\u308a\u3001\u6f14\u7b97\u91cf\u524a\u6e1b\u3068\u7cbe\u5ea6\u7dad\u6301\u306e\u4e21\u7acb\u304c\u5b9f\u73fe\u3067\u304d\u307e\u3059\u3002\u307e\u305f\u5c02\u7528\u30cf\u30fc\u30c9\u30a6\u30a7\u30a2\u3092\u65b0\u305f\u306b\u958b\u767a\u3059\u308b\u3053\u3068\u306a\u304f\u3001NVIDIA\u793e\u3084AMD\u793e\u306a\u3069\u306e\u6c4e\u7528GPU\u3092\u6d3b\u7528\u3059\u308b\u3053\u3068\u3067\u5b9f\u88c5\u3059\u308b\u3053\u3068\u304c\u53ef\u80fd\u3067\u3059\u3002 \u81ea\u52d5\u8eca\u3084\u643a\u5e2f\u96fb\u8a71\u306a\u3069\u306e\u30a8\u30c3\u30b8\u7aef\u672b\u306b\u5927\u898f\u6a21\u306a\u9ad8\u7cbe\u5ea6\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u306e\u30e2\u30c7\u30eb\u3092\u7d44\u307f\u8fbc\u3080\u306b\u306f\u3001\u30cf\u30fc\u30c9\u30a6\u30a7\u30a2\u306e\u6027\u80fd\u3084\u4f7f\u7528\u96fb\u529b\u306b\u5236\u9650\u304c\u3042\u308b\u305f\u3081\u7cbe\u5ea6\u3092\u843d\u3068\u3055\u305a\u6f14\u7b97\u91cf\u3092\u6e1b\u3089\u3059\u5fc5\u8981\u304c\u3042\u308a\u307e\u3059\u3002\u672c\u624b\u6cd5\u306f\u305d\u306e\u8ab2\u984c\u3078\u306e\u65b0\u3057\u3044\u30a2\u30d7\u30ed\u30fc\u30c1\u3067\u3042\u308a\u3001\u4e16\u754c\u4e2d\u3067\u5e45\u5e83\u304f\u6d3b\u7528\u3055\u308c\u3066\u3044\u308bGPU\u306b\u642d\u8f09\u3055\u308c\u305f\u3001\u758e(\u30b9\u30d1\u30fc\u30b9)\u306a\u884c\u5217\u306e\u9ad8\u901f\u8a08\u7b97\u6a5f\u80fd\u306e\u6709\u76ca\u306a\u6d3b\u7528\u6cd5\u3092\u8003\u6848\u3057\u305f\u70b9\u3082\u8a55\u4fa1\u3055\u308c\u307e\u3057\u305f\u3002 \u25a0\u7814\u7a76\u306e\u80cc\u666f\uff1a\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u306e\u7cbe\u5ea6\u5411\u4e0a\u306b\u304a\u3051\u308b\u58c1 \u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u306f\u3001\u5404\u5c64\u306e\u30d1\u30e9\u30e1\u30fc\u30bf\u304c\u591a\u3044\uff08\u5e45\u304c\u5e83\u3044\uff09\u307b\u3069\u7cbe\u5ea6\u304c\u9ad8\u304f\u306a\u308a\u307e\u3059\u3002\u3057\u304b\u3057\u3001\u5404\u5c64\u306e\u30d1\u30e9\u30e1\u30fc\u30bf\u304c\u591a\u3044\u5927\u898f\u6a21\u306a\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u3067\u306f\u6f14\u7b97\u91cf\u304c\u5897\u3048\u308b\u305f\u3081\u3001\u9ad8\u6027\u80fd\u306a\u30cf\u30fc\u30c9\u30a6\u30a7\u30a2\u3084\u9ad8\u96fb\u529b\u306e\u4f9b\u7d66\u304c\u5fc5\u8981\u3068\u306a\u308a\u307e\u3059\u3002\u4e00\u65b9\u3001AI\u306e\u66f4\u306a\u308b\u5229\u7528\u304c\u671f\u5f85\u3055\u308c\u308b\u643a\u5e2f\u96fb\u8a71\u3084\u81ea\u52d5\u8eca\u306a\u3069\u306f\u3001\u30a8\u30c3\u30b8\u7aef\u672b\u3068\u3057\u3066\u30cf\u30fc\u30c9\u30a6\u30a7\u30a2\u6027\u80fd\u3084\u4f7f\u7528\u96fb\u529b\u306b\u5236\u9650\u304c\u3042\u308a\u307e\u3059\u3002\u305d\u306e\u305f\u3081\u3001\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u306e\u5b9f\u88c5\u306b\u3042\u305f\u3063\u3066\u306f\u30e2\u30c7\u30eb\u306e\u7cbe\u5ea6\u3092\u843d\u3068\u3055\u305a\u6f14\u7b97\u91cf\u3092\u6e1b\u3089\u3059\u3053\u3068\u304c\u8ab2\u984c\u3068\u306a\u308a\u307e\u3059\u3002 \u524d\u63d0\u3068\u3057\u3066\u3001\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u306e\u6f14\u7b97\u306f\u5404\u5c64\u306e\u5165\u529b\u3068\u91cd\u307f\u306e\u5185\u7a4d\u3092\u53d6\u308b\u6f14\u7b97\u3067\u69cb\u6210\u3055\u308c\u307e\u3059\u3002\u305d\u3057\u3066\u3001\u3053\u306e\u6f14\u7b97\u91cf\u3092\u6e1b\u3089\u3059\u624b\u6cd5\u3068\u3057\u3066\u3001\u5b66\u7fd2\u3057\u305f\u30e2\u30c7\u30eb\u306e\u91cd\u307f\u30d1\u30e9\u30e1\u30fc\u30bf\u306e\u4e00\u90e8\u3092\u30bc\u30ed\u306b\u3059\u308b\u300c\u679d\u5208\u308a\u300d\u3068\u3044\u3046\u624b\u6cd5\u304c\u3088\u304f\u7528\u3044\u3089\u308c\u307e\u3059\u3002\u300c\u679d\u5208\u308a\u300d\u3092\u884c\u3063\u3066\u3001\u30bc\u30ed\u306b\u8fd1\u3044\u30d1\u30e9\u30e1\u30fc\u30bf\u3092\u53b3\u5bc6\u306b\u30bc\u30ed\u306b\u7f6e\u304d\u63db\u3048\u3066\u3082\u7cbe\u5ea6\u3078\u306e\u5f71\u97ff\u304c\u5c0f\u3055\u3044\u3053\u3068\u304c\u77e5\u3089\u308c\u3066\u3044\u307e\u3059\u3002\u3055\u3089\u306b\u3001\u30bc\u30ed\u306b\u3059\u308b\u30d1\u30e9\u30e1\u30fc\u30bf\u306e\u4f4d\u7f6e\u306b\u69cb\u9020\uff08\u898f\u5247\u6027\uff09\u3092\u6301\u305f\u305b\u308b\u3053\u3068\u3067\u3001\u7cbe\u5ea6\u3092\u4fdd\u3063\u305f\u307e\u307e\u6f14\u7b97\u91cf\u3092\u6e1b\u3089\u3059\u3053\u3068\u304c\u53ef\u80fd\u3067\u3059\u3002\u305f\u3060\u3057\u3001\u305d\u308c\u3092\u5b9f\u73fe\u3059\u308b\u306b\u306f\u305d\u306e\u69cb\u9020\u3092\u9ad8\u901f\u306b\u51e6\u7406\u3059\u308b\u6f14\u7b97\u6a5f\u80fd\u3092\u642d\u8f09\u3057\u305fGPU\u306a\u3069\u306e\u30cf\u30fc\u30c9\u30a6\u30a7\u30a2\u304c\u5fc5\u8981\u3068\u306a\u308a\u307e\u3059\u3002 \u3053\u308c\u307e\u3067\u306bNVIDIA\u793e\u306f\u3001\u300c\u9023\u7d9a\u3059\u308bM\u500b\u306e\u30e2\u30c7\u30eb\u306e\u91cd\u307f\u306e\u30d1\u30e9\u30e1\u30fc\u30bf\u306e\u3046\u3061N\u500b\u3092\u30bc\u30ed\u300d\u306b\u3059\u308b\u69cb\u9020\u3092\u6301\u3063\u305f\u679d\u5208\u308a\u624b\u6cd5(SWS)\u3092\u63d0\u6848\u3057\u3066\u3044\u307e\u3059\u3002\u540c\u793e\u304c\u958b\u767a\u3057\u305fGPU\u306b\u306f\u3053\u306e\u624b\u6cd5\u3092\u30b5\u30dd\u30fc\u30c8\u3059\u308b\u6f14\u7b97\u5668Sparse Tensor Core\u304c\u5b9f\u88c5\u3055\u308c\u3066\u304a\u308a\u3001\u6f14\u7b97\u91cf\u3092\u5143\u306e\u30e2\u30c7\u30eb\u306e\u534a\u5206\u306b\u6e1b\u3089\u3059\u3053\u3068\u304c\u3067\u304d\u307e\u3059\u3002 \u4e00\u65b9\u3067\u3001\u6f14\u7b97\u91cf\u3092\u6e1b\u3089\u3059\u305f\u3081\u306b\u91cd\u307f\u3067\u306f\u306a\u304f\u5165\u529b\u306e\u4e00\u90e8\u3092\u30bc\u30ed\u306b\u3059\u308b(\u30b9\u30d1\u30fc\u30b9\u306b\u3059\u308b)\u65b9\u6cd5\u3082\u3042\u308a\u307e\u3059\u3002\u3057\u304b\u3057\u3001\u56fa\u5b9a\u3055\u308c\u305f\u30e2\u30c7\u30eb\u306e\u91cd\u307f\u306e\u30d1\u30e9\u30e1\u30fc\u30bf\u3068\u7570\u306a\u308a\u3001\u5165\u529b\u306f\u6bce\u56de\u7570\u306a\u308b\u5024\u3092\u53d6\u308b\u305f\u3081\u7cbe\u5ea6\u52a3\u5316\u3092\u6291\u3048\u3064\u3064\u3001\u69cb\u9020\u3092\u6301\u305f\u305b\u3066\u30b9\u30d1\u30fc\u30b9\u306b\u3059\u308b\u3053\u3068\u306f\u3053\u308c\u307e\u3067\u56f0\u96e3\u3067\u3057\u305f\u3002\u305d\u306e\u305f\u3081\u3001\u69cb\u9020\u3092\u6301\u305f\u305b\u305a\u306b\u30b9\u30d1\u30fc\u30b9\u306b\u3059\u308b\u624b\u6cd5\u304c\u63d0\u6848\u3055\u308c\u3066\u304d\u307e\u3057\u305f\u304c\u3001\u305d\u308c\u3089\u306e\u624b\u6cd5\u306f\u30cf\u30fc\u30c9\u30a6\u30a7\u30a2\u4e0a\u3067\u5b9f\u88c5\u3059\u308b\u3053\u3068\u306f\u975e\u5e38\u306b\u56f0\u96e3\u3067\u3059\u3002 \u25a0\u672c\u7814\u7a76\u306e\u6210\u679c\uff1aSWS\u3088\u308a\u9ad8\u3044\u7cbe\u5ea6\u3092\u540c\u3058\u6f14\u7b97\u91cf\u3067\u5b9f\u73fe \u672c\u7814\u7a76\u3067\u63d0\u6848\u3059\u308bSAS\uff08Structured Activation Sparsification\uff09\u306f\u3001\u5165\u529b\u306e\u4e00\u90e8\u3092\u30bc\u30ed\u306b\u3059\u308b\u306e\u3067\u306f\u306a\u304f\u3080\u3057\u308d\u3001\u300c\u9023\u7d9a\u3059\u308bM\u500b\u306e\u3046\u30611\u500b\u3060\u3051\u5024\u3092\u6301\u3064\u300d\u3088\u3046\u306a\u898f\u5247\u3067\u5165\u529b\u306e\u6b21\u5143\u3092\u5897\u3084\u3059\u5909\u63db\u3092\u3057\u307e\u3059\u3002\u3053\u308c\u306b\u3088\u308a\u3001\u5165\u529b\u6570\u306fM\u500d\u306e\u69cb\u9020\u5316\u3055\u308c\u305f\u30b9\u30d1\u30fc\u30b9\u306a\u884c\u5217\u3068\u306a\u308a\u3001\u91cd\u307f\u884c\u5217\u3082M\u500d\u306e\u30d1\u30e9\u30e1\u30fc\u30bf\u3092\u6709\u3059\u308b\u3053\u3068\u304c\u53ef\u80fd\u3068\u306a\u308a\u307e\u3059\u3002\u3053\u306e\u6f14\u7b97\u306f\u7387\u76f4\u306b\u306f\u5143\u306e\u884c\u5217\u306b\u6bd4\u3079\u3066M\u500d\u306e\u6f14\u7b97\u91cf\u3092\u5fc5\u8981\u3068\u3057\u307e\u3059\u304c\u3001\u305d\u306e\u69cb\u9020\u3092\u6301\u3063\u305f\u30b9\u30d1\u30fc\u30b9\u6027\u3092\u5229\u7528\u3059\u308b\u3053\u3068\u3067\u3001\u5143\u306e\u884c\u5217\u3068\u540c\u3058\u5927\u304d\u3055\u306e\u5c0f\u3055\u306a\u884c\u5217\u540c\u58eb\u306e\u6f14\u7b97\u306b\u5e30\u7740\u3067\u304d\u307e\u3059\u3002\u3055\u3089\u306b\u3001M=2\u306e\u6642\u306fNVIDIA\u793e\u306eAmpere(Sparse Tensor Core)\u3084AMD\u793e\u306eCDNA\u306a\u3069\u306b\u642d\u8f09\u306e\u30b9\u30d1\u30fc\u30b9\u884c\u5217\u306e\u9ad8\u901f\u8a08\u7b97\u6a5f\u80fd\u3092\u5165\u529b\u884c\u5217\u306b\u5fdc\u7528\u3059\u308b\u3053\u3068\u3067 \u305d\u306e\u307e\u307e\u5b9f\u88c5\u3059\u308b\u3053\u3068\u304c\u53ef\u80fd\u3067\u3059\u3002 \u3053\u306e\u3088\u3046\u306b\u3001\u672c\u7814\u7a76\u306e\u63d0\u6848\u3059\u308bSAS\u306f\u6f14\u7b97\u91cf\u3092\u5909\u3048\u305a\u306b\u305f\u304f\u3055\u3093\u306e\u30d1\u30e9\u30e1\u30fc\u30bf\u3092\u3082\u3063\u305f\u5e45\u306e\u5e83\u3044\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u3092\u5b9f\u73fe\u3057\u307e\u3059\u3002\u305d\u306e\u305f\u3081\u3001\u540c\u3058\u6f14\u7b97\u91cf\u306e\u3082\u3068\u3067\u3001\u76f4\u63a5\u91cd\u307f\u3092\u30b9\u30d1\u30fc\u30b9\u306b\u3059\u308b\u5f93\u6765\u306eSWS\u3088\u308a\u9ad8\u3044\u8868\u73fe\u529b\u30fb\u7cbe\u5ea6\u3092\u4fdd\u6301\u3067\u304d\u307e\u3059\u3002\u3055\u3089\u306b\u5165\u529b\u306e\u30b9\u30d1\u30fc\u30b9\u6027\u3092\u4e0a\u3052\u3066\u3044\u304f\u3053\u3068\u3067\u6f14\u7b97\u91cf\u3092\u5909\u3048\u305a\u306b\u7cbe\u5ea6\u304c\u5411\u4e0a\u3057\u3066\u3044\u304f\u3053\u3068\u3082\u78ba\u8a8d\u3067\u304d\u307e\u3057\u305f\u3002\u307e\u305f\u3001SAS\u306b\u3088\u308b\u5185\u7a4d\u304cSparse Tensor Core\u3067\u52d5\u4f5c\u3059\u308b\u3053\u3068\u3082\u691c\u8a3c\u3057\u307e\u3057\u305f\u3002 \u25a0\u672c\u7814\u7a76\u306e\u8ad6\u6587 Yusuke Sekikawa and Shingo Yashima. \u201cSAS: Structured Activation Sparsification.\u201d In The Twelfth International Conference on Learning Representations (2024) \u25a0\u4eca\u5f8c\u306e\u5c55\u958b \u4eca\u56de\u306e\u7814\u7a76\u767a\u8868\u3067\u306f\u3001SAS\u306e\u30a2\u30eb\u30b4\u30ea\u30ba\u30e0\u306e\u63d0\u6848\u3068\u305d\u306e\u7cbe\u5ea6\u8a55\u4fa1\u306a\u3089\u3073\u306b\u6c4e\u7528GPU\u3067\u306e\u52d5\u4f5c\u691c\u8a3c\u3092\u884c\u3044\u307e\u3057\u305f\u3002\u4eca\u5f8c\u306f\u3001\u5b9f\u969b\u306e\u30a2\u30d7\u30ea\u30b1\u30fc\u30b7\u30e7\u30f3\u306b\u5411\u3051\u305f\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u3092\u69cb\u7bc9\u3059\u308b\u305f\u3081\u306e\u30bd\u30d5\u30c8\u30a6\u30a7\u30a2\u958b\u767a\u3092\u9032\u3081\u3066\u3044\u304d\u307e\u3059\u3002","og:url":"https:\/\/d-itlab.co.jp\/en\/release\/20240603\/","og:image":"https:\/\/d-itlab.co.jp\/wp-content\/uploads\/2025\/07\/itlab_OGP.jpg","og:image:secure_url":"https:\/\/d-itlab.co.jp\/wp-content\/uploads\/2025\/07\/itlab_OGP.jpg","og:image:width":1200,"og:image:height":630,"article:published_time":"2024-06-03T01:44:48+00:00","article:modified_time":"2026-03-10T01:45:00+00:00","twitter:card":"summary_large_image","twitter:title":"\u6c4e\u7528GPU\u306e\u65b0\u305f\u306a\u6f14\u7b97\u91cf\u524a\u6e1b\u3068\u7cbe\u5ea6\u7dad\u6301\u3092\u4e21\u7acb\u3059\u308b\u624b\u6cd5\u3092\u63d0\u6848[ICLR2024] - \u682a\u5f0f\u4f1a\u793e\u30c7\u30f3\u30bd\u30fc\u30a2\u30a4\u30c6\u30a3\u30fc\u30e9\u30dc\u30e9\u30c8\u30ea","twitter:description":"NVIDIA\u793e\u306a\u3069\u304c\u63d0\u4f9b\u3059\u308b\u6c4e\u7528GPU\u306e \u65b0\u305f\u306a\u6f14\u7b97\u91cf\u524a\u6e1b\u3068\u7cbe\u5ea6\u7dad\u6301\u3092\u4e21\u7acb\u3059\u308b\u624b\u6cd5\u3092\u63d0\u6848 \uff5e\u6a5f\u68b0\u5b66\u7fd2\u30fb\uff21\uff29\u5206\u91ce\u306e\u30c8\u30c3\u30d7\u30ab\u30f3\u30d5\u30a1\u30ec\u30f3\u30b9\u300cICLR2024\u300d\u306b\u4e3b\u8457\u7814\u7a76\u8ad6\u6587\u304c\u63a1\u629e\uff5e \u30af\u30eb\u30de\u3068\u30e2\u30d3\u30ea\u30c6\u30a3\u793e\u4f1a\u5168\u4f53\u306e\u672a\u6765\u3092\u898b\u636e\u3048\u3001\u300c\u7a2e\u300d\u3068\u306a\u308b\u5148\u7aef\u57fa\u790e\u7814\u7a76\u3092\u884c\u3046\u682a\u5f0f\u4f1a\u793e\u30c7\u30f3\u30bd\u30fc\u30a2\u30a4\u30c6\u30a3\u30e9\u30dc\u30e9\u30c8\u30ea\uff08\u672c\u793e\uff1a\u6771\u4eac\u90fd\u6e2f\u533a \u4ee3\u8868\u53d6\u7de0\u5f79\u793e\u9577\uff1a\u5cb8\u672c\u6b63\u5fd7\uff09\u306e\u7814\u7a76\u8005\u3067\u3042\u308b\u95a2\u5ddd\u96c4\u4ecb\u3089\u306b\u3088\u308b\u8ad6\u6587\u300cSAS: Structured Activation Sparsification\u300d\u304c\u30015\u67087\u65e5\u304b\u308911\u65e5\u306b\u30aa\u30fc\u30b9\u30c8\u30ea\u30a2\u306e\u30a6\u30a3\u30fc\u30f3\u3067\u958b\u50ac\u3055\u308c\u305f\u300cThe Twelfth International Conference on Learning Representations (ICLR 2024)\u300d\u3067\u63a1\u629e\u3055\u308c\u307e\u3057\u305f\u3002\u300cICLR\u300d\u306f\u6a5f\u68b0\u5b66\u7fd2\u5206\u91ce\u306b\u304a\u3044\u3066\u56fd\u969b\u7684\u306b\u6a29\u5a01\u306e\u3042\u308b\u30c8\u30c3\u30d7\u30ab\u30f3\u30d5\u30a1\u30ec\u30f3\u30b9\u306e\u4e00\u3064\u3067\u3059\u3002 \u672c\u7814\u7a76\u3067\u306f\u3001\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u306e\u6f14\u7b97\u91cf\u3092\u5897\u3084\u3055\u305a\u306b\u30d1\u30e9\u30e1\u30fc\u30bf\u6570\u3092\u5897\u3084\u3059\u6f14\u7b97\u624b\u6cd5\u3092\u63d0\u6848\u3057\u307e\u3057\u305f\u3002\u3053\u308c\u306b\u3088\u308a\u3001\u6f14\u7b97\u91cf\u524a\u6e1b\u3068\u7cbe\u5ea6\u7dad\u6301\u306e\u4e21\u7acb\u304c\u5b9f\u73fe\u3067\u304d\u307e\u3059\u3002\u307e\u305f\u5c02\u7528\u30cf\u30fc\u30c9\u30a6\u30a7\u30a2\u3092\u65b0\u305f\u306b\u958b\u767a\u3059\u308b\u3053\u3068\u306a\u304f\u3001NVIDIA\u793e\u3084AMD\u793e\u306a\u3069\u306e\u6c4e\u7528GPU\u3092\u6d3b\u7528\u3059\u308b\u3053\u3068\u3067\u5b9f\u88c5\u3059\u308b\u3053\u3068\u304c\u53ef\u80fd\u3067\u3059\u3002 \u81ea\u52d5\u8eca\u3084\u643a\u5e2f\u96fb\u8a71\u306a\u3069\u306e\u30a8\u30c3\u30b8\u7aef\u672b\u306b\u5927\u898f\u6a21\u306a\u9ad8\u7cbe\u5ea6\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u306e\u30e2\u30c7\u30eb\u3092\u7d44\u307f\u8fbc\u3080\u306b\u306f\u3001\u30cf\u30fc\u30c9\u30a6\u30a7\u30a2\u306e\u6027\u80fd\u3084\u4f7f\u7528\u96fb\u529b\u306b\u5236\u9650\u304c\u3042\u308b\u305f\u3081\u7cbe\u5ea6\u3092\u843d\u3068\u3055\u305a\u6f14\u7b97\u91cf\u3092\u6e1b\u3089\u3059\u5fc5\u8981\u304c\u3042\u308a\u307e\u3059\u3002\u672c\u624b\u6cd5\u306f\u305d\u306e\u8ab2\u984c\u3078\u306e\u65b0\u3057\u3044\u30a2\u30d7\u30ed\u30fc\u30c1\u3067\u3042\u308a\u3001\u4e16\u754c\u4e2d\u3067\u5e45\u5e83\u304f\u6d3b\u7528\u3055\u308c\u3066\u3044\u308bGPU\u306b\u642d\u8f09\u3055\u308c\u305f\u3001\u758e(\u30b9\u30d1\u30fc\u30b9)\u306a\u884c\u5217\u306e\u9ad8\u901f\u8a08\u7b97\u6a5f\u80fd\u306e\u6709\u76ca\u306a\u6d3b\u7528\u6cd5\u3092\u8003\u6848\u3057\u305f\u70b9\u3082\u8a55\u4fa1\u3055\u308c\u307e\u3057\u305f\u3002 \u25a0\u7814\u7a76\u306e\u80cc\u666f\uff1a\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u306e\u7cbe\u5ea6\u5411\u4e0a\u306b\u304a\u3051\u308b\u58c1 \u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u306f\u3001\u5404\u5c64\u306e\u30d1\u30e9\u30e1\u30fc\u30bf\u304c\u591a\u3044\uff08\u5e45\u304c\u5e83\u3044\uff09\u307b\u3069\u7cbe\u5ea6\u304c\u9ad8\u304f\u306a\u308a\u307e\u3059\u3002\u3057\u304b\u3057\u3001\u5404\u5c64\u306e\u30d1\u30e9\u30e1\u30fc\u30bf\u304c\u591a\u3044\u5927\u898f\u6a21\u306a\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u3067\u306f\u6f14\u7b97\u91cf\u304c\u5897\u3048\u308b\u305f\u3081\u3001\u9ad8\u6027\u80fd\u306a\u30cf\u30fc\u30c9\u30a6\u30a7\u30a2\u3084\u9ad8\u96fb\u529b\u306e\u4f9b\u7d66\u304c\u5fc5\u8981\u3068\u306a\u308a\u307e\u3059\u3002\u4e00\u65b9\u3001AI\u306e\u66f4\u306a\u308b\u5229\u7528\u304c\u671f\u5f85\u3055\u308c\u308b\u643a\u5e2f\u96fb\u8a71\u3084\u81ea\u52d5\u8eca\u306a\u3069\u306f\u3001\u30a8\u30c3\u30b8\u7aef\u672b\u3068\u3057\u3066\u30cf\u30fc\u30c9\u30a6\u30a7\u30a2\u6027\u80fd\u3084\u4f7f\u7528\u96fb\u529b\u306b\u5236\u9650\u304c\u3042\u308a\u307e\u3059\u3002\u305d\u306e\u305f\u3081\u3001\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u306e\u5b9f\u88c5\u306b\u3042\u305f\u3063\u3066\u306f\u30e2\u30c7\u30eb\u306e\u7cbe\u5ea6\u3092\u843d\u3068\u3055\u305a\u6f14\u7b97\u91cf\u3092\u6e1b\u3089\u3059\u3053\u3068\u304c\u8ab2\u984c\u3068\u306a\u308a\u307e\u3059\u3002 \u524d\u63d0\u3068\u3057\u3066\u3001\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u306e\u6f14\u7b97\u306f\u5404\u5c64\u306e\u5165\u529b\u3068\u91cd\u307f\u306e\u5185\u7a4d\u3092\u53d6\u308b\u6f14\u7b97\u3067\u69cb\u6210\u3055\u308c\u307e\u3059\u3002\u305d\u3057\u3066\u3001\u3053\u306e\u6f14\u7b97\u91cf\u3092\u6e1b\u3089\u3059\u624b\u6cd5\u3068\u3057\u3066\u3001\u5b66\u7fd2\u3057\u305f\u30e2\u30c7\u30eb\u306e\u91cd\u307f\u30d1\u30e9\u30e1\u30fc\u30bf\u306e\u4e00\u90e8\u3092\u30bc\u30ed\u306b\u3059\u308b\u300c\u679d\u5208\u308a\u300d\u3068\u3044\u3046\u624b\u6cd5\u304c\u3088\u304f\u7528\u3044\u3089\u308c\u307e\u3059\u3002\u300c\u679d\u5208\u308a\u300d\u3092\u884c\u3063\u3066\u3001\u30bc\u30ed\u306b\u8fd1\u3044\u30d1\u30e9\u30e1\u30fc\u30bf\u3092\u53b3\u5bc6\u306b\u30bc\u30ed\u306b\u7f6e\u304d\u63db\u3048\u3066\u3082\u7cbe\u5ea6\u3078\u306e\u5f71\u97ff\u304c\u5c0f\u3055\u3044\u3053\u3068\u304c\u77e5\u3089\u308c\u3066\u3044\u307e\u3059\u3002\u3055\u3089\u306b\u3001\u30bc\u30ed\u306b\u3059\u308b\u30d1\u30e9\u30e1\u30fc\u30bf\u306e\u4f4d\u7f6e\u306b\u69cb\u9020\uff08\u898f\u5247\u6027\uff09\u3092\u6301\u305f\u305b\u308b\u3053\u3068\u3067\u3001\u7cbe\u5ea6\u3092\u4fdd\u3063\u305f\u307e\u307e\u6f14\u7b97\u91cf\u3092\u6e1b\u3089\u3059\u3053\u3068\u304c\u53ef\u80fd\u3067\u3059\u3002\u305f\u3060\u3057\u3001\u305d\u308c\u3092\u5b9f\u73fe\u3059\u308b\u306b\u306f\u305d\u306e\u69cb\u9020\u3092\u9ad8\u901f\u306b\u51e6\u7406\u3059\u308b\u6f14\u7b97\u6a5f\u80fd\u3092\u642d\u8f09\u3057\u305fGPU\u306a\u3069\u306e\u30cf\u30fc\u30c9\u30a6\u30a7\u30a2\u304c\u5fc5\u8981\u3068\u306a\u308a\u307e\u3059\u3002 \u3053\u308c\u307e\u3067\u306bNVIDIA\u793e\u306f\u3001\u300c\u9023\u7d9a\u3059\u308bM\u500b\u306e\u30e2\u30c7\u30eb\u306e\u91cd\u307f\u306e\u30d1\u30e9\u30e1\u30fc\u30bf\u306e\u3046\u3061N\u500b\u3092\u30bc\u30ed\u300d\u306b\u3059\u308b\u69cb\u9020\u3092\u6301\u3063\u305f\u679d\u5208\u308a\u624b\u6cd5(SWS)\u3092\u63d0\u6848\u3057\u3066\u3044\u307e\u3059\u3002\u540c\u793e\u304c\u958b\u767a\u3057\u305fGPU\u306b\u306f\u3053\u306e\u624b\u6cd5\u3092\u30b5\u30dd\u30fc\u30c8\u3059\u308b\u6f14\u7b97\u5668Sparse Tensor Core\u304c\u5b9f\u88c5\u3055\u308c\u3066\u304a\u308a\u3001\u6f14\u7b97\u91cf\u3092\u5143\u306e\u30e2\u30c7\u30eb\u306e\u534a\u5206\u306b\u6e1b\u3089\u3059\u3053\u3068\u304c\u3067\u304d\u307e\u3059\u3002 \u4e00\u65b9\u3067\u3001\u6f14\u7b97\u91cf\u3092\u6e1b\u3089\u3059\u305f\u3081\u306b\u91cd\u307f\u3067\u306f\u306a\u304f\u5165\u529b\u306e\u4e00\u90e8\u3092\u30bc\u30ed\u306b\u3059\u308b(\u30b9\u30d1\u30fc\u30b9\u306b\u3059\u308b)\u65b9\u6cd5\u3082\u3042\u308a\u307e\u3059\u3002\u3057\u304b\u3057\u3001\u56fa\u5b9a\u3055\u308c\u305f\u30e2\u30c7\u30eb\u306e\u91cd\u307f\u306e\u30d1\u30e9\u30e1\u30fc\u30bf\u3068\u7570\u306a\u308a\u3001\u5165\u529b\u306f\u6bce\u56de\u7570\u306a\u308b\u5024\u3092\u53d6\u308b\u305f\u3081\u7cbe\u5ea6\u52a3\u5316\u3092\u6291\u3048\u3064\u3064\u3001\u69cb\u9020\u3092\u6301\u305f\u305b\u3066\u30b9\u30d1\u30fc\u30b9\u306b\u3059\u308b\u3053\u3068\u306f\u3053\u308c\u307e\u3067\u56f0\u96e3\u3067\u3057\u305f\u3002\u305d\u306e\u305f\u3081\u3001\u69cb\u9020\u3092\u6301\u305f\u305b\u305a\u306b\u30b9\u30d1\u30fc\u30b9\u306b\u3059\u308b\u624b\u6cd5\u304c\u63d0\u6848\u3055\u308c\u3066\u304d\u307e\u3057\u305f\u304c\u3001\u305d\u308c\u3089\u306e\u624b\u6cd5\u306f\u30cf\u30fc\u30c9\u30a6\u30a7\u30a2\u4e0a\u3067\u5b9f\u88c5\u3059\u308b\u3053\u3068\u306f\u975e\u5e38\u306b\u56f0\u96e3\u3067\u3059\u3002 \u25a0\u672c\u7814\u7a76\u306e\u6210\u679c\uff1aSWS\u3088\u308a\u9ad8\u3044\u7cbe\u5ea6\u3092\u540c\u3058\u6f14\u7b97\u91cf\u3067\u5b9f\u73fe \u672c\u7814\u7a76\u3067\u63d0\u6848\u3059\u308bSAS\uff08Structured Activation Sparsification\uff09\u306f\u3001\u5165\u529b\u306e\u4e00\u90e8\u3092\u30bc\u30ed\u306b\u3059\u308b\u306e\u3067\u306f\u306a\u304f\u3080\u3057\u308d\u3001\u300c\u9023\u7d9a\u3059\u308bM\u500b\u306e\u3046\u30611\u500b\u3060\u3051\u5024\u3092\u6301\u3064\u300d\u3088\u3046\u306a\u898f\u5247\u3067\u5165\u529b\u306e\u6b21\u5143\u3092\u5897\u3084\u3059\u5909\u63db\u3092\u3057\u307e\u3059\u3002\u3053\u308c\u306b\u3088\u308a\u3001\u5165\u529b\u6570\u306fM\u500d\u306e\u69cb\u9020\u5316\u3055\u308c\u305f\u30b9\u30d1\u30fc\u30b9\u306a\u884c\u5217\u3068\u306a\u308a\u3001\u91cd\u307f\u884c\u5217\u3082M\u500d\u306e\u30d1\u30e9\u30e1\u30fc\u30bf\u3092\u6709\u3059\u308b\u3053\u3068\u304c\u53ef\u80fd\u3068\u306a\u308a\u307e\u3059\u3002\u3053\u306e\u6f14\u7b97\u306f\u7387\u76f4\u306b\u306f\u5143\u306e\u884c\u5217\u306b\u6bd4\u3079\u3066M\u500d\u306e\u6f14\u7b97\u91cf\u3092\u5fc5\u8981\u3068\u3057\u307e\u3059\u304c\u3001\u305d\u306e\u69cb\u9020\u3092\u6301\u3063\u305f\u30b9\u30d1\u30fc\u30b9\u6027\u3092\u5229\u7528\u3059\u308b\u3053\u3068\u3067\u3001\u5143\u306e\u884c\u5217\u3068\u540c\u3058\u5927\u304d\u3055\u306e\u5c0f\u3055\u306a\u884c\u5217\u540c\u58eb\u306e\u6f14\u7b97\u306b\u5e30\u7740\u3067\u304d\u307e\u3059\u3002\u3055\u3089\u306b\u3001M=2\u306e\u6642\u306fNVIDIA\u793e\u306eAmpere(Sparse Tensor Core)\u3084AMD\u793e\u306eCDNA\u306a\u3069\u306b\u642d\u8f09\u306e\u30b9\u30d1\u30fc\u30b9\u884c\u5217\u306e\u9ad8\u901f\u8a08\u7b97\u6a5f\u80fd\u3092\u5165\u529b\u884c\u5217\u306b\u5fdc\u7528\u3059\u308b\u3053\u3068\u3067 \u305d\u306e\u307e\u307e\u5b9f\u88c5\u3059\u308b\u3053\u3068\u304c\u53ef\u80fd\u3067\u3059\u3002 \u3053\u306e\u3088\u3046\u306b\u3001\u672c\u7814\u7a76\u306e\u63d0\u6848\u3059\u308bSAS\u306f\u6f14\u7b97\u91cf\u3092\u5909\u3048\u305a\u306b\u305f\u304f\u3055\u3093\u306e\u30d1\u30e9\u30e1\u30fc\u30bf\u3092\u3082\u3063\u305f\u5e45\u306e\u5e83\u3044\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u3092\u5b9f\u73fe\u3057\u307e\u3059\u3002\u305d\u306e\u305f\u3081\u3001\u540c\u3058\u6f14\u7b97\u91cf\u306e\u3082\u3068\u3067\u3001\u76f4\u63a5\u91cd\u307f\u3092\u30b9\u30d1\u30fc\u30b9\u306b\u3059\u308b\u5f93\u6765\u306eSWS\u3088\u308a\u9ad8\u3044\u8868\u73fe\u529b\u30fb\u7cbe\u5ea6\u3092\u4fdd\u6301\u3067\u304d\u307e\u3059\u3002\u3055\u3089\u306b\u5165\u529b\u306e\u30b9\u30d1\u30fc\u30b9\u6027\u3092\u4e0a\u3052\u3066\u3044\u304f\u3053\u3068\u3067\u6f14\u7b97\u91cf\u3092\u5909\u3048\u305a\u306b\u7cbe\u5ea6\u304c\u5411\u4e0a\u3057\u3066\u3044\u304f\u3053\u3068\u3082\u78ba\u8a8d\u3067\u304d\u307e\u3057\u305f\u3002\u307e\u305f\u3001SAS\u306b\u3088\u308b\u5185\u7a4d\u304cSparse Tensor Core\u3067\u52d5\u4f5c\u3059\u308b\u3053\u3068\u3082\u691c\u8a3c\u3057\u307e\u3057\u305f\u3002 \u25a0\u672c\u7814\u7a76\u306e\u8ad6\u6587 Yusuke Sekikawa and Shingo Yashima. \u201cSAS: Structured Activation Sparsification.\u201d In The Twelfth International Conference on Learning Representations (2024) \u25a0\u4eca\u5f8c\u306e\u5c55\u958b \u4eca\u56de\u306e\u7814\u7a76\u767a\u8868\u3067\u306f\u3001SAS\u306e\u30a2\u30eb\u30b4\u30ea\u30ba\u30e0\u306e\u63d0\u6848\u3068\u305d\u306e\u7cbe\u5ea6\u8a55\u4fa1\u306a\u3089\u3073\u306b\u6c4e\u7528GPU\u3067\u306e\u52d5\u4f5c\u691c\u8a3c\u3092\u884c\u3044\u307e\u3057\u305f\u3002\u4eca\u5f8c\u306f\u3001\u5b9f\u969b\u306e\u30a2\u30d7\u30ea\u30b1\u30fc\u30b7\u30e7\u30f3\u306b\u5411\u3051\u305f\u30cb\u30e5\u30fc\u30e9\u30eb\u30cd\u30c3\u30c8\u30ef\u30fc\u30af\u3092\u69cb\u7bc9\u3059\u308b\u305f\u3081\u306e\u30bd\u30d5\u30c8\u30a6\u30a7\u30a2\u958b\u767a\u3092\u9032\u3081\u3066\u3044\u304d\u307e\u3059\u3002","twitter:image":"https:\/\/d-itlab.co.jp\/wp-content\/uploads\/2025\/07\/itlab_OGP.jpg"},"aioseo_meta_data":{"post_id":"1362","title":null,"description":null,"keywords":null,"keyphrases":{"focus":{"keyphrase":"","score":0,"analysis":{"keyphraseInTitle":{"score":0,"maxScore":9,"error":1}}},"additional":[]},"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":"","og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"WebPage","isEnabled":true},"graphs":[]},"schema_type":"default","schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":"-1","robots_max_videopreview":"-1","robots_max_imagepreview":"large","priority":null,"frequency":"default","local_seo":null,"breadcrumb_settings":null,"limit_modified_date":false,"ai":{"faqs":[],"keyPoints":[],"titles":[],"descriptions":[],"socialPosts":{"email":[],"linkedin":[],"twitter":[],"facebook":[],"instagram":[]}},"created":"2026-03-10 01:44:48","updated":"2026-03-10 01:54:13","seo_analyzer_scan_date":null,"focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"aioseo_breadcrumb":"<div class=\"aioseo-breadcrumbs\"><span class=\"aioseo-breadcrumb\">\n\t\t\t<a href=\"https:\/\/d-itlab.co.jp\/\" title=\"Home\">Home<\/a>\n\t\t<\/span><span class=\"aioseo-breadcrumb-separator\">\u00bb<\/span><span class=\"aioseo-breadcrumb\">\n\t\t\t<a href=\"https:\/\/d-itlab.co.jp\/en\/release\/\" title=\"\u30d7\u30ec\u30b9\u30ea\u30ea\u30fc\u30b9\">\u30d7\u30ec\u30b9\u30ea\u30ea\u30fc\u30b9<\/a>\n\t\t<\/span><span class=\"aioseo-breadcrumb-separator\">\u00bb<\/span><span class=\"aioseo-breadcrumb\">\n\t\t\t<a href=\"https:\/\/d-itlab.co.jp\/en\/category\/release\/\" title=\"Press Release\">Press Release<\/a>\n\t\t<\/span><span class=\"aioseo-breadcrumb-separator\">\u00bb<\/span><span class=\"aioseo-breadcrumb\">\n\t\t\t\u6c4e\u7528GPU\u306e\u65b0\u305f\u306a\u6f14\u7b97\u91cf\u524a\u6e1b\u3068\u7cbe\u5ea6\u7dad\u6301\u3092\u4e21\u7acb\u3059\u308b\u624b\u6cd5\u3092\u63d0\u6848[ICLR2024]\n\t\t<\/span><\/div>","aioseo_breadcrumb_json":[{"label":"Home","link":"https:\/\/d-itlab.co.jp\/"},{"label":"\u30d7\u30ec\u30b9\u30ea\u30ea\u30fc\u30b9","link":"https:\/\/d-itlab.co.jp\/en\/release\/"},{"label":"Press Release","link":"https:\/\/d-itlab.co.jp\/en\/category\/release\/"},{"label":"\u6c4e\u7528GPU\u306e\u65b0\u305f\u306a\u6f14\u7b97\u91cf\u524a\u6e1b\u3068\u7cbe\u5ea6\u7dad\u6301\u3092\u4e21\u7acb\u3059\u308b\u624b\u6cd5\u3092\u63d0\u6848[ICLR2024]","link":"https:\/\/d-itlab.co.jp\/en\/release\/20240603\/"}],"jetpack_sharing_enabled":true,"_links":{"self":[{"href":"https:\/\/d-itlab.co.jp\/wp-json\/wp\/v2\/release\/1362","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/d-itlab.co.jp\/wp-json\/wp\/v2\/release"}],"about":[{"href":"https:\/\/d-itlab.co.jp\/wp-json\/wp\/v2\/types\/release"}],"wp:attachment":[{"href":"https:\/\/d-itlab.co.jp\/wp-json\/wp\/v2\/media?parent=1362"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/d-itlab.co.jp\/wp-json\/wp\/v2\/categories?post=1362"},{"taxonomy":"member","embeddable":true,"href":"https:\/\/d-itlab.co.jp\/wp-json\/wp\/v2\/member?post=1362"},{"taxonomy":"keyword_tech","embeddable":true,"href":"https:\/\/d-itlab.co.jp\/wp-json\/wp\/v2\/keyword_tech?post=1362"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}