活性化関数ReLUのすごさについて
はじめまして。
新卒でデータサイエンス関係の仕事に就き、1年半ほどが経過しました。受託会社なので、比較的多様な分析案件に携わっています。
これまでに、クラスタリングでのセグメンテーション、構造方程式モデリングを使ったマーケティングファネルの深堀、トピックモデルでの文書トピック作成、LightGBMによる判別モデル作成などの分析を行ってきました。
この度データサイエンス関係で学んだことなどをアウトプットしようと思い、ブログを作りました。
最近BERTで文書分類をするような案件に携わり、そこで初めてちゃんとディープラーニングの勉強をしたのですが、基礎的な内容から学んでいく中で「え、ReLUって、、すごくない！？」という気持ちになりました。今まで数理統計や多変量解析の勉強比率が高くてディープラーニングにはあまり触れてこなかったのですが、もっと早くやればよかった...と思いました。
ReLUを見た時の感動を共有したい！自分みたいにディープラーニングをあまり知らなかった人に伝えたい！何なら全然専門外で何も知らない人にも伝わってほしい！！という気持ちが高まり、資料を作成してみました。
その資料が↓になります。
www.slideshare.net
「ディープラーニングって何...？AI？」という人にも伝えたいと思って作ったので、全く知らない人でも分かるような内容になっているはず...
(といいつつ信じられないくらい雑な説明で偏微分を使ったりノーコメントで合成関数の微分をしたりしているのですが…)
少しでも気になった方は見ていただけると嬉しいです。
感想やコメントいただけるともっと嬉しいです。間違っている部分あれば指摘いただけると幸いです。
よろしくお願いします...！
