パラメータ数とは
AIモデル、特に深層学習における「パラメータ数」というのは、そのAIが持つ「学習の量」や「複雑さ」の指標のようなものです。
この「学習の量＝容量」と「複雑さ＝様々な重みと呼ばれる重要度の値」などを最初に定義づけているのがパラメータ数です。
我々はある種の問題を解く場合、いろいろな公式やルールを覚えて使います。
AIもこれらの方式と似ており、たくさんの「ルール」や「知識」をパラメータとして持ち、学習しています。
例えばレゴブロックで考えてみましょう。
レゴブロックを使って色々な形の物を作ることができますが、ブロックの数が少ないと作れるものも単純なものに限られます。
しかし、ブロックの数がたくさんあれば、もっと複雑で大きなものを作ることができます。
単純に言うとAIのパラメータ数もこれと同じで、パラメータが多いほど、AIは複雑なことを判断し、学習して処理することができるようになります。
ただし、ブロックが多すぎると、どれをどう組み合わせたら良いかわからなくなることがあります。過ぎたるは猶及ばざるが如し。
これはAIにも言えて、パラメータが多すぎると、学習に非常に長い時間がかかったり、逆にうまく学習できなかったりすることがあります。
つまり、多いことが必ずしも正義にはならないのがこのパラメータ数なのです。
もちろん、技術的な革新があり、容量に対する重みづけの処理が上手く実施され、過学習におけるバグのような症状が改善できる場合は、単純にパラメータ数が多い方が優位となる未来もあり得ます。
その他のデメリットとしてはパラメータ数の増加は電気消費量の多さを引き起こしますので、エネルギー問題にも密接にかかわっていると言えるでしょう。
