現地時間2014.3.17、テスラ・X（旧ツイッター）・スペースXの著名な経営者イーロン・マスク氏のxAIから、大規模言語モデルGrok-1のリリースがありました。
Grokは例えばMicrosoftがOpenAIと提携してChatGPTシリーズを基礎に入れているのとは別に、ゼロからのトレーニングで新たに作り上げられたモデルです。
そのパラメータ数は3,140億と発表されています。ChatGPT3.5が3,550億と言われており、学習自体は少し劣っている可能性はあります。
モデルの使用をにあたっては「github.com/xai-org/grok」を参照のうえ、ルールに従ってほしいとのこと。
Apache License 2.0で配布しています。つまり、商用可能なオープンソースとなっています。
その他の要点として。
学習は2023年10月の物までをベースにした内容。
カバー写真はMidjouneyを使用して生成し、統合を示唆。
性能はChatGPT3.5と4.0の間くらい。
公開されているファイルサイズは300GB越え。
これから大量の検証報告が出てくることが予想され、ChatGPTなど既存モデルとは違った使い方をされていくことが予想できそうです。
ハギングフェイス公開URL：huggingface.co/xai-org/grok-1
