最近、話題のDeepSeek-R1について、まだ、実物を確認していないので周辺から確認できるところについてまとめています。まず、DeepSeek-R1は大雑把に言うと、OpenAI-o1よりもずっと小さいモデルにも関わらず、OpenAI-o1と同等レベルのアウトプットが出るということで話題になっています。
ただ、使う視点からすると公開されているモデルには以下のものがありライセンス的には別物なので注意が必要かと思います。
- DeepSeek-R1
- DeepSeek-R1-Distill
DeepSeek-R1は6710億の総パラメータ数とされています。従って、最近の表記で考えれば、671Bと言ったところだと思います。従って、実際に、ダウンロードして試行しているユーザがいるのは既存のLlamaなどをベースとしたDeepSeek-R1-Distillではないかと思います。
DeepSeek-R1はMITライセンスとされています。ただ、周辺を確認した範囲では学習データは不明で、案の定、OpenAIのライセンスに抵触するのではなどと言った、騒動の兆しはあります。とはいえ、学習データは不明なので、オープンソースと書いていいかは疑義があります。オープンウェイトであってもオープンソースではないと思います。
とはいえ、恐らく、OpenAI-o1よりは総パラメータ数が少なそうと考える理由はいくつかあり、恐らくそうだろうと考えています。
ただ、既に、DeepSeek-R1-DistillでローカルLLMをという記事はいくつか確認しております。とはいえ、先に述べたようにDistillは既知のモデルのファインチューンなので使用には注意が要ります。特に、DeepSeek-R1-Distill-Llama-70BはLlamaベースのため、Llamaライセンスに感染しており注意が必要です。
DeepSeek-R1の性能的には以下のようなサイトで確認しています。