サイバーエージェントが手がける日本語LLM開発 MLエンジニアが語る「Weights & Biases」の活用

サイズを比較してみると、最近出てきたRedpajamaやRefinedwebは5TBということで、非常に大きなコーパスとして存在しています。 一応日本語でも、例えば830GBの関連キーワードはありません