東京に建設予定の巨大DC、地元で目撃された光景に「DCでもダメなのか」と衝撃を受ける人が続出スーパーコンピュータ「富岳」で大規模言語モデル作成へ
嫌儲
「富岳」で和製生成AI 東工大や富士通、23年度中に
https://www.nikkei.com/article/DGXZQOUC223IT0S3A520C2000000/
東京工業大学や富士通などは22日、スーパーコンピューター「富岳」を使って2023年度中に高度な生成人工知能（AI）を開発すると発表した。日本語を中心とした基盤技術を構築し、24年度から国内企業などに無償で提供する。米オープンAIの「Chat（チャット）GPT」などが世界で注目を集める中、日本の産学が連携して自前技術で対抗する。開発には理化学研究所や東北大学も参加する。生成AIの基盤となる大規模言語モデルを独自に開発する。AIの学習にはオンライン百科事典の「ウィキペディア」などで公開されている日本語のデータなどを使い、日本語の対話能力を高める。日本企業として独自の生成AIの開発を目指すサイバーエージェントとも連携する。
日本でも生成AIを開発する動きはあるが、性能を左右するパラメーター数は数十億程度であることが多い。サイバーが17日に公開した大規模言語モデルも最大68億だ。東工大などはチャットGPTの基盤である「GPT-3」の1750億に近い1000億程度のパラメーター数を持つ大規模言語モデルなどを構築する。
大規模なモデルの構築には高い計算能力を持つスパコンが必要だが、日本の民間企業は世界的な競争力のある機種を保有していない。世界ランキング2位の富岳を運営する理研などは新たに生成AIの開発を重点テーマと位置づけ、開発した大規模言語モデルは産業界や研究機関が活用できるよう公開する。
- マスクのゴミシミュレーションですっかりケチがついたな
- ＞AIの学習にはオンライン百科事典の「ウィキペディア」などで公開されている日本語のデータなどを使い
ウヨ臭いＡＩになりそう
- この研究のためにwikipediaにいくら寄付したのかね
- 飛沫計算くらいにしか使えない機械で大丈夫か
- >>5
補助金モリモリで構造だけはいいんだが、キラーコンテンツが
飛沫シミュレーションくらいしかなかった宝の持ち腐れだったのでねえnvidia最近HBM2eあたりを搭載したAI専用デバイスだしてたが
あれに近い贅沢構成だよ - > 東工大などはチャットGPTの基盤である「GPT-3」の1750億に近い1000億程度のパラメーター数を持つ大規模言語モデルなどを構築する。
最初だからこんなもんか - 富岳のリソースをこんなんに占有される事の弊害の方がかなりデカそうだが
- 結局2位でも3位でも良かったんじゃん
- >>8
まあどの道抜かれるのは見えてたからな
蓮舫よく叩かれてるけど、スパコンに関しては叩くほどの事ではないと思うわ - >>8
あれのおかげで
ベンチテスト専用機から設計思想の転換が起きて
汎用性を高めて作られたのが富岳だからな - >>20
構造はRyzenのパクリに見えるからジムケラーのおかげだよ
日本は追いかける背中がないと何もできない - ソースはウィキペディア(日本語版)
あっ… - ウィキペディアのデータセット利用した日本語LLMなんてもうたくさんあるのにな
- 地震がいつどこに来るかピンポイントで予測しろよ
- >>11
文系はコンピューターで何でも分かると思ってそうだけど
そういう予測するには元になるデータが必要でそれを調べるのが計算よりよっぽど大変なんだよ - 画像生成を日本語でできるぞ
- アニメにやたらと詳しいAIが出来るのか
- うおおお！
うおおお・・・
- 言っちゃっていいのかわかんないけど
富岳じゃなくてもできるよね - ウィキペディアだとアニメ関連は頼りになりそう
- 孫正義のところはどこのスパコン使って作るんだろうね
- 富岳を使ってChatGPTみたいなクソみたいな使い方をするのはなんか違うし
学習データがWikipediaとかもうまともなものを作る気が無いだろ - 2位じゃダメなんですか？
- これはコケるやつ
- AIも並列処理の時代になにをやるつもりなんだこいつらは
- >>28
スパコンはもとからその用途だろ
それをコンパクトにしてゲーム用途からよってきたのが
GPGPUのあたりだよ
富岳は構造的には使いやすい - もうこいつ 日本そのものの人格ってことでいいよな
- >「ウィキペディア」などで公開されている日本語のデータなどを使い
あ、はい
歴史戦捗りますねえ
コメント