- すごい
ChatGPTで断られるエッチなリクエストも受け入れてくれる - みせて
- わかった、画像用意するからちょっとまってて
- さっきやってたなりきりエ口チャ
- >>6
下から五番目よく見たらどういう体勢なんだよｗｗｗｗｗ - >>23
そこは俺もん？って思った
まあ時々こういうのはある - 家畜は黙って食われとけよ
- >>9
まあそう言うなよ - エ口チャに限らず割となんでもプロンプト通るから面白い
- 文章系もローカル環境でやれる奴あるのか
AIのべりすと使ってたわ - >>12
AIのべりすとは日本語LLM業界そのものを盛り上げてくれたけど、ローカルで動く最新のAIはあれとは一線を画す性能あると思う
無料のChatGPTより優秀なのも今だと結構あるし - 最近出てきたモデルのうち
CohereのCommand R plus
Llama 3 70B
は有料版のChatGPTと同等レベルの性能がある - サンクス調べてみるわ
- もしそいつら動かすVRAMが足りなければ、LightChatAssistantとか軽量なモデルも何個も出てるから、色々遊んでみて欲しい
- 大規模LLMってローカルで動かせるん？
あんまり詳しくないけど膨大なVRAMないと厳しいイメージ - 俺が今使ってるやつは確かにデカくてVRAM 56GBくらい必要
でも、8GB程度でもかなり高性能なのが今年になってバンバン出てきたんよ - >>18
openAIとかMicrosoftが出してる奴はそうだよね
ちょっと前に日本語特化のLLMが超省メモリで家庭用でも動かせるどうのこうのって見た - >>18
グラボ何使ってんんだ - >>22
Mac Studioの64GBモデルで、グラボは載せてないよ
Apple siliconはunified memoryっていうアーキテクチャで、RAMとVRAMが共有になってるから割と安くでかいモデルのGPU推論ができる
もちろんNVidiaより計算能力は低いけど、普通にチャットするレベルならあんまり気にならない速度で結果出るよ - >>24
ほえー
俺RTX3060 VRAM12GB でメインメモリ64GBなんだがWindowsではメインメモリをVRAM化できないのかな悲しい - >>27
今はVRAMとメインメモリにモデルを分散する仕組みが開発されたから、計算は遅いける動かせるよ(途中までGPUで計算して、残りをCPUに計算させる) - 数十Bレベルだとまず普通のPCでは動かんよな
パラメータ数に対する精度は学習データの質に左右されるとかなんとか - >>19
でかいモデルほど学習データセットはでかくなるな
データの質に関しては、Fineweb含め高品質なデータセットがパブリックになってるから、ある程度敷居は下がってるんじゃないかな>>20
Microsoftは最近軽量モデルで盛り上がってたね、phy-3ってやつ
なんかスマートフォンとかで動かしてる人もいた気がする - Llama 3 70B調べたら
VRAM8G、メモリ64G必要みたいだからうちのPCだとギリギリだな
インスコ自体はツールでかんたんそうだけど - >>25
試してダメっぽかったら小さいバージョン(Llama 3 8B)ってのもある
あと、CohereのCommand R(plusがつかない無印)ってやつはその間くらいの大きさで、かなり優秀 - >>28
サンクス
取りあえずLM Studio使ってLlama3系試してみるわ - >>30
それがいいと思う
自分のパソコンで動かすChatGPTみたいなやつ
VIP
コメント