TurboQuant: Redefining AI efficiency with extreme compression
![]()
TurboQuant: Redefining AI efficiency with extreme compressionresearch.google
- バカみたいなChromeを先にどうにかしろ
- >>2
chromeのメモリが改善されてなかったら飛ばし記事？ - >>5
KVキャッシュ（AIが対話中に保持する記憶）のメモリ使用量を従来の6分の1以下に削減できる技術だからブラウザとは関係ない - 俺のグラボでもWAN動くようになるのか
- 4090でもVLAM不足を感じてたところだ
改善してほしい - kvキャッシュが小さくなるのか
いいんでない？ - モデル本体じゃなくてKVキャッシュだぞ
いやわかっていてこのスレタイだと思うけど - 小型モデルが進化してるから3060の2枚目を確保しといたわ
- >>9
いいなあ - モデルは小さくならんのに開発者ですらわかってないよな
- クソデカモデルを6分の1にして低VRAMで実行できるわけじゃなさそうだな
チャット履歴を圧縮するだけっぽい - ロスレス圧縮なんて可能なのか？
- ローカルモデルでも長いコンテキストで動かせるようになるの？
- なんに使うんだこれ
ローカルLLMでエ口TRPGくらいしか思いつかん - KVキャッシュに泣かされてきたのでめっちゃ助かる(´･ω･`)
- まじでやばいぞこれ
- メモリバブル逝ったぁあああぁああああぁあああぁ
- 🤗🤗🤗🤗🤗🤗
👉 🤗
こうですか？わかりません！＞＜
- ん？メモリの需給逼迫を見越して買われてたサンディスクとかマイクロンやばない？
- Qwen3.5ってエ口書ける？
- >>21
hereticとか付いているタイプは書ける - >>21
規制解除バージョンは行けるっちゃ行けるけど、自発的な発言はキツいな
一々サポートしないと書けない - >>21
uncensoredで検索 - 計算能力は据え置きだけど
記憶力と思い出す力が向上って感じ？ - ようするに前と同じものが出力しやすいってだけじゃね
- 俺のPCでも48bくらいのモデルがスラスラ動かせるようになるのか
27bのIQ2Mじゃ物足りないからはよ導入してくれ - ✕1/6に減らせる
○6つ並列できるようになる - 一発でお望みのが出ないからきらい😠
- 論文からクロードで構築できるんやね凄い
ローカルAI勢に朗報！GoogleがVRAMを6分の1にロスレス圧縮する方法を発表。既にHuggingFaceで開発者達が一斉に実装開始
嫌儲
コメント