-
ニュー速(嫌儲)
-
DeepSeekの進化が止まらない。VRAM 700GB必須だったのが、わずか80GBで動くように [422186189]
- コメントを投稿する
-
量子化とはデータ精度を落とす事でサイズを小さくする技術。
例えば32ビット浮動小数点(FP32)では0.123456といった細かい数値を表現できますが8ビット整数(INT8)に変換すると0から255の整数に変換されます。精度はいくぶん失われますがその代わりデータサイズ4分の1となります。 -
量子化によりメモリ使用量が削減され計算速度が向上し消費電力を削減しより効率的な計算を可能になる天秤にかけたギリギリのバランスを見つける為、unsllothの兄弟は96時間ぶっ続けでDeepSeek-R1のアーキテクチャを解析しモデルの各部分に対し異なる圧縮率をぶつけ量子化する「動的量子化」を行ったとの事。 -
3060で動くようにしてくれ
-
結果、元のモデルサイズが720GBに対し驚喜の131GBにまで、おおよそ約80％の削減を実現することに成功したとunslothは報告しています。
動的量子化されたDeepSeek-R1は、VRAMとRAMが合計80GB以上の環境で最適に動作したとのこと。 -
具体的な性能としてスループットで毎秒140トークン、単一ユーザーの推論で毎秒14トークンを達成したそうです。GPUがなくても20GBのRAMがあれば動作可能です。しかしその場合は処理速度が遅くなります。 -
すげえすげええ
-
すげえ
-
どこから落とすのがいいんだ？
-
一方、日本はダウンロードを禁止した
-
父さんにつくわ
-
>>4
GPUがもう要らないんだけど -
いやあスピード感すごいねー
-
アプリの出来はチャットGPTのが上やな
-
覇権確定やね
-
今は馬鹿にされても、すぐに進化するんだろうな
-
1ビット動作のが出て来てからが本番
-
14GBでも考えて発言してる
-
これぼくら貧乏人でもエロ画像生成出来るようになる？
-
土日挟めば暇人が触ってもっと進化してるだろう
-
まあ何兆円も半導体ないと性能引き出せないってのはどこかおかしいよな
-
市場の壊し屋が現れた
低スペックでもええやん -
m4 mac一台で行けるのはでかい
これで君もクラウドサービサーだ！ -
詐欺ビディアの欺瞞が暴かれてて草
-
未来のスーパーAI「どんな質問でもyesかnoでお答えします」
-
これ、そのうちポケベルで動作し始めるんじゃないか
-
メモリ屋逝った
-
RTX4090がRADEONの7900XTXに負けるってマジ(笑)
-
この基盤部分の進化っぷりが本当なら相当なブレークスルーだな
学習データで揉めてる場合かね -
vram12GBram32GBまでいける
頼むわ -
>>21
金のために技術進歩を目指すのかはたまた金度外視で技術進歩を目指すのかの違いはどでかいだろうな -
チャットGPTはエロになるとすぐお答えできませんになるのやめて
-
人間脳が低消費電力だからAIなんて小さいパソコンで十分動く
-
これを規制するアメリカがただの馬鹿じゃん
-
オープンソースは進化が速い
-
日本語エロモデルを頼む
-
>>14
ではVRAM800GB用意してお楽しみください -
実数から整数にするだけでもだいぶ違いそう
8ビットまで縮めたら速度落ちるかと思ったけどそれよりも膨大なメモリ容量食うほうがロスになるのかな -
賢さについては何も書かれてないな
馬鹿になってたら元も子もないが -
m4 pro メモリ64GBのmacmini持っておくと応用効くな
-
>>38
ねーよw -
>>40
オープンソースだからエロOKの企業が調教したアプリが出ればそれで解決 -
マジもんのビッグウエ〜ヴきてんね
-
いいねアメカスは一回痛い目みたほうがいい
-
巨額投資が必須とはなんだったのか
-
エロおkか否かは土台の部分じゃなくて学習データ次第でしょ？
-
推論問題正解率14%じゃ日曜会話の検索用でしかない
-
個人でDeepSeekを独立させて動かせても学習用のデータとかはどうすんの？
-
検証されてんの？
-
これがまだ序章なんだろ？
あれこれイチャモンつけてもすぐに改善されちゃう -
>>26
未来のスーパー晋AI「どんな質問でも そうであります か そうでありません か そうでありますん でお答えします」 -
>>42
Appleが許すと思うか？ -
もう個人で動かせるレベルなのか…
-
でもchatgtpのパクリだから進化させるにはまだパクらせるしかないでしょ
けど対策させるから実質ここで打ち止めじゃね -
よくわからんのだが今までできなかったことが出来るようになってはいないの？
いくら低スペックで動こうとゲームみたいに常に最高最高性能で出来ることが求められたりはしないんか -
ジャップ「パクリ！パクリ！
-
AIなんかネットのまとめを素早くやろ
-
量子化すると精度が猛烈に悪くなる。
再学習してないの？ -
>>58
オープンソースだから多分chatGPTより進化早いぞ -
>>49
そのへんは今後食わせる学習データで改善されるだろ -
すでに莫大なハードウェアリソースを持ってる企業はDeepSeekの方式を組み込めば収益性が劇的に改善する
o3が安く使えるようになるといいな -
今更量子化とか何周遅れなんだよ
いくら量子化しても元のモデルの学習に必要なスペックは変わらないだろ -
一番金掛かる部分は米国からパクったから短期間低コストで実現できた
問題はAlibabaの方のAI
Qwen2.5-Max
こっちの性能の検証はどうなんだろうな -
量子化は基本性能落ちるんでいいっす
-
>>4
2060でも動いてるから大丈夫 -
窃盗でここまで毎日ホルホル射精出来るのはホルホル中毒中国人さんだけだなw
-
ひと昔前は宇宙開発競争で米露どっちが先に月に行くかを争い
現代は米中がＡＩ競争か
大国はすごいねえ -
RAMでもいいとなるとかなりコストが減るな
80GB必要となるとH100 96GBを用意すると500万円近くなるが、
RTX6000Ada 48GB+RAMでもいいなら120万円くらいで済む -
これ高級品売りつけてた詐欺紛いに待ったをかけたってこと？
-
>>68
別に低コストで作ったなんて言ってないのでは -
>>68
ちょっと使ってみた感じはなかなか良いな -
中国て何々できたって言うだけで実証されないこと多くないか？
-
やっぱすげえよな
-
ハードオフで調達できそう
-
chatGPTでコード書かせたのを修正してくれたぞ。優秀だわ、DeepSeek
-
中国父さんすげええええええええ！！
やっぱり世界10億人の利用者がいるだけのことはある！！ -
グラボブ安くならないかなー
-
アメカスがガチガチに固めてた扉を中国がこじ開けたの凄いわ
門の先に進むのはジャップランドじゃ無理だろうがな -
7900XTX 24GB
DDR5 96GBとかでもええの？ -
4060ti 16GBから16GBに加えて、メインメモリから8GB拝借とうことできるけどめちゃくちゃ遅くなる
-
バカ高い消費電力の狂った値段のグラボ売りつけるよりも
こういう技術こそが真のイノベーションでありAIの民主化につながるものだろ -
>>71
OpenAIは投資家に乗っ取られてただの金の亡者になってしまった -
やっぱオープンソースって凄いわ
外部の有能が勝手に改善してくれるもんな -
>>77
いやかかった費用は10億円らしいんで、開発費が3桁安い -
これって動画のエンコードに性能が必要なくなった
って言ってるみたいで違和感しかないんだが
そういうのとは違うんか -
20GBでも遅いけど動くのは動くってエポックじゃね
これは本当にすごい -
それでもRTX5090でいうと、2枚と半分いるな
-
オープンAI見とるか～
これが覇権国家のAIだよ
