あ、ログボしそこねたか
pytorchとかtensor rtとかコンテナビルドしまくって60GBくらい無駄になったのをさっき消した。でもストレージ1番食ってるのはLLMのモデル
そしてBlackwellで動かしてもnvfp4に対応してないんだ
pytorchで動かせるけどカーネルがBlackwellで動かないからちっとも速くならんのよね
まだやりかけだけどDGX sparkでvLLMとllama.cppでベンチマークしたリポジトリ見て。
GitHub
GitHub - kojira/vllm_gb10
Contribute to kojira/vllm_gb10 development by creating an account on GitHub.
DGX sparkでgpt-ossをnvfp4ではまだ動かせないんだよな
はらへったなあ
リニモは名古屋にあるけど鈍行
mix依頼が5本くらいたまってるや
Tiktokの方は結構バズったらしい