あ、ログボしそこねたか
pytorchとかtensor rtとかコンテナビルドしまくって60GBくらい無駄になったのをさっき消した。でもストレージ1番食ってるのはLLMのモデル
そしてBlackwellで動かしてもnvfp4に対応してないんだ
pytorchで動かせるけどカーネルがBlackwellで動かないからちっとも速くならんのよね
まだやりかけだけどDGX sparkでvLLMとllama.cppでベンチマークしたリポジトリ見て。
DGX sparkでgpt-ossをnvfp4ではまだ動かせないんだよな
はらへったなあ
リニモは名古屋にあるけど鈍行
mix依頼が5本くらいたまってるや
Tiktokの方は結構バズったらしい