現状でも思ったより良さそう
バッチサイズが大きい時にやたら強い...? やっぱスパコンぽさあるな（小並感）
何も見ずに呟いてた。ちゃんと見ます
（な気がする）
メモリもりもりをアピールしたいベンチマークだと16bitのやつ使われがち
徹夜で適当な文字列を出力しすぎているので一旦やめ
Mixture of Expertsをさらに発展させたものが登場すればメモリの帯域幅よりflopsが重要になってくると個人的には思っているので、そこからが本番だと思ってる
確かblackwellアーキテクチャってfp4が本丸だった気がするので尚更
16bitのやつはメモリの帯域幅に相当影響されるので4bitだといい感じかもしれない
DGX Sparkはメモリの帯域幅が弱いので、nvidiaが画期的な何かを発表するまでは弱いはず
