そういやIntelの新しいグラボがわりと良さげで検討中
てきとうにA100ぶん回せるサービスを触りたい気持ちがあるんだけど、あんまりお金出したくないしなーになる
私は手元にある24GBのM2マックブックで満足してたりする(けどやっぱり数百tokens/sほしい)
すごくこれ。悩ましい
やっぱ時代はローカルLLMよ
トークンの吐かせ方を工夫すればQwenに天安門のアレについて説明させたりできる
Qwenとかプロンプトが効きやすくて好き
やっぱローカルで完結するエージェント作りてー(ずっと言ってる)
Codex cliなるほど
Gooseあとで触ってみる