お手製アロケータ的な何かがうまく動いてなくて絶望してる
今色々そういうの頑張ってるけど、人の長期記憶ってファインチューニングじゃね？になてり
人間みたいにちっちゃいワーキングメモリでおっきいことができるようになると良いんだけど
私自身がちっちゃいモデル向けのAIエージェントを作れば解決うおお
こういうの気になる image
ClineをローカルLLM向けにちっちゃくしたやつとか使えばいけそうか？
噂のqwen3-coder-30bをLMStudioでみてみたら18.6GBだったからよくわかんないけど動くのか？
2枚はないと厳しそう
クラウドが怪物すぎるだけ
EVO-X2はメモリの帯域幅から考えて全然足りない