人間は言語を扱う 領域に関しては llm と割 と似てるらしいんだけど、どうもそこで 思考してるわけではないらしいというのが報告されてた気がする。

多分 言語モデルのベースの訓練の仕組みを考えると、長ーい会話履歴は本来の訓練の範疇から外れてくるはずなんですよね。 まあ長時間 タスクの訓練はどんどん行われているので 考慮されてないわけではないんだけど、本来性能が高い領域からは外れてるはずなので、性能がどんどん下がっていくはず...

おそらく 本当は会話をしてはいけないんだろう。 ユーザーから見た体験は会話でいいんだけど、言語モデル的には常に ワンショットの出力になるような仕組み作りをしてあげればこういうのは 多分 減るだろうと思う。 というのも 直前までの会話の履歴を真似してしまった結果がこういう 挙動 なので。

普段ものすごく賢いのに、あらゆる面で ごくごく稀に 確率的な文字列生成器なんだな っていう顔が出てくることはやっぱりある

言語モデルは便宜上 強化学習で訓練されて ユーザーの発言 とアシスタントの発言を区別するけど、実際のところ それはトークン 列でしかないので、追加訓練された そのトークン列を自分で生成してしまうと、その後の処理ではマジで 自分でも区別がつかないっていう状態になるようだ。

LLMを使う 以上絶対に起きうることなんだろうなくらいの感覚でいた方が良いような気がする。 なので 本来はこういうのを防ぐための仕組みを何か作んなきゃいけないんだろうな。

どのモデルでも確率的に発生してるっぽい感じはある。 ローカルモデルでも、クラウドのモデルでも割 と報告があるし、私も稀に見かける。

この手の現象が起きる原因として、温度 T で予測 トークンがずれた結果、EOSが来るはずのところに来なくなってしまい、結果として ユーザー 応答を続けて作ろうとしてしまうんじゃないかな と推測しています。 Instruction Tuningされたモデルを、jinjaテンプレート無しで動かしたときにこんな感じの出力が頻発した。

ログの監視とか、遠隔 メンテナンスとかそういったことをさせる仕組みは、ちょっと 独立した 仕組みとして欲しいかもしれないなとは思っている。 昔 考えたのは、記憶を極端に制限したエージェントをメンテナンスと 緊急用として用意しておくというもの。 ようはRAMディスク上で動くPEとかみたいなやつのイメージ。

初期設定済んだ後に会話で立ち上げが始まるのは面白かったな。確かに将来のセットアップってこうあるべきだよな。