Agentic OS 技術スタックを下から読む 補講(15)：手元の機体 ―― 端末で動かす、四つの理由と二つの壁

Agentic OS 技術スタックを下から読む 補講(15)：手元の機体 ―― 端末で動かす、四つの理由と二つの壁

増補 ―― 端の機体へ

補講(14)では、書き出しの遅さを投機で買い戻す話をしました。

大きな本役を待つ時間を、先回りで少し削る話でした。

けれども、速さを詰めていくと、別の問いにぶつかります。

そもそも遠くの本役を呼ばず、手元の小さな機体だけで済ませられないか、という問いです。

今回は、その続きです。

増補の一冊として、端末で動かす小さな頭を見ます。

なぜ、手元で動かしたいのか

理由は四つあります。

一つ目は、待ちがゼロ距離になることです。

遠くの計算機へ問い合わせに行かなければ、往復の一呼吸が消えます。

押して、送って、待って、戻る、という道のりがありません。

手元で読んで、手元で考えて、手元で返します。

だから短い返事ほど効きます。

一文字を直す、候補を一つ出す、画面の中身を軽く読む、といった処理では、遠くへ行く時間のほうが本体より重くなることがあります。

二つ目は、秘密が外へ出ないことです。

手元の文書や画面を、外の計算機へ渡さなくて済みます。

第22回と第26回で見た露出の問題を、入口で断てます。

出さなければ、途中で漏れません。

三つ目は、呼ぶたびの費用がゼロに近づくことです。

一回ごとの支払いが積み上がりません。

必要なのは手元の電気です。

何度も試す作業では、この差が大きくなります。

四つ目は、回線が切れても動くことです。

電車の中でも、地下でも、社内の閉じた場所でも止まりません。

つながっているかどうかを、作業の前提にしなくてよくなります。

だが、端末は苦しい ―― 帯域が全て

ただし、端末は楽な場所ではありません。

壁はまず、記憶から読む道幅です。

第1回と第39回で見た通り、答えを書く相では、一手ごとに重みの束を読み直します。

次の一語を決めるたびに、ほぼ全体をなめます。

ここでは、かけ算をどれだけ速くできるかより、重みをどれだけ速く読めるかが効きます。

読む道幅が細ければ、計算器が空いていても待ちます。

端末の読む道幅は、据え置きの大きな計算機より桁で細いです。

たとえば、大きな計算機が一秒に何百という単位で重みを読めるとしても、端末ではその十分の一、場合によってはさらに下になります。

重みが数十億個ある頭をそのまま置くと、一手ごとに巨大な束を読み直します。

その結果、答えはなめらかに出ず、ぽつ、ぽつ、と出ます。

もう一つの壁は、置き場です。

重みが手元の記憶に収まらなければ、そもそも載りません。

載ったとしても、他の画面や処理が使う分まで食いつぶせば、端末全体が重くなります。

端で動かす話は、賢さの話である前に、読む量と置く量の話です。

道具その一 ―― 数を粗く持つ

第32回で見た「数を粗く持つ」は、ここでまっすぐ効きます。

重みを細かい数で持つほど、一つあたりの場所を食います。

逆に、重みを粗い数で持てば、一つあたりの場所が減ります。

一つの重みを半分の幅で持てば、読む量もほぼ半分になります。

読む量が半分になれば、細い道を通る荷物も半分になります。

端末の弱点は読む道幅なので、これは弱点そのものに効きます。

置き場にも同時に効きます。

今まで収まらなかった重みの束が、収まる大きさになります。

ただし、粗くしすぎると答えは荒れます。

重みの細かな差が丸められるからです。

似た候補を見分ける力が落ちます。

言い回しが浅くなったり、まれな判断で外したりします。

つまり、数を粗く持つ道具は、速さと置き場を買うかわりに、細かな判断を少し払います。

道具その二 ―― 賢さを小さな器へ移す

小さくするだけでは、頭は素直に弱くなります。

そこで補講10の蒸留が出てきます。

大きな先生は、正解だけを出しているわけではありません。

一番手を強く選びながら、二番手をどれくらい惜しいと思ったかも持っています。

三番手をどれくらい遠いと思ったかも持っています。

この自信の配り方を、小さな生徒へ写します。

生徒は、正解の札だけを覚えるより多くを学びます。

どこで迷うべきかを学びます。

どこで迷わなくてよいかも学びます。

だから、同じ大きさの素の小型より一段賢くなります。

端末に載る器の中で、できるだけ本役に近い癖を作るわけです。

数を粗く持つ道具と、蒸留は狙いが違います。

前者は読む量を減らします。

後者は小さな器の賢さを底上げします。

だから重ねられます。

端末向けの小さな頭は、多くの場合、この二つを同時に受けています。

全部を端に置くわけではない

現実には、全部を端末に置く必要はありません。

端末と上の計算機で分けます。

軽い一次判断は端末でします。

秘密に触れる処理も端末でします。

すぐ返したい処理も端末でします。

一方で、長い推論や広い知識が要る処理は上へ回します。

ここで線引きが取引になります。

端末に寄せるほど、速く、安全で、安くなります。

そのかわり、賢さの上限は下がります。

上の計算機に寄せるほど、重い判断を任せられます。

そのかわり、待ちと費用と秘密の露出が戻ります。

よい分け方は、まず端末の小さな頭が受ける形です。

自分の手に負えないと分かった時だけ、上へ渡します。

補講(14)で見た「難所だけ本役に歩かせる」分業が、別の階層でまた現れます。

取引の形 ―― そして

端末で動かす理由は、待ち、秘密、費用、回線の四つです。

壁は、読む道幅と置き場の二つです。

その壁を越える道具が、数を粗く持つことと、蒸留です。

読む量を減らし、小さな器の賢さを上げます。

ただし、すべてを端末に閉じ込める必要はありません。

端末に寄せるほど速く安全です。

上へ寄せるほど賢くなります。

最後に残るのは、どこで線を引くかです。

端で小さく賢く動かす話をしてきました。

けれども、そもそも「賢くする」最後の仕上げには、人の好みへ寄せる工程がありました。

第41回で見たあの寄せ方には、実は二つの道があります。

次の増補は、その二本道を開きます。