Agentic OS を、取引で読み直す（2）：安さは、細かさを少し諦めて買う ―― 数を粗く持つ、という割り切り

Agentic OS を、取引で読み直す（2）：安さは、細かさを少し諦めて買う ―― 数を粗く持つ、という割り切り

広く取った入口のあとで

前回、入口を広く取れ、と言いました。

入口を広く取れば、たくさん抱え込みます。たくさん抱え込めば、その全部を相手にする計算が重くなります。重さを軽くしたい。けれど、ただでは軽くなりません。

軽さは、細かさを少し諦めて買います。

今回は、その取引を掘ります。主戦場は、モデルの中にある数を、どれだけ粗く持つかです。

モデルの中身は、数でできている

モデルの中身は、無数の数の集まりです。

一つ一つの数は、ある特徴をどれだけ強く見るか、別の特徴へどれだけ渡すか、次の計算でどれだけ効かせるかを表しています。たとえば、ある言い回しを少し強く見る。あるつながりを少し弱める。そういう小さな効き方が、数として並んでいます。

一つの数だけを見ても、たいした意味は見えません。けれど、何億、何十億という数が並ぶと、全体として判断の癖ができます。

問題は、数が多すぎることです。

一つ一つを細かい目盛りで持てば、わずかな違いまで表せます。しかし、そのぶん場所を食います。読み出す量も増えます。計算機は、数を読まなければ計算できません。だから、場所を食うことは、そのまま遅さにもつながります。

細かい目盛りは重い

数を細かく持つとは、目盛りをたくさん用意することです。

たとえば、ある数を十六段階で持つとします。かなり粗い例ですが、話の形は見えます。十六段階なら、弱い、少し弱い、中くらい、少し強い、強い、という違いを、さらに細かく分けられます。

これを四段階に落とすと、表せる違いは減ります。弱い、中くらい、強い、といった大づかみになります。十六段階では別々だった値が、四段階では同じ箱に入ります。

一方で、持ち運ぶ場所は減ります。

十六段階を表すには、四つの小さな札が要ります。四段階なら、二つで済みます。この例では、一つあたりの場所は半分です。もっと大きな幅で削れば、四分の一にもできます。場所が四分の一になれば、同じ場所に四倍の数を積めます。

数は大量にあります。一つだけなら小さな差でも、全部で見ると大きな差になります。棚の一冊を薄くしても部屋は広くなりません。けれど、棚の本が全部半分の厚さになれば、部屋の使い方が変わります。

粗い目盛りに丸める

粗く持つときに起きることは単純です。

細かい値を、近い目盛りへ丸めます。

たとえば、もとの数が「少し強い」と「やや強い」に分かれていたとします。細かい目盛りなら、この二つは別々に持てます。粗い目盛りでは、どちらも「強い」に入るかもしれません。

すると、違いが消えます。

本当は少し違っていた二つの数が、同じ数として扱われます。片方は少し大きくされ、片方は少し小さくされます。どちらにしても、もとの値からはずれます。

ここが支払いです。

場所は減ります。読み出しも軽くなります。けれど、数は少しずれます。安さは、このずれと引き換えです。

なぜ、だいたいで済むのか

では、数がずれているのに、なぜ答えが大きく崩れないのでしょうか。

理由は、モデルの判断が、たいてい一つの数のわずかな違いだけで決まらないからです。

一つの判断には、たくさんの数が関わります。ある数は少し右へ押し、別の数は少し左へ押します。別の数は、その押し方を弱めます。さらに別の数は、ほかの流れを強めます。

最後に残るのは、大勢としてどちらへ向いているかです。

一つ一つの数が少しずれても、全体の向きが同じなら、答えはあまり変わりません。十人が同じ方向へ歩いているとき、一人の歩幅が少し変わっても、集団の向きは変わりにくい。数を粗く持つ話も、これに近いです。

もちろん、すべてが平均で消えるわけではありません。ずれが同じ方向に重なることもあります。けれど、多くの場面では、小さなずれは互いに散らばります。だから、粗くしても、全体の答えは意外と保たれます。

崩れるのは、僅差の場所から

ただし、粗くしすぎると崩れます。

崩れるのは、僅差で勝負が決まる場所です。

二つの候補が大きく離れていれば、少し丸めても順番は変わりません。強いものは強いままです。弱いものは弱いままです。

しかし、二つの候補がほとんど並んでいるときは違います。ほんの少しの差で、上に来るものが決まります。その差が丸めで消えると、順番が入れ替わります。

たとえば、ある場面では、丁寧な言い方を選ぶか、断定した言い方を選ぶかが僅差で決まるかもしれません。ある場面では、似た意味の二つの語のうち、どちらが文に合うかが僅差かもしれません。

そこにある小さな違いを、粗い目盛りが同じ箱へ押し込むと、判断の端が欠けます。

だから、粗くすればするほど、まずきわどい所から壊れます。大筋は残っても、細い判断がにぶります。

一律に削らない

賢い削り方は、一律ではありません。

全部を同じ粗さにすると、大事な所まで同じように削ってしまいます。そこが危ない。モデルの中には、少しの差がよく効く数があります。逆に、多少ずれても全体にあまり響かない数もあります。

だから、効きどころだけは細かく残します。

僅差を支える数、強い流れを作る数、誤ると後段に大きく響く数は、細かい目盛りのまま持つ。そうでない大多数は、思い切って粗くする。

これで、場所は大きく減ります。読み出す量も減ります。それでいて、答えの骨格は残りやすくなります。

同じだけ削っても、どこを削るかで崩れ方はまるで違います。安さは、単に削る量では決まりません。どこを近づけ、どこを残すかで決まります。

三つのこだまと、次の取引

見る窓を絞るのも、同じ取引です。古い所まで全部見ず、近い所だけを見る。見ないと決めた遠くは、捨てただいたいです。

大きなモデルの判断を、小さなモデルへ移すのも、近づけ方の一種です。器を縮める代わりに、完全には追いつけません。

覚えを、圧縮して持ち回るのも、同じ匂いです。細かく持てば重く、畳んで持てば軽いが、少しにじみます。

今回の取引は、こういうことでした。

数を細かく持てば、わずかな違いまで残せます。けれど重い。粗く持てば軽くなります。けれど、近い値が同じ目盛りに丸まり、少しずれます。

それでも済むのは、判断が一つの数だけでなく、たくさんの数の大まかな向きで決まることが多いからです。けれど、粗くしすぎると、僅差の場面から崩れます。だから、効きどころだけ細かく残し、ほかを粗くする。

安さは、近づけ方との取引でした。

こうして数を削り、軽くしても、もし同じ前置きを毎回まるごと読み直していたら、せっかくの軽さは無駄に消えます。次は、一度した計算を取っておいて使い回す取引です。取っておく代わりに、場所を占め続ける、という話へ進みます。