Agentic OS 技術スタックを下から読む 第47回：見ることと聞くことを、言葉と同じ場で扱う ―― 翻訳官を挟むか、主役に直接見せるか

Agentic OS 技術スタックを下から読む 第47回：見ることと聞くことを、言葉と同じ場で扱う ―― 翻訳官を挟むか、主役に直接見せるか

編成から、またモデルへ降りる

前回は、信頼性の崖をどう越えるかを見ました。仕事を細かく分け、途中で確かめ、崩れる前に止める話でした。結びでは、次回はまた別の層の急所へ降りる、と書きました。

今回は、その通り、またモデルの中へ降ります。

これまで、この連載で扱ってきたモデルは、ほぼ言葉を相手にしていました。命令も言葉です。返事も言葉です。記録も言葉です。けれど、エージェントが現場で出会うものは、言葉だけではありません。

画面に映る絵があります。人の声があります。図があります。表があります。ボタンの位置があります。赤くなった警告欄があります。声の間や強さもあります。

では、こうした言葉でないものを、どうやってモデルに入れるのでしょうか。

大きく二つのやり方があります。専用の翻訳官を挟んで、いったん言葉に訳すやり方です。もう一つは、主役のモデルに、絵や声を直接見せるやり方です。

昔のやり方は、翻訳官を挟む

素朴なやり方は、絵や声ごとに、専用の翻訳官を置くことです。

絵なら、まず絵を読む翻訳官が受け取ります。そこに何が写っているかを言葉にします。「右上に赤い印がある」「中央に表がある」「下に青いボタンがある」といった形です。そのあとで、主役の言葉のモデルが、その説明文を読みます。

声も同じです。声の波を読む翻訳官がいます。声は、空気の揺れを時間順に並べたものです。その揺れを細かく切り、どの音に近いかを調べ、言葉の列に直します。主役のモデルは、その文字起こしを受け取ります。

このやり方は、作りやすいです。主役のモデルは、いつも通り言葉だけを読めばよいからです。絵の扱い方を知らなくてもよい。声の扱い方を知らなくてもよい。外側の翻訳官が、先に形をそろえてくれます。

ただし、大事な点があります。主役自身は、生の絵を一度も見ていません。声も直接聞いていません。主役が手にしているのは、翻訳官が作った説明文や文字起こしだけです。

絵そのものは、翻訳官の手元で止まっています。声そのものも、そこで止まっています。

翻訳官は便利だが、境で目減りする

ここには、第38回で見た委譲の境と、同じ問題があります。

ある仕事を他の係に任せると、戻ってくるのは、たいてい要約です。要約とは、元のものを短くし、選んだ点だけを残したものです。だから、任せた先で落ちた細部は、戻ってきません。

絵の翻訳官でも同じです。

たとえば、画面の画像を翻訳官が読んで、「表があり、右下に保存ボタンがある」と説明したとします。主役のモデルは、その説明だけを読みます。あとから「表の三列目の見出しは何か」と聞かれても、翻訳官がそこを書いていなければ、主役には分かりません。

主役がもっと細かいところを見たいと思っても、手元に生の絵がありません。あるのは、先に作られた説明だけです。

さらに厄介なのは、見るべき場所が、問いによって変わることです。

同じ画面でも、「どのボタンを押すべきか」と聞かれたなら、ボタンの位置や文言を見る必要があります。「入力が失敗した理由は何か」と聞かれたなら、赤い警告文を見る必要があります。「この表で一番大きい値はどれか」と聞かれたなら、表の中身を細かく追う必要があります。

ところが、翻訳官は、問いを知らないまま先に訳してしまうことがあります。問いに関係なく「だいたい何が写っているか」をまとめるので、あとで必要になる細部を捨ててしまいます。

第27回で見た注意の予算も、ここに関係します。注意とは、全部を同じ濃さで見るのではなく、いま必要な場所に処理を寄せる仕組みです。問いが変われば、見る場所も変わります。翻訳官が先に要約してしまうと、この問いに応じた見直しがしにくくなります。

新しいやり方は、主役に直接見せる

そこで、別のやり方が出てきます。翻訳官を外します。

絵も、声も、言葉と同じように、主役のモデルの中へ直接入れます。主役自身が見ます。主役自身が聞きます。もちろん、人の目や耳と同じではありません。けれど、生の信号に近いものを、主役の処理の中へ持ち込みます。

信号とは、まだ意味に切り分ける前の材料です。絵なら、画面の点の明るさや色の並びです。声なら、時間に沿って変わる波の形です。第43回では、生の信号をそのまま抱えるのではなく、扱いやすい抽象で扱う話をしました。ここでも同じです。生の絵や声を、そのまま丸ごと持ち続けるのではありません。まず、あとで比べたり結びつけたりできる形へ縮めます。

翻訳官を外すと、境が一つ消えます。

境が消えると、先に捨てられるものが減ります。画面を見たあとで、問いに合わせて見直すことができます。「右上の印は何か」と聞かれたら右上を見る。「この文の『これ』はどこを指すか」と聞かれたら、文と画面を突き合わせて、その場所を探す。

翻訳官が作った固定の要約だけを読むのではありません。主役の中で、問いに応じて見る場所を変えられます。

これは大きな違いです。

同じ土俵に乗せるのが、いちばん難しい

ただし、翻訳官を外せば終わりではありません。難所は、別の場所へ移ります。

言葉と、絵と、声は、形がまるで違います。

言葉は、記号の列です。「保存」「失敗」「もう一度」のように、区切られた部品が順番に並びます。絵は、点の広がりです。横と縦に点が並び、それぞれに明るさや色があります。声は、波の連なりです。時間に沿って、強さや高さが変わります。

列、広がり、波。並び方が違います。量も違います。言葉なら短い命令で済むことがあります。絵なら、一枚だけでも多くの点を持ちます。声なら、数秒でも細かい変化が続きます。

これらを同じ土俵に乗せる必要があります。

同じ土俵とは、互いに比べられ、組み合わせられる表し方のことです。言葉の「赤い警告」と、画面の赤い領域を近づける。声の強い言い方と、文の強い意味を結びつける。図の矢印と、説明文の「次に進む」をつなげる。

この土俵がずれていると、変なことが起きます。画面には右側に警告が出ているのに、モデルは左側の説明を根拠にしてしまう。声では明らかに迷っているのに、文字だけを読んで断定だと受け取ってしまう。図の矢印が順序を示しているのに、文章だけから別の順序を作ってしまう。

翻訳官を外したぶん、主役のモデル自身が、この「そろえる」仕事を引き受けます。ここが重いのです。

そろうと、言葉が地に足を持つ

うまくそろうと、初めてできることがあります。

言葉が指すものを、絵の中に見つけられます。絵に写っているものを、言葉で説明できます。声の調子から、同じ言葉の裏にある含みを補えます。図の形と、説明文を突き合わせられます。

たとえば、人が画面を見ながら「これを直して」と言ったとします。言葉だけなら、「これ」が何を指すか分かりません。けれど、画面上でカーソルが置かれている場所や、直前に開いた欄や、赤く表示された部分と結びつけば、「これ」がどの入力欄を指すのかが決まります。

また、「大丈夫です」という声も、文字だけなら肯定に見えます。けれど、声が弱く、間が長く、語尾が落ちているなら、迷いや不安が混じっているかもしれません。もちろん、そこから決めつけてはいけません。しかし、次に確かめるべきことは変わります。「念のため確認します」と返す理由が生まれます。

言葉だけでは、意味が宙に浮くことがあります。絵や声とつながると、どの物を指しているか、どの場面の話か、どの強さの発言かが定まります。言葉が地に足を持ちます。

別々の翻訳官に任せていたときは、この結びつきが境で切れやすかったのです。絵は絵の説明に、声は文字起こしに先に変えられます。その時点で、細かい位置、間、強さ、見え方が落ちます。そろえる力は、その落ちた後の材料だけで働くことになります。

手元で、見て聞くエージェント

ここに、第32回で見た、少ないビットで手元に載せる工夫が重なります。

ビットとは、情報を入れる小さな入れ物です。多く使えば細かく表せますが、重くなります。少なく使えば軽くなりますが、粗くなります。モデルを手元の機械に収めるには、この粗さと軽さの折り合いをつける必要があります。

言葉だけでなく、絵や声まで扱うなら、なおさらです。画面の点を全部そのまま濃く扱うと重くなります。声の波を細部まで抱え続けても重くなります。だから、必要なところを残し、使わないところを粗くする工夫が要ります。

それがうまくいくと、エージェントは手元で見て聞けます。

画面のどこに警告が出ているかを見ます。押すべきボタンを探します。図の中の矢印を読みます。声の入力を聞き取ります。書類の表と説明文を突き合わせます。すべてを遠くの大きな機械へ送らなくても、その場で扱える範囲が広がります。

これは単なる便利機能ではありません。現場のエージェントにとって、見ることと聞くことが、道具になるということです。

この基盤で、見ることと聞くことが持つ意味

まとめます。

エージェントが現場で出会うのは、言葉だけではありません。画面があります。声があります。図があります。表があります。だから、言葉以外をどう入れるかが急所になります。

翻訳官を挟めば、作りやすいです。主役は言葉だけを読めばよいからです。けれど、翻訳官は境です。境では目減りします。問いを知らないまま先にまとめるので、あとで必要な細部を捨てることがあります。

主役に直接見せれば、この境は消えます。問いに応じて見直せます。言葉の「これ」と画面の場所を結べます。声の調子を、文の意味と合わせて扱えます。

ただし、別の難所が残ります。記号の列である言葉、点の広がりである絵、波の連なりである声を、同じ土俵にそろえなければなりません。そろわなければ、結びつきません。そろえば、言葉と絵と声がつながります。言葉が地に足を持ちます。

前に見た世界モデルが、世界の動きを内に持とうとしたように、ここでの試みは、世界の見え方と聞こえ方を、言葉と同じ場所へ持ち込むことです。

画面の前で、人と同じものを見ながら働くエージェントには、この場所が要ります。言葉だけのエージェントは、目と耳を他人に借りているようなものです。

次回は、また別の層の急所へ降ります。