【実測】7GB のローカル AI に、競技数学と自分のコードと請求書を食わせてみた ―― Gemma 4 E4B QAT にできること・できないこと

前回、1.74GB の VibeThinker-3B を手元で試しました。

強い解答エンジンでした。でも、長く複雑なタスクでは崩れました。

今回は、別の小モデルです。

Google の Gemma 4 E4B（QAT 版）。

結論から言います。

これは、崩れませんでした。

7GB のモデルが、競技数学を解き、私のコードを 27K トークンぶん読み切り、請求書の計算ミスまで指摘しました。

ただし、ひとつだけ覚えておきたい操作があります。

何を測ったか

モデルは mlx-community/gemma-4-e4b-it-qat-OptiQ-4bit。

有効 4B 相当で、テキストも画像も扱えます。

手元の環境は Apple M5、MLX で動かしました。

ディスク: 7.0GB
ロード: 約2.7秒
速度: 26〜32 tok/s
ピークメモリ: 約8GB
完全ローカル・無料・オフライン

数字だけでは信じません。

暗記できない問題と、私自身の非公開コードと、自作の画像で、自分で確かめました。

解けるものはコードを実行して採点し、数学は答えを先に計算してから出しました。

覚えるべきは、たったひとつ

Gemma 4 には「思考モード」があります。

答える前に、長い推論を内側で書きます。

ここが落とし穴でした。

最初は、JSON を出してと頼んでも出さない。

関数を書かせても途中で切れる。

私は「指示に従えないモデルだ」と書きかけました。

でも、立ち止まって一点だけ変えたところで気づきました。

崩れていたのではありません。

思考が、トークンの予算を食い尽くしていただけでした。

答えが出る前に、途中で切られていたのです。

max_tokens を十分に与える。

それだけで、同じ問題が全部きれいに通りました。

日常タスク（翻訳・要約・JSON・整形）:
  enable_thinking = False / max_tokens ≈ 1024
難しいタスク（数学・コード・長文）:
  enable_thinking = True  / max_tokens = 4096

構造化出力（JSON）のときは、思考を切る。

これだけ守れば、もう振り回されません。

トークンは、けちらない。思考は、つけたままでいい。

硬い問題を、解かせてみた

競技数学を出しました。

答えは先にコードで出しておきます。

100万以下で、平方数または立方数だが6乗数でない数 → 1080
a+b=100, gcd(a,b)=5 の順序対 → 8
{1..12} の部分集合で和が4の倍数（空集合除く） → 1023

全部、正解でした。

特に最後の一問です。

Gemma は、自分から「1の冪根によるフィルタ」を使いました。

母関数を組み、i や −1 で評価して 0 を見抜き、4096÷4 から答えを出す。

競技勢が使う手筋です。

7GB のモデルが、これを自発的に出してきました。

コードは、暗記を避けて自作の問題を出し、生成されたコードをそのまま実行しました。

素数分割の DP: ランダム500ケース 全通過
重み付き区間スケジューリング: ランダム400ケース 全通過

暗記ではありません。

本当に、解いています。

前のモデルが崩れた問題に、耐えた

ここが、今回いちばん確かめたかったところです。

前回、VibeThinker はある問題で完全に崩れました。

私のソースコード3ファイル（約17K トークン）を渡し、ファイルをまたぐ追跡をさせたときです。

「探そう…そこには…でも読まないと…」のループに陥り、9000トークンを使い切って、答えませんでした。

同じ問題を、Gemma 4 E4B に渡しました。

崩れません。

数百トークンの思考で、関数がどこから呼ばれ何のために使われるかを、ファイルをまたいで正確に説明しました。

さらに負荷を上げます。

4ファイル・約27K トークン。

三段の追跡を聞きました。

Gemma は、私のコードの実際の一行をそのまま引用して答えました。

137秒、最後まで走り切り、崩れませんでした。

「賢い」と「長く保てる」は、別の話です。

窓が大きいことより、安定して使える作業記憶がどれだけあるか。

そこが、小モデルの本当の差です。

画像：読むだけでなく、検算してミスを見つける

このモデルは画像も読めます。

文字を読ませるだけでは終わりにしませんでした。

自作の棒グラフを見せ、前月比の最大と半年合計を聞きました。

6本の棒を全部読み取り、5つの差を全部計算し、答えはぴたりと合いました。

いちばん効いたのは、わざと合計を間違えた請求書です。

4品の本当の合計は7,930円。

私は記載をわざと8,930円にしておきました。

Gemma は自分で4品を足して7,930円を出し、記載の8,930円と突き合わせ、こう言いました。

一致しません。差額 +1,000円。

スクリーンショットや図表の検算。

これを、オフラインで、手元で、無料でやれます。

できないことも、正直に書きます

礼賛はしません。

明確な弱点があります。

日本語の「AI 臭」を消す推敲は、苦手でした。

硬い日本語を自然に直してと頼んでも、表面を入れ替えるだけでした。

文体を深く変える仕事は、まだ大きなモデルの仕事です。

スループットも速くありません。

26〜32 tok/s。

思考を入れて4Kトークンなら、一本に数十秒かかります。

低頻度やオフラインの補助に向いています。

リアルタイムの主力には向きません。

そして、これは OptiQ という有志の量子化版です。

Google 純正の int4 そのものではありません。

どのテストも数問だけです。

実力を確かめただけで、本番に出せると判断したわけではありません。

結論：モデルはコモディティ、価値は使い方

四つの検証を並べて、私の判断はこうです。

8GB のメモリに収まり、7GB でディスクに置けるローカルモデルが、競技数学を解き、27K のコードを安定して読み、画像を検算してミスを指摘する。

半年前なら、クラウドの大型モデルを呼ぶ仕事でした。

これは、私が最近ずっと言っていることと同じです。

モデルそのものが、消耗品になりつつあります。

無料でオフラインのローカルモデルでもここまでできるなら、「どのモデルか」は、もう堀になりません。

堀は、使い方にあります。トークンを十分与えるか、思考を入れるか、どの境界の問題に向けるか、出力を何で検証するか。

だから、向く仕事ははっきりします。

画像の構造化、オフラインの補助分析、ローカルでのコード読解、検証できる部分問題。

向かない仕事も、はっきりします。

公開記事の執筆（文体が足りません）、自動で最終判断する司令塔（遅く、そこは人が決めるべきです）。

「賢い」は、もう十分です。

次に問われるのは、誰がうまく使うか、です。

―― AI未来編集室「AIウォッチ」