RTX 5060(VRAM 8GB)の自宅PCで動くローカルLLMにスマホを操作させる使い方|gemma4:e4bへの依頼の書き方

概要

今回はRTX 5060(VRAM 8GB)の自宅PCで動くローカルLLMに、Androidスマホを操作させる方法について紹介していきます。

ローカルLLMとは、クラウドのAPIではなく自分のPCの上で動かす言語モデルのことです。
「自分のPCでもスマホを動かせるのか」「VRAM 8GBで何ができるのか」が気になっている方は多いと思います。

そこで、どのモデルが動くのか、そのモデルにどう頼めば成功するのかを、60回の試験をしながら確かめました。
実験結果は「なぜその使い方なのか」の根拠として載せています。

それではやっていきましょう!

目次

試した環境

まずは前提となるPCとスマホです。
ゲーミングPCとしては、よくあるミドルクラスの構成だと思います。

項目 内容
CPU AMD Ryzen 7 5700X(8コア16スレッド)
メモリ 16GB(DDR4-3200)
GPU NVIDIA GeForce RTX 5060(VRAM 8GB)
ストレージ WD Blue SN5000 500GB(NVMe SSD)
OS Windows 11
LLMの実行環境 Ollama(127.0.0.1のみで待ち受け、外部に公開しない)
スマホ Pixel 9a(Android 17)、USB接続、adb

回線は約1MB/sしか出ないので、大きいモデルのダウンロードは途中で止まることがありました(- -;

このPCで動くモデルと使い分け

Ollamaで3つのモデルを試しました。
スマホ操作には画面を見る力(画像入力)が必要なので、そこも合わせて見ています。

モデル 開発元 サイズ 配置(CPU/GPU) 生成速度 VRAM スマホ操作
gemma4:e4b Google 6.6GB 100% GPU 約150 tok/s 約5GB 60回中53回成功・嘘の完了2回。1タスク約35秒
gemma4:26b Google 18GB 18% / 82% 約19 tok/s 約7GB(ほぼ満杯) 60回中58回成功・嘘0回。1タスク約112秒
gpt-oss:20b OpenAI 13GB 57% / 43% 約19.5 tok/s 約6.5GB テキスト専用で、画像を見られないので使えない

VRAM 8GBに丸ごと載るのはgemma4:e4bだけでした。
載りきらないモデルはCPUに溢れて、生成速度が150 tok/sから19 tok/s前後まで一気に落ちます。
18GBのgemma4:26bは、メモリ16GBでもVRAMとRAMにまたがってギリギリ動きますが、1タスクに約112秒かかり、e4bの3倍遅いです。

なので使い分けは、普段はgemma4:e4b、依頼文を型にできない曖昧なときだけgemma4:26bにしました。
gpt-oss:20bは画像を見られないので、今回の用途からは外しています。

使えるようにするまで

自作のPythonエージェント(約400行)が、1手ごとに「スクショ+画面の要素一覧」をモデルに渡します。
モデルはJSONで次の1手(tap / type / keys / scroll / back / home / launch / done)を返し、エージェントがadbでそれを実行する仕組みです。

準備はこの流れです。

  • OllamaとadbをWindowsに入れる
    • winget install Ollama.Ollamaとwinget install Google.PlatformToolsで入る
  • モデルを取得する
    • ollama pull gemma4:e4b
  • スマホ側の設定
    • 開発者オプションで「USBデバッグ」をONにして、USB接続したら「このパソコンを許可」を押す

エージェントのコードは載せませんが、モデルに許した操作は上の8つだけです。
シェルやファイル操作の権限は渡していませんし、起動できるアプリも許可リストに入れた設定・時計・電卓に限っています。

依頼の書き方

ここが本題です。
4Bクラスの小さいモデルには、次の「型」で頼むのが一番うまくいきました。

依頼の型

1
2
3
4
目標: Wi-Fiのネットワーク一覧を表示する
手順: com.android.settings を launch →「ネットワークとインターネット」をタップ →「インターネット」をタップ
終了条件: 「インターネット」という見出しの画面が表示されたら、何も押さずに done
禁止: スイッチは押さない。ネットワーク名はタップしない

アプリはパッケージ名で指定して、押すボタンは画面に出る文字どおりに「」で書き、順に並べます。

一番大事なのは終了条件を必ず書くことです。
終了条件がないと、モデルは目的の画面に着いても止まれず、通り過ぎて余計な操作をします。

禁止事項も一緒に書いておくと、勝手にスイッチを切り替えるような副作用を防げます。

あとは、次の点にも気をつけています。

  • 1回の依頼で目標は1つにする
    • 複数あるときは依頼を分ける
  • 数字は「keysで300を入力」のようにまとめて入れさせる
    • タイマーの「3・0・0」のように、押す回数を数えさせる書き方は4Bクラスには無理だった
  • 日本語入力は時間がかかると割り切る
    • Chrome経由のコピー貼り付けになり、1回約11秒かかるので、英字で済むなら英字の方が速い
  • 結果は必ず最後の画面で確かめる
    • モデルは「完了しました」と嘘をつくことがある

なぜこの型なのか(60回の試験)

型の根拠になった試験の結果です。
gemma4:e4bで、5つのタスクに4段階の粒度の依頼を当てて、それぞれ3回ずつ、計60回試しました。
成否はモデルの申告ではなく、最後のスクリーンショットを見て人が判定しています。

粒度 書き方 成功数
L1 手順を全部書く 12/15
L2 アプリ名+目的 12/15
L3 目的だけ 14/15
S 手順+終了条件+禁止事項(型どおり) 15/15

個人的に意外だったのは、手順を全部書いたL1が一番悪かったことです。
失敗の中身は、正しい画面に着いたのに、指示の最後の手順(「インターネット」をタップ)を守ろうとして見出しを押し続ける、というものでした。

手順は書いてあっても、いつやめるかが書いていないので止まれません。
Sはそこに終了条件を足しただけで、全部成功しました。

手順を細かく書くより、「いつやめるか」を書く方がお得ということです。

大きいモデルなら曖昧な依頼でも通る

同じ60回をgemma4:26bでも試しました。

粒度 e4b 26b
L1 手順を全部書く 12/15 14/15
L2 アプリ名+目的 12/15 15/15
L3 目的だけ 14/15 14/15
S 型どおり 15/15 15/15
嘘の完了 2回 0回
1タスクの時間(中央値) 約35秒 約112秒

26bは、書き足りない指示を自分で補ってくれます。
ただe4bも26bも型どおりに書けば15/15で差がなくなります。
依頼文を整えるのは呼び出し側の仕事なので、3倍速いe4bを既定にして、型にしにくい曖昧な依頼のときだけ26bを使うことにしました。

エージェント側の作りも大事

依頼の書き方だけでなく、エージェントがモデルに渡す「画面の説明」の作りでも成功率が変わりました。
最初は、9タスク中1件しか成功しませんでした。
画面の説明を直したところ、4件に増えています。

効果が大きかった直し方は、次の4つです。

1. 設定画面の行に、中の文字をラベルとして付ける

設定画面の各行は、「押せる枠(ラベルなし)」と「中の文字(押せない)」が別の要素になっています。
そのまま渡すと、モデルは中身の分からない空ラベルを押し続けてしまいます。
そこで、枠に中の文字をまとめてラベルとして付けました。
これで迷子がかなり減りました。

2. アプリはパッケージ名で起動させる

ホーム画面でアイコンを探させるより、launch com.android.settingsのようにパッケージ名で起動させる方が確実でした。
ただし、入っているアプリだけを一覧に出さないと、入っていないアプリを起動しようとして止まります。

3. スイッチの状態は文字で渡す

スイッチのオン/オフは画像から読ませず、「(スイッチ: 現在オン)」と文字で渡します。
画像だけだと、説明文の「自動でOFFにしない」に釣られて「オフ」と答えたことがありました。

4. 数字入力はkeys操作でまとめて入れる

数字入力もつまずきどころでした。
そこで、文字列をまとめて入れるkeys操作を足し、先にBackspaceで消してから入れる作りにしました。
これでタイマーは12回中12回成功しています。

安全策

モデルに任せっぱなしにしないために、操作を3段階に分けました。

区分 例 扱い
お金・例外的な操作 購入、支払、削除、初期化、ログアウト 常に拒否
要判断 登録、送信、同意、許可、保存、スイッチ 一時停止して呼び出しモデル(Claude)が画面を見て判断
その他 普通のタップ、スクロール、英数字入力 そのまま実行

自分の場合「Wi-Fiの画面を開いて」と頼んだだけでWi-Fiのスイッチを切り替えられたことがあったので、スイッチは要判断に入れています。
実際に、3秒のタイマーなのに「3分にセットしました」と答える嘘の完了もありました(60回中2回)。
こう言った事象を無くすために、最後の画面は優秀なエージェントの目で確かめるようにしています。

締め

いかがでしたか?

VRAM 8GBでも、gemma4:e4bなら全部GPUに載って、型どおりに頼めばスマホ操作は意外としっかり動きました。
自宅PCにゲーミングGPUがある方は、ぜひ試してみてください(^^

今後は、設定の検索履歴を消して近道なしで測り直したり、許可リストを広げたときの安全策を考えたりしたいです。

正直言ってこのやり方だと、実務レベルのタスクはまだまだ難しそうですが、上手く使って行きたいですね!

以上となります。
無料で使えて単純タスクならなんとかなるのでやった価値はありました!
それではお疲れさまでした。

広告・PR|神秘ノシSELECT(セルフ広告)

神秘ノシSELECT。夜に飲めるお茶を探す人へ。ノンカフェインのルイボスティー。レビューを読む