スマートフォンの日常使用において人工知能はますます具体的になり続けており、まさにこの方向で、Google は Android アプリの使用を画面から直接自動化するように設計された新しい Google Gemini 機能の配布を開始しました。
この斬新さはGalaxy S26シリーズの発売時に予想されていましたが、今ではついに現実のものとなりました。画面自動化機能は、少なくとも当初は米国と韓国では、このシリーズのデバイスで利用可能です。
これは、AI アシスタントの進化における興味深い一歩です。Gemini が単に質問に答えたり、コンテンツを生成したりするのではなく、ユーザーに代わってアプリと直接対話し、通常はいくつかの手動手順が必要となる一連の自動アクションを実行するのは初めてのことだからです。
Galaxy S26 での Gemini 画面自動化の仕組み
この機能の原理は比較的単純で、ユーザーが音声コマンドを与えると、Gemini がアプリ内で操作を実行します。
たとえば、Samsung Galaxy S26 Ultra で実施されたいくつかのテストでは、アシスタントに Uber Aets 経由でポパイのスパイシー チキン サンドイッチを注文するよう依頼することができました。その時点で、ジェミニは独自にアプリを開き、レストランを検索し、商品をカートに追加し、さまざまな注文画面をナビゲートしました。
これらすべては、追加機能や推奨されるペアリング専用の画面など、いくつかの中間画面をスキップして、最終的な概要に直接アクセスすることによって行われます。基本的に、Gemini は、タップ、スワイプ、テキスト入力など、ユーザーが手動で行うアクションをすべて、人工知能によって制御される一種の仮想ウィンドウ内でシミュレートします。
ただし、セキュリティ上の理由から非常に重要かつおそらく必要な制限があり、Gemini は支払いを自動的に完了しません。プロセスが最終的な注文段階に達すると、アシスタントはスマートフォンに通知を送信し、デバイスを振動させて、制御をユーザーに返します。
その時点で、その人は支払いを確認し、配達員のチップを選択して取引を完了します。このようにして、経済的に重要な操作は常にユーザーの直接制御下に残ります。
現時点では、互換性のあるアプリのリストはかなり限られていますが、Lyft、Uber、Grubhub、DoorDash、Uber Aets、Starbucks など、米国で非常に人気のあるサービスがすでに含まれています。リストは Gemini 設定に直接表示され、デバイスに実際にインストールされているアプリのみが含まれます。
ただし、Google はすでに開発者に統合の可能性を開放しているため、時間の経過とともに互換性が大幅に向上する可能性があります。最も注目すべき欠如の中に、たとえば、多くのユーザーが将来追加されることを期待している Instacart があります。
Google エコシステムの最先端の機能ではよくあることですが、画面の自動化にも 1 日あたりの使用制限が適用されます。制限は購読したプロファイルによって異なります。具体的には：
- 無料アカウント -> 1 日あたり 5 リクエスト
- Google AI Plus -> 1 日あたり 12 リクエスト
- AI Pro -> 1 日あたり 20 リクエスト
- AI Ultra -> 1 日あたり 120 リクエスト
これらは、リアルタイム クラウド ブラウザを使用するより高度な機能である Gemini Agent とは別の制限であり、少なくとも現時点では、AI Ultra プランの加入者専用となっています。
すでに述べたように、この機能は現時点では米国と韓国のGalaxy S26シリーズのデバイスでのみ有効ですが、フラッグシップモデルのGoogle Pixel 10シリーズでもサポートが確認されています。
また、この場合、最初の展開は米国に限定されるため、イタリアを含む他の市場のユーザーは、人工知能に基づくこの新しい形式の自動化を試せるようになるまで、おそらくしばらく待つ必要があります。