HOME/ブログ/AIエージェントにWindowsデスクトップを操作させる「Amazon WorkSpaces Applications」を検証してみた📖
amazon-workspaces-applications-ai-agent-thumbnail
技術解説・Tips

AIエージェントにWindowsデスクトップを操作させる「Amazon WorkSpaces Applications」を検証してみた📖

avatar
Yutaro Hiyama

AWSが提供する仮想デスクトップサービス「Amazon WorkSpaces Applications」に、AIエージェントがMCP(Model Context Protocol)経由でデスクトップを操作できる新機能が追加されています。本記事では、この機能を実際に触ってみた結果と、構成・つまずいたポイントをまとめます。


AIエージェントにWindows操作をさせたい理由

多くの企業では、メインフレームへの接続や古い業務システムなど、APIを持たないWindowsデスクトップアプリケーションで基幹業務が動いています。こうしたアプリはAI エージェントによる自動化の「ラストワンマイル」になりがちで、これまでは人間が画面を操作するか、個別にAPIを開発するか、RPAツールで画面を叩くしかありませんでした。

Amazon WorkSpaces Applicationsの新機能は、既存のアプリケーションを一切改修することなく、AIエージェントに人間と同じ操作(クリック・入力・スクロール・スクリーンショット)をMCP経由で行わせられる点が特徴です。今回は、

  • レガシーシステムの定常業務の自動化
  • Windows環境でのブラウザ操作を伴う画面表示チェック(UIリグレッションテスト)

の2つの用途を想定して、実際に動かしてみました。

Amazon WorkSpaces Applicationsのアーキテクチャ

構成はシンプルで、大きく3つの要素に分かれます。

  1. エージェントの実行環境:AWS LambdaやAmazon Bedrock AgentCore Runtimeなど任意の環境を利用可能
  2. エージェントフレームワーク:Strands Agents SDK、LangChain、CrewAIなど、MCPに対応していればフレームワークは問わない
  3. Amazon WorkSpaces Applicationsが提供するMCPエンドポイントclick(クリック)、type(テキスト入力)、scroll(スクロール)、screenshot(スクリーンショット)といったデスクトップ操作ツールを提供

流れとしては、エージェントがAmazon Bedrockの基盤モデルを呼び出し、その判断結果をもとにMCP経由でWorkSpacesのストリーミングセッション(Windowsデスクトップ)を操作する、という形になります。

認証まわりはAWS IAM(SigV4)ベースです。ドメイン非参加のフリートの場合、IAM認証を通してストリーミングURLを取得し、そのURLに対してMCPクライアントを接続します。必要な権限は大きく、

  • Amazon Bedrockの呼び出し権限
  • WorkSpaces Applications(Amazon AppStream 2.0を基盤とするサービスのため、ドキュメントもAppStream 2.0 Developer Guide配下にあります)側の権限

の2系統です。スタック作成時には管理コンソール上に「AIエージェント」というセクションが追加されており、「Add AI Agents」を選ぶだけでエージェント向けのスタックを作成できるため、構築自体はそれほど複雑ではありません。

検証手順

  1. WorkSpaces Applicationsのコンソールから、AIエージェントアクセスを有効にしたスタックを作成
  2. AWSが公開しているサンプルコード(GitHubの sample-code-for-workspaces-agent-access リポジトリ)をCloudShell上にクローン
  3. Strands Agents SDKを使ったPythonスクリプトを対話形式で実行し、エージェントに指示を投げる
  4. 「(検証用URL)にアクセスして表示崩れがないか確認して」という指示を送信

指示を送ると、裏側でエージェントがBedrockにリクエストを送り、MCP経由でFirefoxを起動→対象ページへアクセス→ページを上から下までスクロールして確認、という一連の操作を自動で実行してくれました。最終的に「特に問題ありません」という結果が返ってきており、明示的にスクリーンショットを指示していなくても、デスクトップの初期状態からブラウザ起動、ページアクセス、スクロールまでの各操作ステップが自動的にスクリーンショットとして記録されていました。Amazon S3と連携しておけば、こうした操作ログを保存して後から人間が確認できます(公式でも監査用途としてS3への保存が案内されています)。

もう一つ、業務アプリの操作を想定した検証として、表計算アプリ(OpenOffice Calc相当)が入ったカスタムイメージ上で「単価を入力して合計金額を出して」という簡単な指示を実行してみたところ、こちらも正しく入力・計算されることを確認できました。ごく単純な例ではありますが、社内の業務アプリケーションの自動化にも応用できそうな手応えがありました。

つまずいたポイント

  • 検証時点(プレビュー提供時)では、AIエージェントモードで起動しているインスタンスに対して、人間が同時にログインして操作することができず、試そうとするとエラーになりました。

まとめ

Amazon WorkSpaces ApplicationsのAIエージェントアクセスを使うと、既存のWindowsデスクトップアプリケーションをAPIなし・改修なしでAIエージェントに操作させることができます。今回の検証では、ブラウザでの画面表示チェックや簡単な業務アプリ操作を、追加のシステム改修なしに自動化できることを確認できました。

なお、この機能は検証時点(2026年6月)ではプレビュー提供でしたが、2026年7月1日にGA(一般提供)へ移行しており、MCPツールフォワーディングやエージェントセッションのリアルタイム監視・停止機能なども追加されています。実際に検証・導入を検討される際は、あわせて最新のドキュメントをご確認ください。

社内では引き続き検証を進めています。AIエージェントによる業務自動化の導入をご検討の際は、お気軽にKDDIアイレットへお問い合わせください!