デスクトップ操作を記録してAIのスキル・自動化を生成。Microsoft、「Skill Recorder」を公開(窓の杜)
发布时间:2026-08-04 | 浏览:5
米Microsoftは7月30日(日本時間)、「Skill Recorder」をリリースした。デスクトップ操作を記録して、その意図と手順を「GitHub Copilot CLI」に解析させ、再利用可能なAIエージェントのスキル(SKILL.md)や自動化を生成するデスクトップアプリだという。 【画像】本ソフトは“ソースリリース”で提供される。バイナリは用意されておらず、インストールコマンドをターミナルで実行すれば、必要なコンポーネントのダウンロードからコンパイル、セットアップまでが自動で実行される 「Skill Recorder」は「GitHub」でホストされているオープンソースプロジェクトで、ライセンスは「MIT」。リリースページに記載されているインストールコマンドをターミナルで実行するだけで、あとは全自動でセットアップが行える。対応OSはWindows 11、macOS、Ubuntu。執筆時現在の最新版は、31日付けでリリースされたv0.3.1だ。 アプリケーションは「Electron」と「Vite」で構築されており、以下のステップで利用する。 ・録画:[Ctrl]+[Shift]+[R]キー(macOSは[command]+[shift]+[R]キー)を押して、デスクトップ操作の記録を開始。録画中は小さなバーが最前面に表示され、スクリーンと手順がバックグラウンドでローカルに記録される。うまくいかなかったときは破棄できる(確認ダイアログあり) ・解析:[Analyze]をクリックすると、「GitHub Copilot」が意図と手順を再構成する。読んで納得できるまで編集できる ・生成:内容を承認したら、スキルや自動化を書き出す 記録されるデスクトップ操作は、ウィンドウの切り替えから閲覧中のWebページ、クリップボードの内容までさまざまだ。マイク入力を有効化して、OpenAIが開発したオープンソースの音声認識AIモデル「Whisper」で書き起こすことも可能。 ・ウィンドウの追跡:アクティブなアプリやウィンドウの切り替え ・ブラウザーのURL:閲覧中のページ(macOS) ・画面の映像:「Chromium」が記録。画面が変化したときと、一定時間ごとの低頻度スナップショットのみ保持される ・クリップボード:手順のつながりを把握するための、コピーしたテキストの短いプレビュー ・ナレーション(任意):話した内容を端末内で文字起こし。「Whisper」がサポートする99言語を利用できる(初回のみ約252MBのモデルをダウンロード) なお、「Skill Recorder」は機密情報を区別せずに取り込んでしまう。パスワード、トークン、APIキーなどが記録されないように十分注意してほしい。 記録されたデスクトップ操作は「GitHub Copilot」が解析した上で、AIエージェントが実行できる“順序立てられたステップのリスト”の形式でライブラリに保存される。ユーザーのクリック操作などをそのまま機械的に記録・再現するのではなく、可能であればネイティブツールの利用などに置き換え、同種のシーンでも再利用できるように一般化してくれるのがミソだ。 生成したスキルや自動化は、「Microsoft Scout」、「Microsoft Copilot Cowork」、「Copilot Studio」で利用できる。 ・スキル:エージェントが必要に応じて実行する「SKILL.md」形式の手順書 ・自動化(Automation):同じ手順を、スケジュールやトリガーで実行する なお、記録された操作は基本的にローカルで処理される。外部へ送出されるのは、ユーザーが[Analyze]ボタンを選んで「GitHub Copilot」へ解析を依頼したときだけだ。送信されるのはイベントの時系列、抽出された画面の画像、ナレーションのテキストなどで、それ以外のデータは送出されない。 ソフトウェア情報 「Skill Recorder」・【著作権者】 Microsoft Corporation ・【対応OS】 Windows 11、macOS、Ubuntu ・【ソフト種別】 オープンソース ・【バージョン】 0.3.1(26/07/31)
「Copilot in Excel」が反復・定型作業を代わりにしてくれる「スキル」に対応
AIを“即戦力の専門家”に変える「Agent Skills」は単なる機能拡張ではない
無料で自動化の快適さを体感! Google Antigravityの新機能「Skills」でマイAIエージェントを作ってみよう
エージェントスキルに対応した「Visual Studio Code」v1.108が公開 ~2025年12月更新
「GitHub Copilot」アプリがすべてのプランに開放 ~無料プランでも利用可能に
アクセスランキング(IT総合)
1 フライトレーダー24、羽田の異常接近データを公開 最接近時の垂直間隔は約30メートル ITmedia NEWS 8/4(火) 19:30
フライトレーダー24、羽田の異常接近データを公開 最接近時の垂直間隔は約30メートル
2 キオクシア、約366億円の賠償命令が正式判決に 「到底容認できない」と同社--控訴も視野 CNET Japan 8/4(火) 13:55
キオクシア、約366億円の賠償命令が正式判決に 「到底容認できない」と同社--控訴も視野
3 ソフトバンクのスマホ契約数減はいつ止まる? 宮川社長が反転の時期を語る ホッピング対策は「真剣にやりすぎた」 ITmedia Mobile 8/4(火) 20:12
ソフトバンクのスマホ契約数減はいつ止まる? 宮川社長が反転の時期を語る ホッピング対策は「真剣にやりすぎた」
4 ファーストリテイリング、令和8年熊本地震の被災地緊急支援でユニクロ商品を2万点寄贈を決定、1億円規模の寄付を予定 ネットショップ担当者フォーラム 8/4(火) 15:01
ファーストリテイリング、令和8年熊本地震の被災地緊急支援でユニクロ商品を2万点寄贈を決定、1億円規模の寄付を予定
5 「イオンモール熊本にガスコージェネは設置していない」 SNSの噂を経産省が否定 ITmedia NEWS 8/4(火) 13:44
「イオンモール熊本にガスコージェネは設置していない」 SNSの噂を経産省が否定
フェイクに騙されない 情報習慣をチェック
デマや誤情報に備えよう。クイズでわかる情報判断力
雑誌アクセスランキング(IT・科学)
1 Windowsユーザーは「ホテルのWi-Fiは使うな」マイクロソフトが緊急警告 Forbes JAPAN 8/2(日) 15:00
Windowsユーザーは「ホテルのWi-Fiは使うな」マイクロソフトが緊急警告
2 OpenAI新モデル「Astra」が数学の難問を31万円で解く Forbes JAPAN 8/4(火) 13:00
OpenAI新モデル「Astra」が数学の難問を31万円で解く
3 マイクロソフトがCopilotを統合「AIスーパーアプリ」を年内に提供へ ビジネス+IT 8/4(火) 17:15
マイクロソフトがCopilotを統合「AIスーパーアプリ」を年内に提供へ
4 体色を一瞬で変える「スパイダーマン・トカゲ」、派手な色の裏にある真実 Forbes JAPAN 8/4(火) 18:00
体色を一瞬で変える「スパイダーマン・トカゲ」、派手な色の裏にある真実
5 暗い空にペルセウス座流星群の流れ星を探し、はくちょう座を目印に天の川を辿る 今週の夜空 Forbes JAPAN 8/4(火) 14:30
暗い空にペルセウス座流星群の流れ星を探し、はくちょう座を目印に天の川を辿る 今週の夜空