Google は、macOS 用の Gemini のメジャー アップデートを展開し、システム全体の音声コントロールと、Fn キーを長押しするだけで Chromebook と同様にデスクトップ上のどこからでもアクセスできるインテリジェントなディクテーションを導入します。
ショートカットはシステム全体で機能するため、フローティング バー オーバーレイはサードパーティのクリエイティブ スイート、ワード プロセッサ、ファイル マネージャーなどに音声入力を登録し、ユーザーは現在のカーソル フォーカスやワークフローの配置を失うことなく AI イベントを音声でトリガーできるようになります。
このアップデートは、高度な音声からテキストへのトランスクリプションとオプトインのデスクトップ画面推論という 2 つの主要な機能に焦点を当てています。ディクテーション機能は Google の Gboard Rambler エンジンと同様に機能し、テキスト カーソルがたまたま置かれている場所に洗練されたテキストを直接挿入します。 Gemini は、すべての言葉の間違いを逐語的に書き写すのではなく、「うーん」や「ああ」などのつなぎ音を自動的に取り除き、文中の修正をその場で考慮します。話している途中で文章を言い換えると、システムが調整をキャッチし、ネイティブ macOS アプリケーション全体ですぐに使用できるクリーンなコピーを出力します。

オプトイン コンテキスト モードにより、Gemini はモニターにアクティブに表示される視覚情報を読み取り、処理できるようになります。アプリ内で手動で有効にすると、ユーザーはローカルのデスクトップ ファイル、ドキュメント、または画像を強調表示し、口頭でリクエストを発行できるようになります。たとえば、医療記録のフォルダーを強調表示すると、Gemini に文書を解析して簡潔な概要をメール本文に直接書き込むように指示できます。
このデスクトップ認識は、ライブ テキスト編集やクリエイティブ アセット管理にもシームレスに拡張されます。乱雑でフォーマットされていない会議メモを画面上の任意の場所で強調表示し、上部に箇条書きの概要が記載された概要を口頭で要求できます。ビジュアル面では、Gemini は会話プロンプトを通じて新しい画像を生成したり、既存のデスクトップ グラフィックスを反復処理したりできます。たとえば、画面上のライト モードのベクター イラストを参照したり、アシスタントにダーク モードのバリエーションを作成するよう依頼したりします。
ロールアウトは 現在グローバルに展開中 (つまり、v1.88 であってもすぐには表示されない可能性があります)、今後のリリースでは追加言語が予定されています。