智慧科技
分享心發現

微軟Copilot迎來更新:Copilot Vision可以「看著你的螢幕畫面」跟你即時聊天!

2024/11/09

 

微軟的 Copilot 可以看著你的畫面跟你聊天了。(圖片來源:Unsplash)

 

有在使用AI工具的人,應該都在等待「電腦視覺」全面開放的時刻吧!想像一下,你與AI的互動不再僅限於「聊天機器人一問一答」,而是真正融入你的日常生活當中:你看到什麼、他也看到一樣的東西,作為一個陪你聊天、陪你思考的存在,就像真正的「副駕駛」一樣。現在,微軟的AI工具「Copilot」正式迎來更新: Copilot Vision、Copilot Voice 以及 Think Deeper 功能。

 

本文目錄

 

Copilot 可以陪你一邊聊天一邊討論該買什麼。(圖片來源:微軟)

 

 

最適合將AI服務做大的科技巨擘:微軟、蘋果、三星、華為

還記得曾經在 AI 應用案例《線上塔羅牌 AI 應用:塔羅望遠鏡,讓算命更人性》中,提到過 AI 想要成功落地,必須注意到三件事:

 

• 越感受不到AI的,使用量越高

• 能增加價值的AI,比省時省成本的AI,使用量較高

• 越需要互動的AI,使用量越低

 

裏面提到的第一點,也是最重要的一點,就是「讓 AI 無感化」。越能夠自然融入日常生活、日常工作流程的 AI,才是真正能夠被廣泛接受的 AI 工具。然而,這看似單純的概念,其實要實現並不容易!這中間牽涉到「反應速度、算力、隱私、各項感測器的運用、生態整合」等多種環節必須打通。

 

嚴格說起來,像是OpenAI這類企業,在「AI無感化」的革新上是最為吃虧的:沒有自己生態系統,也沒有自己的終端硬體設備。而像是蘋果、華為、三星這類「軟硬通吃」的廠商,其實才是最適合將AI做到無感化的公司(而這些公司顯然也正朝這個方向前進中)。

 

微軟是最適合開發 AI 服務的公司之一(圖片來源:Unsplash)

 

除了硬體,掌控作業系統的廠商也同樣具備絕佳的先天優勢:微軟的 Windows,蘋果的macOS以及iOS、iPadOS、Google的Android,以及華為的鴻蒙。微軟的 Windows 擁有「Copilot」這個AI服務,蘋果則是整合 OpenAI的技術推出了Apple Intelligence,Google有著即將全面取代Google Assistant的 Gemini,華為有華為小藝。

 

今天微軟正式讓自家的「Copilot AI」朝向無感化又往前走了一大步。

 

Copilot Vision:讓 AI 看著你的畫面跟你即時對話

微軟的Copilot服務其實已經支援多個平台,例如 iOS、Android 以及 PC、瀏覽器端等等,然而要提到「整合」這件事,還是PC端做得最深入。

 

Copilot與用戶的溝通像個多年好友一樣(圖片來源:微軟)

 

根據目前能得到的消息,Copilot Vision已經可以做到「即時查看你的 Microsoft Edge瀏覽器畫面」。與先前的聊天機器人一問一答不同,Copilot Vision 可以做到即時分析你正在閱讀的網頁,包括網頁上的文字、網頁上的圖片,結合語音即時互動(Copilot Voice,語調可以做到跟 ChatGPT Voice 差不多的真實感),就像有一個人坐在你旁邊,跟你一起看著畫面、一起即時討論畫面上的內容一樣。

 

可以參考微軟官方的介紹影片,體驗一下那個感受:

 

 

 

新推出的Copilot Vision,在 Mircosoft Edge 上將會以一個「浮動工具列」的形式存在,只要在瀏覽器網址列輸入「@copilot」,就可以叫出 Copilot Vision。

 

值得一提的是,為了避免資安的爭議,微軟表示這些「AI 看過的內容」都會在對話結束後刪除,並不會保存下來,也不會被拿去訓練 AI 模型。另外,微軟有提到,針對「付費內容」以及「敏感內容」,Copilot 都會被限制住,不讓 AI 處理這些東西。

 

若網站有透過一些手段禁止AI讀取(例如Robot.txt直接禁止AI爬蟲抓取內容,或是使用Cloudflare的Block AI Scrapers and Crawlers等等),Copilot Vision一樣會尊重這些網站的設定。

 

Copilot 會尊重原始網站的意願,來決定是否提供分析。(圖片來源:微軟)

 

目前 Copilot Vision 只在美國開放,台灣用戶還得再等等。

 

至於能夠與 Copilot 進行流暢語音溝通的 Copilot Voice,則暫時只針對加拿大、紐西蘭、澳洲、英國與美國推出英文版,但是多國語言相信不久後就會跟上,畢竟 OpenAI 的 ChatGPT Voice 不只支援中文,現在連台語都會說了呢。

 

 

Copilot Think Deeper:強化 AI 的推理能力

除了備受期待的 Copilot Vision,微軟 Copilot Labs 還有一項新功能:Copilot Think Deeper,它可以讓 AI 花費更多時間,強化推理能力,回答更複雜的問題。Think Deeper 功能即日起開放加拿大、紐西蘭、澳洲、英國與美國的部分 Copilot Pro 用戶提供測試。

 

Copilot 可以擁有更強的邏輯思考能力。(圖片來源:微軟)

 

雖然這些新功能台灣都無法在第一時間使用上,但是根據先前的經驗,微軟都會在接下來的幾個月內逐步開放這些新功能到全世界、多種語言。

 

未來,AI 視覺一定會成為所有 AI 服務的標準配備,動畫《閃電霹靂車》裏面的人工智慧阿斯拉,估計在三年內就會以完全體的形態問世了吧!

 

*本文為科技人授權轉載,原文為微軟 Copilot 迎來更新:Copilot Vision 可以「看著你的螢幕畫面」跟你即時聊天!

 

 

 

心發現延伸閱讀: