嘴巴動一動，完成外賣點單
去年11月。榮耀為了新機Magic 7 Pro的發布，策劃了一次堪稱行為藝術的事件營銷。
時任榮耀CEO的趙明現場指揮AI Agent YOYO打開美團，下單了約2000杯瑞幸飲料。這一通操作過后，深圳發布會場地周邊的瑞幸門店紛紛「爆單」，門店咖啡師忙到崩潰，接到訂單的騎手更是在門店排起長隊。
這次效果顯著卻略帶荒誕意味的事件營銷，一定程度上讓公眾忽略了榮耀試圖展示的核心技術：「基于GUI的個人AI智能體」。
時至今日，AI Agent功能確實已經不新鮮了。而這個技術的關鍵點，在「GUI」這三個字上。
GUI全稱Graphical User Interface，圖形用戶界面。作為一個基于GUI的AI Agent，YOYO不再依賴傳統的API接口，而是有了一只虛擬的「手」，直接在代替用戶進行圖形界面操作。整個代行操作不在「后臺」，而是直接在「前臺」，在用戶的眼皮底下實時發生。
需要澄清的是：Magic 7 Pro市售機型用戶的體驗可能會與發布會演示存在差異。據財聯社報道，當時現場演示用的測試機權限更高，能夠自動免密支付和循環點單，這才不停地點出了2000杯飲料。至少在目前，市售機型需要用戶明確告知點單細節（例如品牌、品名、杯型、溫度等），并且在支付環節需要用戶接管確認。
這個細節確實重要，但也不至于抹殺這項技術的存在意義。正相反，我們認為，「基于GUI」是個很另類，很有趣，頗具試驗性的AI Agent實現路徑。
AI Agent交互的「前臺」新路
榮耀YOYO的核心是多模態模型，GUI交互的本質是語言+視覺的理解。
·自然語言處理(NLP)：理解「點一杯冰美式」的指令；
·屏幕狀態感知：識別當前界面中的內容，找到正確的按鈕、輸入框等界面元素；
·擬人化操作：像人類一樣點擊按鈕、輸入信息；
·循環操作：在新的界面中持續解析內容、定位和點擊界面元素。
關于GUI的操作部分，這最后一步具體是怎樣實現的，榮耀方面沒有明確透露。一種穩妥的猜測是：它能夠獲得手機的無障礙功能(accessibility features)或類似的底層權限，從而控制屏幕點擊事件。
這最后一步并不是什么難事，甚至比前面幾步都簡單得多。但除了此前智譜的AutoGLM等極少數之外，確實很少有其它第三方開發者和終端廠商在走GUI交互的路徑。
在過去，虛擬助理控制軟件和智能硬件的方式主要是通過API調用以及物聯網協議。這可以理解為一種純數字(digital)的通訊方式。
今年一月，谷歌在三星的指定機型上激活了基于Gemini 2.0的AI Agent功能。這次合作也是通過API或類似方式實現的（谷歌稱之為Gemini擴展），初期僅支持Gmail、谷歌地圖、三星日歷、三星時鐘等第一方應用，以及Spotify等極少量第三方應用。
想要做到規模化，擴充支持的應用，需要開發者做一定量的API接入工作，同時也需要用戶許可使用Gemini擴展。
Gemini控制手機演示圖源：Google
谷歌依賴API調用后臺接口，而榮耀通過GUI模擬前臺操作，二者在實現邏輯上形成了明顯區別。后者的好處，在于可以規避API調用這一常規方式，繞過了其背后的商業博弈和數據成本，也可以更快、更容易地擴充支持的應用，實現規模化并改善用戶體驗。
成本是個關鍵問題。一方面是云服務費用，因為無論是API提供方還是調用方都需要運行服務器來進行操作。另一方面，通過API交換的數據也具有價值，因此具有更高數據價值的API，往往收費也更高。
以美團舉例，其訂單服務在內的基礎API收費標準為每百次調用0.15元（前百萬次免費）。這還只是基礎類API，如果涉及價值更高的管理類API，調用收費提高到每百次0.3元，且無免費額度。
另外，API的使用也暗含著一些隱性的商業競爭要素。調用方獲得了數據，同時也在向提供方發送數據，而不排除在特定條件下，雙方都不希望肥水流向外人田。
而在基于GUI的方案下，至少就目前的演示效果來看，榮耀既不需要向美團支付API費用，雙方也無需擔心數據的歸屬，包括與之關聯的隱私安全等問題。
AI Agent只是在「模仿人類」點擊屏幕，多么原始卻有效的交互方式。
回歸模擬，返璞歸真
這種「返祖」式技術路徑，讓人聯想到谷歌在2018年推出的AI電話助手Duplex。
Duplex的思路在當時同樣有點腦洞清奇：谷歌合成了一個AI語音，替用戶給餐館打電話訂位。這個AI語音聽起來并不生硬，甚至能夠模仿真人的口音、語速、語調，以及加入「嗯」、「you know」之類的填充詞。
Duplex技術演示圖源：Google
今時今日，AI生成語音已經徹底「污染」了電銷和客服行業，讓人感到厭煩。但至少在當時，用頂尖的NLP和語音合成技術，通過「打電話」這種模擬人類的方式訂餐，這種另類的，從數字到模擬(analog)的交互方式，確實令人耳目一新。
目前榮耀正在推進的基于GUI的AI Agent，在我看來同樣屬于一種從數字到模擬的實現方式，用原始與先進相結合的思路，帶來了全新的可能性。
基于GUI不一定是實現手機AI Agent的最佳路徑，但不可否認它確實很有趣，甚至有點「硬來」的意思。
·對于用戶來說，使喚這樣的AI Agent沒有學習成本，不需要研究提示語法；
·而對于第三方應用和服務平臺來說，也幾乎不需要額外的開發成本就可以接入。甚至反過來看，它們也無法拒絕被「接入」，因為壓根就沒有發生真正意義上的「接入」行為。至少以Android目前的沙箱機制來看，應用層不太能夠「抵抗」系統底層的行為。
基于GUI的AI Agent，既是一種對傳統人機交互的致敬，也為AI Agent的落地和體驗提升，提供了一種降低門檻、提高兼容性的路徑。
有時候，最趁手的工具，真就只是一根干凈簡潔的大棒。
大模型與人機交互結合，「笨」AI也有未來
在今天用戶的主要需求場景上，有兩種AI Agent。一種是高智商型，能夠解答復雜問題，完成困難的工作，比如DeepSeek、Claude、以及前幾天大熱門的Manus。這也是現在最流行最受關注的AI Agent/Chatbot種類。
但我們同樣需要另一種懂事能干的AI Agent，它對用戶的使用技巧沒有很高的門檻，用戶只要輸入一兩句簡單直白的命令，它就能理解，并且把各種并不復雜的事給辦好。
今天可以點外賣，將來它還能夠幫你掛機放置類游戲，給指定好友的朋友圈點贊，甚至自動把剛拍下的一張照片修改一下發到社交網絡。只要是用戶能做的，基于GUI的AI agent一樣能做。門檻低，上限高，適應性強，用起來更順手，可能是這一類AI Agent的主要特色。
這類選手不需要成為理解世界的大學者，只當好執行任務的工具人就足矣。
2013年的電影《云端情人》(Her)，曾經賦予人們展開無限的遐想。當時也正值NLP技術大爆發，許多優秀的語音場景產品和技術涌現出來。一些研究者和從業者篤信，自然語言對話將會成為AI交流的最主流方式。
然而去年曇花一現的硬件產品AI Pin，以及開發它的Humane公司越走越黑的路，不禁令人懷疑《云端情人》設想的烏托邦是否那般美好，語音究竟是不是Chatbot/Agent的終極答案。
Humane AI Pin圖源：Humane
進入觸屏時代，交互的門檻顯著降低，以至于幼兒也能輕松地掌握。按照AI開發者們經常采用的比喻，大模型們的「智力」也恰如兒童。那么讓AI通過觸屏界面學習人類行為，聽上去上還是很有希望的。
畢竟，你的伴侶不一定需要一首AI寫的詩，卻可能需要你按爛屏幕去搶一張周杰倫的演唱會門票。
前幾天Manus刷屏，再次佐證了我們曾做出的一個預測：大模型將成為智能手機新的操作系統，自然用戶界面(Natural user interface,NUI)將逐步替代現有的GUI。
至少在目前看來，歷經半個世紀發展的GUI仍會是人機交互的絕對主流。不過，大模型與UI結合，對人機交互進行一次前所未有的重新定義，甚至成為新的操作系統——這樣的未來，的確越來越清晰了。
本文來源：36氪
文章轉載于其他網絡，如有侵權請聯系我們及時刪除！
