【#GPT4V比Siri更懂iPhone#：可“操作”手机完成任意指令，无需训练】一项研究发现：无需任何训练，GPT-4V 就能直接像人类一样与智能手机进行交互，完成各种指定命令。比如让它在 50-100 美元的预算内购买一个打奶泡的工具，它就能一步一步地完成选择购物程序（亚马逊）并打开、点击搜索栏输入“奶泡器”、找到筛选功能选择预算区间、点击商品并完成下单这一系列共计 9 个操作。根据测试，GPT-4V 在 iPhone 上完成类似任务的成功率可达 75%。因此，有人感叹有了它，Siri 渐渐就没有用武之地了。在“GPT-4V零样本操作 iPhone，计算出应该点击的准确位置坐标”实验中，只输出应该干什么，不输出具体坐标的情况下，GPT-4V 理解指令并给出操作步骤的准确率为 90.9%；本地化动作执行时，准确率下降至 74.5%，依然很高。最后，在安卓机上的测试要复杂得多，但GPT-4V在执行安装、购物等任务中的总体表现最高得分仍能达到 52.96%，这些基线模型最高才 39.6%。本研究一共 12 位作者，基本都来自微软。（IT之家）
