索尼赛车AI登上《自然》封面。
索尼赛车AI登上了《自然》的封面，据报道，去年7月，该人工智能首次与GT赛车的四名顶级车手进行了比赛，并在当年6月的另一场比赛中击败了人类车手。索尼赛车AI登上《自然》封面。
索尼Racing AI出现在Nature 1的封面上“我们追求人工智能是为了最终更好地理解人类。”
作为这一代为数不多的现实赛车游戏，《GT赛车运动》的玩家们可能从来没有想过，他们的游戏有一天会登上世界顶级科学杂志《自然》的封面。
昨天，索尼公布了一项由其AI部门开发的人工智能技术，它也成为了本周《自然》杂志的“封面人物”，而这项人工智能的成就就是在GT赛车运动中击败了世界级的赛车游戏玩家。
Nautre第7896期封面
或者说，用“征服”这个词更合适。在索尼演示的4名AI车手与4名职业赛车选手的对决中，冠军AI的最高圈速比人类中最好的快了2秒多。对于3.5英里的赛道来说，这种优势就像AlphaGo征服围棋。
在过去五年的研发中，这款由索尼AI部门、SIE和PDI工作室(即GT赛车的开发者)共同开发的AI已经实现了这一目标。
索尼将这款AI GT命名为Sophy。“苏菲”是一个常见的名字，来源于希腊语σ ο φ α，意为“知识和智慧”。
Sophy和一般游戏AI有什么区别？
AI在游戏中打败人类的例子并不少见。OpenAI经过数千场DOTA2游戏的“冥想训练”，击败了当时的Ti8冠军OG。谷歌的AlphaStar在面对星际争霸2的顶级职业玩家时也表现出了碾压的态势，我们每个普通玩家也尝到了“电脑[疯狂]”的痛苦。
2019年，OpenAI曾经在只允许部分英雄选择的限制下打败过OG。
但这些“败”是不一样的。要理解GTS的AI驱动Sophy是什么意思，首先要搞清楚Sophy和它简单的“AI你跑不了”的区别。
对于过去赛车游戏中的AI来说，虽然呈现形式都是非玩家控制的“代理”，但传统意义上的AI驾驶员通常只是一组预设的行为脚本，并不具备真正的智能。
传统AI的难度设计一般都是以“不正当”的方式实现的。比如赛车游戏，系统会尽可能的弱化甚至消除AI汽车的物理模拟，让AI汽车需要处理的环境参数比玩家简单很多。
制造更难打败的AI敌人，就像RTS游戏里的AI通过暗中作弊来窃取经济暴力，让AI车在不被察觉的时候悄悄加速。
所以对于有一定水平的玩家来说，赛车游戏中的传统AI在行为逻辑和策略选择上几乎没有参考价值，更别说职业赛车游戏玩家了。
Sophy和AlphaGo一样，在通过深度学习算法模拟人类行为的过程中逐渐变强:学会驾驶，适应规则，战胜对手。
这种AI带给玩家的完全是“公平竞争中被打败”的体验。在被Sophy击败后，一位人类驾驶员给出了这样的评价:“(Sophy)速度当然快，但我觉得这个AI有点超出了机器的范畴...它似乎具有人性，做了一些人类玩家从未见过的行为。”
这不免让人联想到AlphaGo，它改写了人类对围棋的理解。
相对于围棋这种高度抽象、信息透明的游戏，加入深度学习AI后，对于游戏维度更多、计算复杂度更高的电子游戏，已经很难保证“公平游戏”的理念。
比如2019星际争霸2中对战的AlphaStar，基本上没有产生什么新的战术思想，只是无限学习了人类玩家的战术，然后通过精准的多线操作取得胜利——即使AlphaStar的APM被人为限制，没有无效操作的AI的高效率也不是人类能比的。
这也是为什么，在AlphaStar与人类职业选手的对决记录中，当AI在波兰以“三线闪猎”的不朽表现击败幽灵的MaNa时，并不服气的MaNa在赛后采访中表示“这种情况在同级别的人类游戏中是不可能发生的”。
AlphaStar用猎人的“逆克制关系”对抗MaNa的不死部队。
同样，《GT赛车》是一款模拟赛车游戏，复杂度和《星际争霸2》一样。
在职业赛车选手眼里，赛车运动最基本的要素路线、速度、方向，可以分解成无数微小的反应和感受，车辆的重量，轮胎的打滑，路感的反馈...每次转弯都可能有一个绝佳的油门开度，只有顶尖车手才能触摸到“操控”的感觉。
从某种意义上说，这些“操控的极限”当然可以用物理学来解释，AI所能把握的范围显然大于人类。因此，Sophy的反应速度受限于人类的同等水平，索尼为它分别设定了100毫秒、200毫秒和250毫秒的反应时间——而人类运动员在练习后对特定刺激的反应速度可以达到150毫秒左右。
毫无疑问，这是一场比AlphaStar更公平的战斗。
苏菲学到了什么？
与Sophy的许多AI前辈一样，它也使用神经网络等深度学习算法来训练驾驶技能。
Sophy在训练环境中的不同行为会有奖励或惩罚——高速前行是好事，超车更好；相应地，出界或过弯时撞墙是“不良行为”，AI会获得负反馈。
在由数千个ps4串联而成的矩阵中，Sophy经历了无数次模拟驾驶训练，期间她更新了自己对GT赛车运动的知识。从一个不会开车的“宝宝”到在赛道上开车，Sophy花了几个小时；一两天后，从基本的“内外”车道开始，Sophy已经学会了几乎所有常见的赛车技巧，超过了95%的人类玩家。
索尼人工智能部门为苏菲提供的“训练场”
然而，赛车不是一个人的游戏。即使Sophy在去年7月的没有其他赛车的计时赛中能够超越人类顶级选手，但在真正的多人游戏中，Sophy仍然需要学习与对手对战，了解其他车手的行为逻辑。
所以索尼AI部门的研究人员对Sophy做了更多的“训练”，比如如何插队超车，面对其他车时如何卡位。最终，索菲甚至被“教育”理解并遵守了赛车比赛中的比赛礼仪——例如，放弃赛车作为慢车，同时避免粗鲁和恶意的碰撞。
在赛车游戏中，即使AI汽车试图避免接触玩家，其实现也只是不自然的躲闪。Sophy所呈现的“游戏理解”是传统依赖脚本的赛车AI无法达到的。
到6月10，苏菲已经可以在正式比赛中击败人类顶尖选手。
索尼邀请的四位人类车手，包括GT锦标赛三冠王宫本拓真。
比如龙之径的第一场比赛。作为GT赛车运动的驾校尾，每一个GTS玩家应该对这条赛道(以及DLC中的“汉密尔顿挑战赛”)都相当熟悉。经过上万小时的训练，排名第一的Sophy车手已经能够在绝对最佳路线上保持全程第一。
在第二个比赛日，四个Sophy与四个人类车手的比赛中，AI的优势进一步扩大——几乎碾压了最顶尖的人类选手。
如果我们只是在路线选择和判断上比人类强一点，用更稳定的过弯积累圈速优势，可能也不是什么大事。
然而，研究人员认为，Sophy几乎没有利用其在圈速上的绝对优势来摆脱对手(即AI是非人类“硬实力”中更强的一部分)，但它在理解游戏方面也超越了人类玩家，例如预判对手的路线。
在《自然》杂志论文引用的案例中，两名人类司机试图通过法律封锁干扰两个索菲的首选路线。然而，Sophy成功地找到了两种不同的轨迹实现超车，使得人类的阻挡策略走到了尽头，Sophy甚至可以想出一种有效的方法来扰乱后方车辆的超车意图。
索菲也被证明能够在模拟的索尔特赛道(又称勒芒赛道)上完成一个经典的高水平动作:快速驶出前车尾部，增加对前车的阻力，然后超越对手。
更让研究人员惊讶的是，Sophy还炮制了一些非常规的行为逻辑，听起来就像AlphaGo使用了一种新的刻板印象。通常赛车手被教育过弯时“慢进快出”，负荷只在两个前轮上。但是苏菲不一定会这样做。它会在转弯时选择性刹车，让其中一个后轮也承受负荷。
现实中只有F1的顶级车手，比如汉密尔顿和维斯塔潘，在尝试使用这种三胎快速进出的技术——但是Sophy完全是在游戏世界里自学的。
在与AI的对抗中失利后，这位三次获得GT冠军的车手表示，“Sophy走了一些人类车手根本不会想到的赛车路线...我觉得很多驾驶技术的教科书都会被改写。”
“为了更好地了解人类”
与以往电子游戏中出现的高级AI玩家(如AlphaStar)不同，Sophy的研究显然具有更广泛、更直接的现实意义。
J.参与《自然》杂志这篇论文写作的斯坦福大学教授克里斯蒂安·格迪斯(Christian Gerdes)指出，Sophy的成功表明，神经网络在自动驾驶软件中的作用可能比现在更大。未来，这个基于GT Racing的AI将在自动驾驶领域提供更多帮助。
索尼AI部门首席执行官Hiroshi Kitano也在一份声明中表示，这项AI研究将为高速机器人和自律驾驶技术的研发带来更多新的机遇。
索菲项目官方网站介绍
但是，如果我们把目光转回GT赛车本身，Sophy的出现对于大众玩家和职业车手来说也有着重要的意义。
正如文章前面提到的，在市面上大多数现实赛车游戏中，“传统AI”已经是一个完全不能给玩家带来任何乐趣的东西了。这种基于不公平条件的人机对抗，与赛车游戏开发者希望带给玩家的驾驶体验背道而驰，人类玩家无法从中得到任何教训。
在索尼AI部门发布的纪录片中，“GT赛车之父”山内和典(kazunori yamauchi)表示，开发出无与伦比的AI可能是一项伟大的技术成就，但对普通玩家来说可能不是直截了当的乐趣。
因此，山内承诺，在未来的某个时候，索尼将把Sophy带入3月份发布的GT Racing 7。当Sophy能够更好地理解赛场上的环境和条件，并判断其他车手的水平时，这样一个智能优雅的AI可以在与人类比赛时为球员提供更多真实的快乐。
在虚拟赛车游戏逐渐“小圈子化”的今天，很多厂商都无力面对纯新玩家的入门体验。或许一个AI老师的存在，有机会给虚拟世界中的虚拟驾驶带来更多乐趣，就像GT赛车4的宣传片标题所说的“体验汽车生活”。
这可能是一个基于游戏的AI能给玩家带来的最重要的东西——正如kazunori yamauchi对Sophy项目的评论，“我们不是在制造人工智能来打败人类——我们追求人工智能是为了最终更好地理解人类。”
索尼赛车AI登上《自然2》封面据英国路透社2月9日伦敦报道，索尼周三表示，它创造了一个名为GT Sophie的人工智能(AI)智能体，可以在——PlayStation平台上的模拟赛车游戏GT Racing中击败世界上最好的车手。
该公司在一份声明中表示，为了让GT Sophie为这款游戏做准备，索尼的不同部门提供了基本的人工智能研究成果、超现实的真实世界赛车模拟器，以及大规模人工智能训练所需的基础设施。
报道称，去年7月，人工智能首次与GT赛车的四位顶级车手进行了比赛。它吸取了这次比赛的经验，在当年10的另一场比赛中击败了人类车手。
这种人工智能的设计团队的领导者、索尼人工智能美国公司的负责人彼得·沃曼(Peter Warman)说:“我们花了大约20台PlayStation游戏机同时运行了大约10到12天，才训练出‘GT苏菲’从零开始达到超人的水平。”
报道指出，尽管人工智能已经在国际象棋、麻将和围棋比赛中击败了人类，但索尼表示，掌握赛车驾驶技术的难点在于，许多决策必须实时做出。
据悉，索尼的竞争对手微软最近斥资近690亿美元收购了动视暴雪。微软一直在利用游戏，通过不断为人工智能模型提供新的挑战来提高人工智能。
报道称，《GT赛车》是一款模拟赛车电子游戏，于1997年问世，销量超过8000万套。
索尼希望将学到的东西应用到其他PlayStation游戏中。该公司表示:“有许多游戏可以对人工智能构成不同的挑战，我们期待开始解决这些问题。”
索尼赛车AI上了《自然3》的封面。还记得索尼前几天公布的重要AI消息吗？近日，索尼官方宣布，其研究人员开发出了一款名为“GT Sophy”的AI驱动程序，可以击败人类顶级车手获得冠军。
据悉，索尼使用了一种叫做强化学习的异构方法来训练“GT Sophy”。它的本质是不断试错，把AI扔进一个没有指令的环境，达到目标就能获得奖励。
索尼研究人员表示，他们必须精心设计奖励，例如微调碰撞惩罚和调整各种目标的优先级，以确保AI的驾驶风格足够具有侵略性，而不只是在路上欺负对手。
在强化学习的帮助下，AI只需要几个小时的训练，就已经适应了在赛道上比赛。而且一两天的时间，训练数据比95%的司机都快。经过45000小时的总训练，AI在索尼PS5的游戏GT Racing中取得了惊人的成绩，击败顶级人类车手已经不成问题。
索尼用AI测试了三个顶尖的电竞车手，在计时赛中没有一个能打败AI。而他们也从AI比赛中学到了新的战术，学会了AI路线，掌握了更好的入弯时机。
索尼目前表示，正在努力将GT Sophy整合到未来的GT赛车游戏中，但没有提供任何具体的时间表。
结合之前索尼造车的各种消息，这个AI也有可能用在现实世界汽车的自动驾驶技术上，前景可谓非常乐观。