380万播放量，也许是全网最火的机器学习视频

“秋名山上行人稀，常有车手较高低。如今无人车当道，全是 AI 老司机。”且问 AI 老司机表现如何？可灵活转弯，控速自如：
https://img-blog.csdnimg.cn/7666fb11907347aab28a076e7f77cce3.gif 可行云流水，沿最优路线过弯：https://img-blog.csdnimg.cn/1eb7ec9933574d74abe8525c8ea8dee0.gif 更可多次打圈，绕多少下也不在话下： https://img-blog.csdnimg.cn/a125470a728f46b8ad0ab5d15a171a01.gif这场竞速赛事，主角确实是一群 AI 老司机，人类全程只能看，也没有什么遥控器参与。更准确地说，它们是历经千万次虚拟练车训练出来的人工智能模型。这些模型所角逐的赛事也在业内颇具盛名，这就是亚马逊云科技举办的——Amazon DeepRacer League。
最多开发者参与的自动驾驶联赛2018年，亚马逊云科技萌生举办 AI 算法大赛念头，让更多人了解相关技术，甚至入门成为从业者，Amazon DeepRacer League 应运而生。活动一开始就面向非业内群体，官方提供了几乎所有参赛软件资源，甚至有教程攻略，参与者甚至无需花钱购买实体小车，可以先在云平台上 3D 赛车模拟器，训练自己的自动驾驶算法。https://img-blog.csdnimg.cn/b5a5bb7e8c834d499cfe50b94bd19fc7.gif 入门后，参与者即可报名参加每个月的线上预选赛。如果你冲入全球前64强，就能获得线下联赛参赛资格——和世界各路高手实地 PK 你的模型。https://img-blog.csdnimg.cn/8cd8682ef8ce4f8a9ccd3e10341f44ad.gif虽说门槛低，比赛奖金也却很高。冠军将获得10000美元的奖金，亚军则奖励5000美元，季军2000美元。低门槛加上高额奖金，玩的还是前沿技术，比赛自打举办，吸引了全球不同背景的人们关注。参与者中，既有硅谷全栈开发人员、飞行员，来自新加坡、加拿大银行员工，还有中国大学生……不同背景参与者加入，不仅体现比赛多元性，让机器学习技术为更多人所知，同时，也为比赛增添许多有意思的小片段。比如 Amazon DeepRacer TV 2019年决赛中，一位中国台湾小哥逆转获胜后，赢得冠军，但发表获奖感言时，他却用了中文表达自己的心情，整得英语主持人一时不知道怎么接话… https://img-blog.csdnimg.cn/0bde8a1bdb1441bdaf06c193dc08daa9.gif值得一提的是，今年DeepRacer也开始在国内举办面向中国开发者的中国挑战赛，奖品同样丰厚，值得关注与期待。https://img-blog.csdnimg.cn/bcad4acfe2104fb0bcb43d66a7c09473.gif如何驯服一只无人车？从赛场回顾技术理论，实际上，Amazon DeepRacer 活动背后的基础即简单又前沿。如何理解这句话？不妨先从一辆自动驾驶小车构造展开。Amazon DeepRacer 的自动驾驶小车有代际区分。一代车是参赛主力，核心包括一个 Intel Atom® 处理器，一个四百万像素1080p分辨率摄像头，一个高速 WiFi 以及 Intel OpenVino 计算机视觉工具套件。一代车主要用于竞速比赛，通过视觉识别判定赛道，完成比赛。https://img-blog.csdnimg.cn/img_convert/d2ce911d7654db687fa7da655fe45731.png更高阶的是二代车 DeepRacer Evo ，配备立体摄像头和激光雷达，可用于可进行追逐赛与避障赛。如果熟悉自动驾驶，你可能也能看出这一配置可谓“朴素”，却足够体验自动驾驶的乐趣——这是因为 真正赋予小车自动驾驶灵魂的，是算法与模型。https://img-blog.csdnimg.cn/b20164ed8bb94aed935ae6fc03bb75df.gif同当今马路上的自动驾驶车一样，Amazon DeepRacer 同样使用到机器学习门类下的一门技术：强化学习（RL）。该项技术兴起不过数年，却算得上是近些年人类最重要的技术突破之一。2016年战胜李世石的 AlphaGo 背后就是该技术发挥作用。强化学习原理不难理解，就是一种“驯兽师”机制，也可以理解为「巴浦洛夫的狗」原理。以“小鸡啄纸”为例：如果我们想训练一只鸡啄粉色纸片，那么，每当它啄到粉色纸片时，就奖励给食物。经过一番训练后，这只鸡就一直能正确找到粉色纸片了。https://img-blog.csdnimg.cn/ba723e55373c4cda96e53b0e5bcc207f.gif当然，奖励无人小车和电脑不能用食物，而是用它们能懂的“奖励函数”（ Reward Function ）。对于 Amazon DeepRacer 来说，开发者可以设置一个超级简单的奖励函数，它只有两个参数：all_wheels_on_track 表示四个轮子是否全在赛道内， progress 代表当前完成进度。https://img-blog.csdnimg.cn/img_convert/f7f01a977018fa1018f45e1a5cd21e42.png具体到代码上，如果有车轮不在赛道上发生一次，就扣除奖励函数，反之，就一直以小车走过的进度来奖励它。奖励函数的值越大，就说明训练越成功，当奖励函数为负值时，任务失败。https://img-blog.csdnimg.cn/2f179c84defb49ed9db127de1e8667c8.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAY292ZXJfbGlhcg==,size_20,color_FFFFFF,t_70,g_se,x_16如果想让小车更聪明，不要在跑道上拐来拐去，我们还可以把函数设置得稍微复杂一点，以小车偏离跑道中心虚线的距离作为一个参数。距离越小，则奖励越大。训练过程中，小车通过摄像头等记录自己的位置，不断调整车速和行驶方向，当奖励函数最大化且稳定后——“驯兽”就完成了，恭喜，你已掌握强化学习的根本原理。https://img-blog.csdnimg.cn/img_convert/e644f1359447d106934192df6cf70e2d.png如何参赛？比赛热血好玩，还有奖金可拿，原理易懂，现在，你是不是迫不及待想玩玩？参与方式很简单：只需注册一个亚马逊云科技账户就行。登陆账号进入 Amazon DeepRacer 控制台。在构建模型之前，先在车库配置一辆自己的虚拟赛车。https://img-blog.csdnimg.cn/img_convert/443ee3d5575c63d148e4cbed903d25c9.png给它起一个炫酷的名字（名字不可以更改，千万不要取个“ test ”就完事了），选个你喜欢的颜色并根据你要参加的比赛类型配置摄像头。创建好专属虚拟小车后，按照提示一步步创建模型：https://img-blog.csdnimg.cn/img_convert/81c8482153369120509c3e30522ddb87.png官方还提供虚拟环境，降低上手门槛，让小车在虚拟世界中训练，完成后，就可提交模型选一场比赛参加了！https://img-blog.csdnimg.cn/img_convert/cd383ea40b3f607003e54af3c713f106.png参与线上竞赛不需要实体小车，直接参与即可。等你在虚拟练车领域崭露头角后，也能可以获得亚马逊云科技免费赠送的实体小车，价值300美元。当然，不差钱的话，也可直接在官网购买：https://img-blog.csdnimg.cn/img_convert/71c1b46ab0146c3d89527c6311460631.png买小车虽说要花点钱，不过确实更添玩乐趣味，你可以在家里复刻赛道，随时进行练习。据说，还有人为了拿个好成绩直接换了大房子，在自家地下车库里复刻了赛道练习（手动狗头）——官网也贴心地提供了在家搭建赛道的教程：https://img-blog.csdnimg.cn/img_convert/dd8484619b0a0f1131d7e97fbd7f6cba.png最后，划重点，提供一些薅官方羊毛机会。如果你是新用户首次参加 Amazon DeepRacer 项目，第一个月可以获得10小时的免费训练时长以及5GB的存储空间。除了免费时长，Amazon DeepRacer 还提供了免费的视频教程教你强化学习的基础知识、比赛入门指导。https://img-blog.csdnimg.cn/img_convert/6e3e8b25da586860733e35c895fc2a60.png比赛技巧也是重点，官方网页上连单圈记录保持者写的攻略都要来了：https://img-blog.csdnimg.cn/img_convert/f253576d15f4b9ac39847c5d21a7e3f1.png所以，不论你是技术小白还是有经验的机器学习从业人员，都可以放心大胆地参与进来。赛车游戏让更多人入门 AI 如前面所说，亚马逊云科技2018年就想以游戏活动方式推广 AI 算法，后来才有 Amazon Deepracer ，此举目的，在于面对 AI/ML 发展势头汹涌，这家大厂期望让更多人了解相关技术，进而参与其中。就拿 Amazon Deepracer 来说，为扩大参赛人群，亚马逊云科技还发起一项针对16岁以上高中生和大学生的学生比赛，注册无需信用卡即可参与。此外，如果完成所有学习模块，在所有课程测试中获得至少80%分数，又在学生联盟中单圈成绩优异，还可以获得一份奖学金。前500名的学生，还将获得亚马逊云科技和英特尔的技术专家指导，为期12个月。https://img-blog.csdnimg.cn/img_convert/22131ed0ca067a26c7af19a755847b85.png>不止于 Amazon DeepRacer ，亚马逊云科技为让不同背景的人都可以了解并入门机器学习，在方方面面都有所动作。比如，提供1000万美金的亚马逊云科技 AI&ML 奖学金计划；比如，发布无代码机器学习图形界面 Amazon SageMaker Canvas ，帮助零机器学习经验的企业级用户解决业务问题，让各个业务背景的人都能上手。再比如，面向更多开发者，提供免费算力的机器学习“实验室” Amazon Sagemaker Studio Lab ……相信只有越来越多人了解并上手 AI/ML 相关技术和产品，这一兴起不过10年的浪潮才能真正释出价值。