在移动网络、云计算、人工智能等技术发展的驱动下，直播成为当今时代的一个电商新物种。而该领域发展至今，无论是从量级上，还是技术上，作为行业中的佼佼者——淘宝直播，一直以来，都备受技术人的关注。
在
阿里文娱2019双11猫晚技术沙龙在中国，来自桃西科技部的高级无线技术专家孙泰带来了淘宝直播的主题共享。从双11的现场，我们可以看到网上直播的趋势（强大的实时互动，内容电子商务），探索网上直播电子商务互动（低延迟，联麦和电子商务营销AI互动）），以及电子商务直播的未来思考（5G+直播）。
与此同时，Chang Suntai还从以下几个角度深入阐述：
一。双11电子商务直播的表现及其在内容生态学中的定位；
2。在淘宝的实时互动实践中，直播本身就是一个特别强大的互动场景，基本上是将离线场景恢复到在线场景的过程；
三。分享最近的想法，特别是在5G到来之后。
作者|
孙泰，桃思科技部高级无线技术专家
主编|图敏
以下是演讲的事实：
双11在淘宝生活2019
2019年淘宝直播的表现
从数字的角度来看，直播并不是一个以网红为主的东西，许多商家，特别是天猫品牌商家，将直播视为日常运营工具，双11时期的整体覆盖率非常高，基本覆盖了头部所有品牌，50%的商家正在使用直播工具作为营销场景。从行业覆盖的角度来看，目前购物也相对丰富；此外，直播还有乡村广播计划，将深入农村地区，因为现在整个网络覆盖仍然相对较好，乡村广播原址的直播直接推动了整体经济发展。
今年，该行业的直播覆盖率进一步提高。淘宝直播通过开放的方式支持集团多个业务的直播场景。今年Cat晚间直播由开放式直播平台支持。
你看到淘宝住在其他地方吗？例如，Weibo。事实上，李家奇的工作室将在Ari内部的所有平台上播放。李家奇的微日志也有很多粉丝，可以很容易地让微日志的粉丝更加强大，因为淘宝直播是一个非常强大的实现平台。作为基本的直播平台，我们覆盖了Ali整个系统的应用通过SDK和小程序的方式。
新形式的内容电子商务
回到电子商务直播，电子商务直播本质上是一个商店的概念。首先是人，即用户和直播，另一个是直播，基于实时互动视频流；这里有很多事情，最直接的是问什么是直播，现场直播将看到评论反馈给用户，主播将他的权利发送给用户。此外，商品，直播商品中心，我们基于淘宝市场进行选择，整合供应链，事实上，我们还发现，例如，李家奇，Via的摄影室，抓取是为了赚钱，这是一个强大的商品实力的表现。
淘宝在线电子商务互动探索：
低延迟，联麦和电子商务营销AI互动
淘宝直播业务架构
在淘宝直播的整体业务架构中。首先，我们需要澄清锚点是如何进入的，重点是代理商如何进入，商人如何进入，另一个是商品中心，即，如何做好选择，选择好的类别，商人出售自己的商品，但如果是Netred，则需要连接商家和锚点；中央控制站是广播工具和直播站点的管理工具，包括PC移动推进器。拥有和管理公里数。
中间是直播平台，也是直播的核心能力。其中，实时开放平台是我们打开实时互动和实时SDK，包括猫晚间互动着陆在手中。此外，直播的稳定性，这一点非常重要，纸箱，成功率，二次开放率，稳定性问题调查，如天津节点问题，可以快速定位和解决。质量平台是我们的直播业务和技术监控平台。
上层是分布。增长非常重要。我们有一个数据驱动的增长平台，可以有效地迭代。此外，锚点还有流量调节和流量激励。这些对某些企业尤为重要。内容分发：一个是搜索，另一个是推荐，特别是现场，与原始视频，图形和商品搜索推荐不同，给我们带来了新的挑战。
直播技术架构
对于淘宝直播的技术架构，底层是基于Ali直播云的构建，向上推，CDN分发，用户拉过边缘，大多数直播都是类似的架构。也许很多行业都是基于多运营商融合方案，我们和Ariyun深度结合，可以在完整链接上做更强的优化，这将在后面提到。中间层的左侧是生产平台，包括所有端推工具，中间是各种基于互动渠道建设的互动权益游戏方法。在live studio中，我们还定义了两层，即播放器和交互式图层。基于交互式层实现开放式交互式播放方法，提供交互式数据能力和live studio的播放组件。每个场景都可以深度定制。目前，我们正在收集中。集团已经开放，我们希望将来有机会进入这个行业。
基础营销中的互动权利和利益
营销互动游戏，事实上，我们现在的互动比这个数字更复杂，现在的游戏是基于任务和基于游戏的，做一个简单的任务锚点可以得到。
例如，如果猫晚上参加红队PK，我赢得抽奖，如果我不赢得，我就赢得了抽奖。这是一套基于淘宝直播中驱动的任务行为的互动营销权益游戏。基础是亲密度及其有效性。因此，我们定义现场亲密度的方式基于主持人和用户，例如，用户是Via的粉丝，但对李家奇来说可能是一种新粉，更强调用户-锚点关系。用户如何增加分数的核心也是与锚点交互，这比在直播室中下单，频繁返回，观看时间，评论交互等更好。基于亲密度得分，我们可以灵活地调整运营策略，例如合格。锚点也可以差异化操作。平台发现新锚点，配置不同曲目以及筛选来自不同曲目的不同新潜在锚点是一个重要的场景。
结束智力互动练习
第一个是交互式频道，可以在几秒钟内推到每个人的前面。通常有两种模式，基于房间消息和流量SEI。基本上，SEI可以实现声音和图片同步的良好体验，这是与内容交互时更重要。
另一端是媒体智能基础能力，MNN是Tao部门的开源推理引擎，这种性能非常高，即当前端侧AI处理，阈值已经很低。在最后进行了深入探索智能。例如，今年的手清洁信息推荐系统流端，用户行为的实时感知在反馈算法中，推广也非常好。
例如，笑红包的方法是去年猫夜的方法，两颗星在开玩笑脸PK；端到端匹配用户的表达，正确的单词会增加1分，错误的单词不会得分，这是一种尝试在猫夜，效果也很好。
另一个是如何制作游戏，因为不可能单独开发每个游戏。我们有一个多媒体材料编辑平台。从工程的角度来看，端到端的收集，推理，渲染和编码是目前的计算问题。
此外，该算法在面部识别，姿势识别，表达识别，姿势识别等方面已经成熟。基于一组跨平台渲染脚本，您可以在每个平台中实现渲染播放。例如，如果树在摄影室中变得越来越高，它可能是一个红包。我们可以通过回放来定义触发树的状态，以获得赞美点或评论，并实现在某个状态下启动红包的效果。这使您可以快速使用一些有趣的技巧在线。
低延迟淘宝直播的尝试我们直播的多样性差异很大。李家奇和魏亚的现场广播公司有很多人，但更多的腰围和尾巴不是那么大，整体丰富度会很大。例如，会议可能会延迟30秒，但对于电子商务互动，实时互动很重要。我们也非常关注中小型锚点的经验。
拆解直播整体延迟的链接，主机推过手机，收集图片（包括渲染预处理），然后编码，打包，发送到推送缓冲区，最后推到云端。用户拉播放侧可能需要做后处理，最后渲染。在整个过程中，延迟约为7秒。基于传统TCP协议的实时广播基本上是延迟。核心在TCP协议中。底层卡的安全性必须需要大约3-5个缓冲区。这受到复杂网络场景的限制。
如何优化低延迟？
关键是播放缓冲区，如何做拥堵控制问题，理论上做基于RTP的协议，如果网络很好，理论上可以在1秒内做一次延迟，所以第一步我们基于FLV-TCP协议取代RTP，RTP基于UDP流媒体传输协议，在流媒体场景适应将是更好。
拥挤控制对于确保广播更平滑非常重要.WebRTC在拥挤控制方面具有良好的实现。我们已经进行了大量修改并将一些功能移植到我们的系统中.NetEQ是webrtc中音频处理和控制的一个非常核心的模块。观看直播可能对声音比对图像更敏感；因此，我们实现类似webrtc的拥挤边缘控制算法，包括FEC，NetEQ等，根据用户网络情况决定下行链路策略并控制是否丢失帧。最后，我们在Karton速率保持不变的前提下将延迟减少到1.5秒。之前向锚点询问问题可能需要7秒听到回应，但现在可能需要2秒才能听到回应对互动率有很大影响。
此外，连梅，如两个实时PK，这里有许多不同的实现方式，在融合方式方面，有端侧和云侧，各有各的优点。
我们基于端到端的融合，因为主机生产侧的手机仍然很好，端部的整体速率控制在图片控制上也会更加灵活。第二点是连美与直播的整合。一般来说，当Lianmei启动时，大部分直播将被中断，切换到另一个配电系统，并从传统的flv协议切换到呼叫协议。这将导致用户屏幕发生一些变化。我们已经实现了锚定和连接小麦的整合技术，我们可以实现无缝切换的经验。它可以被理解为一个大型会议场景，所有人都通过级联代理以Lianmei的形式连接到直播，以及对于锚点和对于锚点。对于Lianmei，它是分发图片Lianmei人之间的一次，并直接与锚点合并流。这对用户和锚点都不敏感，有点类似于视频会议。这也是对我们现场的探索，特别是超低延迟直播。
刚刚提到的配电系统，目前的主流直播技术主要基于CDN，CDN配电系统，更适合图片和视频，边缘源中心，1级可追溯性，这不一定适合直播，特别是大量的冷流直播，将导致每个用户返回中心，将在不同级别的节点上变得非常紧张。在这里，集中分发模式发挥作用，特别是在5G到达后，大码率的传输可以在本地卸载，用户在上海和杭州的用户，上海直接去拉杭州的节点，整体配送效率将更高。
实时内容理解
直播主要由两部分组成，一部分是你看到的，第二部分是你与主播互动。例如，用户想问主播，衣服怎么样，是否有折扣，以及是否再次谈论婴儿8号。这种用户评论很常见，但实际上大锚点回复每个用户为时已晚。所以我们做了一个自动回复的助手，效果非常好，用户正在评论表达，大多数意图很明显，例如婴儿8，可以重新讨论，现场助手可以识别，然后刚刚向用户提到了剪辑。帮助锚点提高用户的操作效率，整体购买转换率也提高了3%。事实上，不仅智能回复，还有欢迎和其他功能，基本上是使用AI方式来提高主机接收访客的能力。
另一个是商品的识别，直播的分布实际上与文本的传统含义不同，文本被更好地理解，因为有文本，可以分析这个内容是什么，短视频也可以做一些深刻的语义理解，结合标题标签已经是用户行为，也做得好分布。
直播不同，更实时，更具技术挑战性。电子商务直播的特点是解释商品，商品内容构成互动的核心，大多数用户也购买商品。我们做了很多今年的现场内容理解，其中之一是商品识别。例如，我们的实时观看功能，实时轴上某个点所说的内容，例如衣服中的这一点，用户可以快速跳转到他们想要在直播室中看到的内容，改善用户的体验；同时，结构化内容可以更好地分发直播，这相对容易理解，以前的大部分都是基于人与锚点的匹配，现在可以实现人与商品的匹配对于直播的分发非常重要，也是一个大跃进。
具体实现主要是商品检索过程。广播公司有一个婴儿口袋，即现场广播解释的商品。事实上，口袋里只有少数商品可以检索和匹配。因此，当商品实时广播时，我们将在客户中保存商品的主图片，并且在确定时，我们将拦截当前的实时图片，先挑选人，然后拆分和匹配。但是，它无法解决所有问题，例如珠宝，或其他奇怪且难以识别的商品，例如获得手，庇护等，这是非常具有挑战性的，因此我们也试图考虑引入ASR，尝试进一步了解正在谈论的内容，并进一步结构化地理解当前直播的内容。
5G+直播AI，电子商务直播的未来思考
5G的特点，对于多媒体，低延迟和大带宽是最直接，最广泛的连接可能对物联网产生更大的影响。2019年初，我们与中国电信建立了联系，尝试5G实时广播进行互动直播体验。年初，5G并没有像现在这样受欢迎，因此，今年与电信的合作是在淘宝直播中进行高清观看，并为大多数当前用户带来普遍利益。考虑如何在当前4G手机（如4K）下更好地显示5G HD图片，我们实现了现场录音室可以支持4K播放，同时支持放大和缩小。日常用户移动电话可以实现高清观看和细节放大。我们已经测试了化妆品，并且可以清楚地看到锚点解释的细节。经验也很好。
此外，对于5G到AI的应用，其中之一是直播的内容理解和渲染.5G边缘计算可以提供更大的计算能力。为了理解和呈现实时广播，可以在云上实现一部分计算能力。从理论上讲，5-20毫秒的边到端延迟只是观看帧的时间延迟。它有机会实现更强的直播互动体验，包括直播个性化。可以玩类似的游戏。这些基于边缘的基站可以实现，例如当您在杭州银泰购物时，您可能会看到与其他人不同，您将从边缘重新呈现银泰相关内容。银泰，也许包括银泰广告。这个未来的5G是可能的。