乐视如何通过跟进开源技术的更新来应对日益庞大的数据量的处理？

乐视从年底破百亿的“芈月传”和有毒的“太子妃”到年初举报快播的“背锅侠”，几乎赢得了全民的关注。现在看来游戏才刚刚开始，最近乐视又忙着升级，换Logo换域名，这意味着乐视已经准备好火力全开，进入全球市场。小编认为，乐视之所以如此雄心勃勃，是因为它背后有大数据作为支撑，未来大数据也将在乐视全球化战略中发挥关键作用。从内容上看，乐视大数据打造的超级IP实力确实很强。2013年，乐视首次利用大数据赢得宣传档案，对即将上映的《小时代》进行了最准确的预测和分析，开展了美丽的电影营销，开启了大数据电影营销模式。后来，国内影视开始掀起IP浪潮，2015年是IP炒作最热的一年。年底，乐视给用户提供了令人满意的答卷，其自制的《十年剧王》《芈月传》以全网200多亿播出量创下纪录。网络雷剧《太子妃升职记》，目前全网播出量已接近15亿。大数据 超级内容IP为乐视进入全球市场注入了无限动力。然而，这并不是重点，“内容 乐视生态是乐视生态的亮点。《米月传》播出后，乐视还推出了超级电视、智能手机、米酒、手机壳、经典台词版《米月传》手机铃声等个性化产品，并与天猫合作打造《米月传》衍生品旗舰店。《米月传》手机游戏也发布了。请注意，这是360°乐视超级IP形成了一个完美的闭环，没有死角的IP布局。假如说IP是软件，那么乐视云就是硬件。在大数据时代，最重要的是“云”。乐视云是一个专注于视频领域的云计算平台。2016年，乐视云与戴尔达成两年全球战略合作，与世界领先的大数据运营商Equinix合作，法国最大的电信运营商Orange、澳大利亚最大的电信公司澳大利亚电信、世界领先的综合国际电信公司西班牙电信、世界顶级通信方案运营商香港和全球电信有限公司，打破数据岛，加快视频生态系统建设，未来乐视大数据触角将延伸到更多的行业。再看市值，乐视网成立于2004年，2010年上市，当年市值只有50亿。从市值来看，乐视成立于2004年，2010年上市，当年市值只有50亿。五年来，乐视依托大数据平台，深入培育互联网视频、影视制作、智能终端、电子商务等垂直领域。到目前为止，总市值已接近1100亿元。不过，看看乐视这次全面升级冲击全球的姿态，看来乐视的故事才刚刚开始！白德新目前正在从事乐视超级电视的数据挖掘。他说，最初的业务无法适应当前的业务发展，因此需要进化。在构建一切时，分析数据的平台，为乐视的超级电视提供数据挖掘服务。如何从最初的业务发展到现在，包括在超级电视上进行实时分析和用户离线挖掘，并通过数据挖掘为许多业务部门提供数据挖掘支持。白德新提到自己是谷歌的粉丝，目前正在进行第一批超级电视数据挖掘。云视频找到播放机时，当时是屌丝，只有几万个数据，当时数据也比较少，做了一些开机数等日常数据。在业务中做，在数据节点中做计算。　　随后性能越来越低，因为数量越来越多，当时每天的数据量，当时感觉很大，每天只有几千万行数据。在这个时候，我觉得我需要尝试一些新技术，所以我使用Cassandra作为存储。存储日至，简单处理切割后放入其中，使用Hodop计算，并将结果插入MySQL。每天计算数据是你自己的中间数据。一些报表可以出来。数据组合很多，刚开始只是盒子和应用，后来有一些视频播放内容，开始尝试分析MySQL和Kettle的日常数据。但是做了三四个月，又换了，用了Kafka、Storm、Hodoop、Hpase、Hive、Oozie、Sqoop，唯一的修改是有一些大的，跟随开源社区进行相应的升级，并尽可能与社区保持一致。　　乐视网大数据的起点　　白德新说，一开始只有一个数据分析师抓住了一些数据，这是一个分析。电视盒，包括电视启动，看什么电视节目，因为乐视网做视频内容，点击什么视频节目，通过心跳看视频节目多久，三分钟心跳，放在终端记录下来。播放有开始，有心跳，电视比较好，但是盒子里有些用户看着直接断电，结束就没了，只能从心跳挖回来。　　自从超级电视发布以来，盒子的价格一开始比较贵，没人买。后来盒子卖了299，卖了很多。数据量按三分钟心跳计算。数十万用户观看视频。他们有心跳，播放视频和心跳。数据量特别大。没有办法。乐视当时上了四台。四个数据，看怎么发布。然后输出，然后分析。看看有什么问题。　　一个人在做这些事情的时候。然后有人离开了，然后Cassandra就没人了，交接的时候写完了，对系统影响很大。这时没人接手，他走了技术也走了，一个萝卜一个坑，萝卜走了坑不容易填。后来想找个技术比较好的人帮乐视做，但是一个多月没找到了。要继续做系统，数据也在疯狂增长，没有办法去掉Cassadnra，把它放进MySQL。　　另一方面，分析师对乐视有很大的看法。他花了两个多小时。这取决于今天的启动量和昨天的比较，然后根据时间段查看启动量。两个小时过去了。他说系统老死机，我说查询太慢。希望系统能更大。　　现阶段数据量的变化　　白德新自己说，乐视的数据量从年初的三个月翻了一番，现在我写得早一点，每周翻一番。现在每天的数据量是100G，超级电视和盒子卖得很快。从设备行为到用户行为的快速转变。我的计划是多少，卖得更多的人开始考虑商业行动，根据互联网，用户拿着我的盒子看什么，是看电影还是看电视剧，所以这次很多用户行为来分析。现在每周有一个电视版本和一个盒子版本，每周更新一个系统版本，用户是否接受，这些都是乐视分析的。　　另一个是乐视在这里做了一些测试，因为在盒子里，乐视叫UI做一些测试，今天做海报推荐，明天加一个分析，看用户是高是低。　　用户数据增长迅速，没有人。在寻找土豪劣绅开发商帮助乐视解决这个问题的同时，他们必须自己解决这个问题。看数据分析的人，团队从内部调整，数据分析招聘。还有一个比较牛的人是从公司其他部门挖出来的。从今年年初开始，从原来开始。最后换成现在的方式。这是我自己做的，R&D团队有两个人，现在也有两个人。　　新平台通过Kafka建立，通过许多业务系统、点播和第三方，包括一些日志、存储数据和需要分析用户的数据，建立了近半年的新平台。还有一些元数据进行加工和处理。整合后，其实前段所有的请求都在这里。Storme是最后的数据。此外，Hodoop已经更改。数据量大后，更改其他数据库。刚开始选择，公司开始自己做数据库。通过Hodoop和数据服务wad-HOC的构建和处理，实时查询和开放数据平台也进行了查询和报告，为一些实时数据分析系统和门户网站提供数据服务，以及需要调整哪些数据。运营商需要知道四川电信和某电信部门的视频点播量。这些都是内部挖掘的。　　乐视的数据源来自前端，从三到六，所有的数据都在这里。其优点是，随着开源社区系统的升级，数据仍然可以在不影响业务的情况下接收。然后随便操作。稍微处理数据，放入STORE，实时计算数据，然后拆分。现在没有PEED，用户互动就是OEE，把多个任务组合起来，放进去，最后是一个结果，一个业务流程的管理工具。　　数据输出后，通过查询提供给他人，反馈给前端数据。这就是所谓的矩阵业务。这是一个测试。两台4corecpup服务器、6G，用户约38万，有效数据38万。与官网50万对比略差。由于乐视的机械性能比它们差得多。　　当时两个节点做的，一个发送，同步发送，消息格式两种，格式30字节，50字节，200字节。假如30字节38万，其它数据基本在30万左右。这是单台数据。单位近30万。这是乐视的Spout集群，做一些业务拆分。例如，一些数据需要组织、点播和心跳。事实上，有些信息是随机的。虽然它们是连续发送的，但每台机器都会发送并写入数据，例如播放时间、每部剧的播放时间和按时间段计算的数据。　　借用官网的这张图，我用的是0.9。其实标准是一个，但是乐视怕数据丢失，所以做了两个。其实做起来比较简单，复制数据。存储的一些数据，这些没什么好说的，当时做了一些简单的优化，这就不多说了。默认情况下，垃圾被关闭并自动回收。如果你不想让它自动回收，你必须手工处理。这是Sqoop，原始数据都存储在这里，乐视导入集群，乐视用这个来做。当时，我做了一些事情来抽取和整合数据。　　OLD没有写在上面，包括查询，一些数据处理的中间结果，中间结果最终没有，不可能达到使用阶段。　　ROI分析　　数据量每月翻一番。现在不仅如此。乐视原有的架构无法满足新的需求。以前是日报，现在每天都有很多实时数据。Kettle数据集成时间越来越长，使用hadoop-storm方案，不会对数据挖掘产生太大影响，资源稍丰富，集群不足以添加机器，数据每天运行一次，每天晚上12点收集数据生成报告，现在实时查询，时间相对较长，约5分钟。因特尔给乐视推荐了一个，但是对内存要求太高，暂时做不到。现在都是6G内存服务器。支持硬件设备。　　目前还有很多事情要做。事实上，乐视在不同阶段选择不同的解决方案。一开始，一年卖几万个盒子，一开始卖3000个盒子，不可能建十几个节点的数据。人员流失会导致技术流失。与招聘牛人相比，技术储备和内部自荐速度更快。现在招聘也很困难，hadoop圈人少。要小心对待新的业务平台。否则，问题很难解决。这个数据更好，如果前端没有，对业务影响很大。　　数据安全非常重要，乐视有40多个T数据，放在两个备份存储上。服务器多了就爽了，四台不够加八台，计算量可以很快。

以上就是关于乐视如何通过跟进开源技术的更新来应对日益庞大的数据量的处理？的相关介绍，更多乐视如何通过跟进开源技术的更新来应对日益庞大的数据量的处理？相关内容可以咨询我们或者浏览页面上的推荐内容。我们将让你对乐视如何通过跟进开源技术的更新来应对日益庞大的数据量的处理？有更深的了解和认识。