首页 >知识讲堂 >数据分析知识>大数据科学常用工具单

大数据科学常用工具单

2021-01-06 14:04:41 阅读(166 评论(0)

数据科学结合了数学、概率模型、统计学、机器学习、数据仓库、可视化等多个学科,并基于这些学科的理论和技术。在实际应用中,数据科学包括数据收集、清洁、分析、可视化和数据应用的整个迭代过程,最终帮助组织制定正确发展决策的数据科学从业者被称为数据科学家。数据科学家有其独特的基本理念和常用工具。秦陇纪对数据分析师和数据科学家使用的工具包进行了全面梳理,包括数百个、数十个类别和一些网站,如开源技术平台相关工具、挖掘、分析和处理工具以及其他常用工具。欢迎积极传播!数据科学家是视野开阔的复合型人才。他们不仅具有坚实的数据科学基础,如数学、统计学、计算机科学等,而且具有广泛的专业知识和经验。数据科学家通过深厚的技术和专业知识,在某些科学领域解决复杂的数据问题,从而制定适合不同决策者的大数据计划和策略。2016年2月1日,约翰霍普金斯大学Coursera数据科学专业课程等在线课程提供数据分析师和数据科学家使用的工具。数据科学家常用的工具和基本思路,并对数据、相关问题、数据分析师和数据科学家使用的工具进行了综合概述。数据科学家和大数据技术人员的工具包:A.2015年大数据技术平台相关最佳工具,B.总结开源大数据处理工具,C.常用的数据挖掘分析处理工具。A.2015年大数据技术平台相关最佳工具Infoworld在分布式数据处理、流式数据分析、机器学习和大规模数据分析领域选出了开源工具获奖者。让我们简要介绍一下这些获奖技术工具。1.Spark是Apache大数据项目中最受欢迎的,尤其是IBM等重量级贡献者的深入参与,使得Spark的发展和进步迅速。在机器学习领域,与Spark最甜蜜的火花点仍然存在。自去年以来,DataFramesAPI取代了SchemaRDAPI,类似于R和Pandas的发现,使数据访问比原始RDD接口更容易。在Spark的新发展中,也有新的工作流程,可以扩展和优化各种存储格式,更简单的界面访问机器学习算法,改进集群资源的监控和任务跟踪。spark-packages.org网站上有100多个第三方贡献的链接库扩展,增加了许多有用的功能。2.StormStorm是Apache项目中的分布式计算框架项目,主要用于流式数据的实时处理。他基于低延迟交互模式的概念,以满足复杂事件处理的需要。与Spark不同,Storm可以单点随机处理,而不仅仅是微批量任务,对内存的需求也更低。在我的经验中,他在流式数据处理方面有更多的优势,特别是当两个数据源之间的数据快速传输时,需要快速处理数据的场景。Spark掩盖了很多Storm的光,但Spark并不适合许多丢失数据处理的应用场景。Storm经常与ApacheKafka合作使用。3.H2OH2O是机器学习中使用的分布式内存处理引擎,具有令人印象深刻的数组算法。早期版本只支持R语言,3.0版本开始支持Python和Java语言,也可以作为Spark后端的执行引擎。使用H2O的最佳方法是将其作为R环境的大内存扩展。R环境不直接作用于大数据集,而是通过扩展RESTAPI和H2O集群通信等通信协议来处理大量的数据工作。ddply等几个有用的R扩展包已经打包,允许您在处理大规模数据集时打破本地机器内存容量的限制。H2O、Hadop集群/YARN集群或Docker容器都可以在EC2上运行。用苏打水(Spark H2O)在Spark处理数据帧后,您可以访问并行访问集群中的SparkRDS。然后传递给H2O机器学习算法。4.ApexApex是一个企业级的大数据动态处理平台,可以支持即时流式数据处理和批量数据处理。它可以是YARN的原始程序,可以支持流式数据处理引擎的大规模、可扩展和容错方法。本地支持一般事件处理,保证数据一致性(精确处理一次,至少一次,最多一次)。根据Datatatorent开发的基于Apex的商业处理软件的代码、文档和架构设计,Apex可以清楚地分离支持Devops的应用程序开发,用户代码通常不需要知道他在流媒体处理集群中运行。Malhar是一个实现共同业务逻辑的常用应用程序模板,提供300多个相关项目。Malhar的链接库可以显著减少开发Apex应用程序的时间,并提供连接各种存储、文件系统、信息系统、数据库的连接器和驱动程序。并且可以扩展或定制,以满足个人业务的要求。Apache允许使用所有的malhar组件。5.今年2月,DruidDruid成为商业友好的Apache许可证,是一款基于“事件流”的混合引擎,能够满足OLAP解决方案。起初,他主要应用于广告市场的在线数据处理领域,德鲁伊允许用户根据时间序列数据进行任意和互动分析。一些关键功能包括低延迟事件处理、快速聚合、近似和精确计算。Druid的核心是一个自定义的数据存储,使用特殊的节点来处理每个部分的问题。基于实时管理的实时分析(JVM)节点处理,最终数据将存储在历史节点中,负责旧数据。代理节点直接查询实时和历史节点,给用户一个完整的事件信息。测试显示,50万事件数据可以在一秒钟内完成,每秒处理能力可以达到100万的峰值。Druid是理想的在线广告处理、网络流量等活动流量的实时处理平台。6.FlinkFlink的核心是事件流数据流引擎。虽然表面上类似于Spark,但Flink实际上采用了不同的内存处理方法。首先,Flink从设计开始就被用作流处理器。批处理只是一种具有开始和结束状态的流式处理的特殊情况。无论是API(批处理)还是数据流API,Flink都提供API来处理不同的应用场景。Mapreduce世界的开发者在处理DatasetAPI时应该有宾至如归的感觉,并且很容易将应用程序移植到Flink。在很多方面,Flink和Spark一样,其简洁性和一致性使他广受欢迎。Flink就像Spark一样,是Scala写的。7.Elasticsearchelasticsearch是基于Apachelucene搜索分布式文件服务器的。其核心,Elasticsearch基于JSON格式几乎实时构建数据索引,可实现快速全文检索功能。结合开源KibanaBI显示工具,您可以创建令人印象深刻的数据可视化界面。Elasticsearch易于设置和扩展,可根据需要自动使用新硬件进行分片。他的查询语法和SQL不一样,但也是大家熟悉的JSON。大多数用户不会在那个级别进行数据交互。开发人员可以使用原生JSON-over-包括Ruby在内的HTTP接口或几种常用的开发语言进行交互,Python,PHP,Perl,Java,JavaScript等。8.如果SlamData正在寻找一个能够理解最新流行NoSQL数据的可视化工具,那么你应该看看SlamData。SlamData允许您在不需要转换或语法转换的情况下,使用熟悉的SQL语法对JSON数据进行嵌套查询。其连接器是该技术的主要特点之一。从MongoDB,HBase,Cassandra和ApacheSpark,与大多数行业标准一样,SlamData的外部数据源可以很容易地集成、转换和分析数据。你可能会问:“我不会有更好的数据池或数据仓库工具吗?请认清这是在NoSQL领域。9.由谷歌的Dremel催生的Dremel,Drildrill是一种用于大型数据集交互分析的分布式系统。Drill是专门为嵌套数据的低延迟分析设计的。它有一个明确的设计目标,灵活地扩展到1万台服务器来处理查询记录数据,并支持兆级数据记录。可以从各种数据源中获得嵌套数据(如HDFS,HBase,AmazonS3,Blobs)和各种格式(包括JSON,Avro,还有buffers),读取时不需要指定一个模式(“读时模式”)。Drill基于ANSI2003SQL的查询语言,因此数据工程师没有学习压力。它允许您连接查询数据并跨越多个数据源(例如,连接HBASE表和HDFS中的日志)。最后,Drill提供了基于ODBC和JDBC接口的BI工具对接。10.今年HBASEHBase里程碑达到1.并不断改进X版本。和其他非关系分布式数据存储一样,HBase的查询结果反馈非常快,所以它经常用于后台搜索引擎,如易趣、博科和雅虎。HBase新鲜功能作为一种稳定成熟的软件产品,并不常见,但这种稳定性往往是企业最关心的。最近的改进包括提高区域服务器的高可用性、滚动升级支持和YARN的兼容性。在他的特性更新方面,包括扫描器更新,以确保性能的提高。HBase被用作流媒体应用程序,如Storm和Spark。HBase还可以通过Phoenix项目支持SQL查询,其SQL兼容性正在稳步提高。Phoenix最近增加了一个Spark连接器,增加了自定义函数的功能。11.随着过去几年Hive的发展,Hive逐渐成熟,今年发布了基于SQL的数据仓库领域的1.0正式版本。目前,基金会主要集中在提高性能、可扩展性和SQL兼容性方面。最新版本的1.2显著提高了ACID语义兼容性、跨数据中心复制和基于成本的优化器。Hive1.2还提高了SQL的兼容性,使组织更容易通过ETL工具从现有的数据仓库转移。在规划中,主要改进:以内存缓存为核心的速度改进LLAP、Spark机器学习库的集成,改进SQL前嵌套查询、中间类型支持等。12.KylinKylin是eBay开发的OLAP分析系统,用于处理大量数据。它使用标准的SQL语法,与许多数据分析产品非常相似。Kylin用Hive和MR构建立方体,Hive用作预链接,MR用作预聚合,HDFS用于存储构建立方体时的中间文件,HBase用于存储立方体和HBasecoprocessor(协处理器)用于响应查询。与大多数其他分析应用程序一样,Kylin支持JDBC、ODBCAPI编程访问和RESTAPI接口等多种访问方法。13.CDAPCDAP(CaskDataAccessPlatform)在Hadoop上运行的框架抽象了大数据应用的复杂性。CDAP围绕数据和应用程序两个核心概念。无论底层存储层是什么,CDAP数据集都是数据的逻辑显示;CDAP提供实时数据流处理能力。应用程序使用CDAP服务来处理应用场景,如分布式事务和服务发现,以避免程序开发者淹没在Hadoop的底层细节中。CDAP自带的数据摄取框架、一些预设应用和一些通用的“包”,如ETL和网站分析,支持测试、调试和安全。CDAP与大多数原始商业(闭源)项目一样,具有良好的文档、教程和例子。14.Hadoop一直是Ranger安全的痛处。Hadoop不是“不安全”或“不安全”。事实上,Hadoop有很多安全功能,尽管它们不是很强大。我的意思是,每个组件都有自己的身份验证和授权实施,这与其他平台没有集成。2015年5月,Hortonworks收购XA/安全,然后更名后,我们有了Ranger。Ranger使许多Hadop的关键部件处于保护伞下。它允许您设置一个“策略”,将您的Hadop安全绑定到您现有的ACL基于活动目录的身份验证和授权系统中。Ranger给你一个管理Hadop访问控制的地方,通过一个漂亮的页面进行管理、审计和加密。15.Mesosmesos提供高效、跨分布式应用程序和框架的资源隔离和共享,支持Hadopo、MPI、Hypertable、Spark等。Mesos是Apache孵化器中的开源项目,利用Zookeper实现容错复制,利用Linuxcontainers隔离任务,支持各种资源计划分配(内存和CPU)。提供Java、Python和C 开发APIS

以上就是关于大数据科学常用工具单的相关介绍,更多大数据科学常用工具单相关内容可以咨询我们或者浏览页面上的推荐内容。我们将让你对大数据科学常用工具单有更深的了解和认识。

内容来源:数据分析网,以上内容来源于网络,不代表本站观点,如有侵权,请联系删除。

推荐阅读

小米系统语音引擎有什么用

小米系统的语音引擎是一项重要的技术,它为用户提供了多种便利和功能。随着科技的不断进步,语音识别和语音交互技术正在成为智能手机很重要的部分,小米作为一家知名的科技公司,致力于为用户提供全面的智能体验,其中的语音引擎…查看详情

便利店收银系统价格,8款常用收银系统推荐

新零售时代,便利店分布城市的每个角落,其规模已经达到非常可观的程度,这期间的操作和运转离不开一个功能强大的收银系统,那么你知道市场上便利店收银系统价格是怎么样的一个情况吗?小编整理了8款市面常用的便利店收银系统供大…查看详情

国外直播软件有哪些?国外十大直播软件

 现在看直播的人数是越来越多,基本上可以说是全名直播了,目前国外的直播也是非常火爆的,下面万商云集小编给大家来详细介绍一下国外直播软件有哪些?国外十大直播软件这方面的内容,希望能帮助到大家了解到国外直播这一块。 …查看详情

作品版权登记多少钱?总费用受多个因素影响

为了更好地保护自己的作品,很多人都会选择为这些作品申请版权。在我国版权申请登记需要缴纳申请的费用,也就是我们所说的版权登记费。那么通常作品版权登记多少钱呢?一起接着往下看。图片来源于网络作品版权登记多少钱?由两种…查看详情

淘宝领取方式有哪些?红包该怎么抢?

怎样在淘宝网抢红包?抢红包的技巧:  1.下载按键精灵录制好鼠标点击的步骤;  2整点前几分钟不断刷新屏幕,整点一分钟左右的时间是抢红包的黄金时间,建议手动点击鼠标,同时不断按F5刷新.  3超级红包阶段,尽量快速点击黑猫提…查看详情

2021免费资产管理软件大盘点

企业在发展的过程中免不了会有资产的风险,资产管理是企业发展的基础,也是它经营的一部分,针对财产的管理就要求助于相关的资产管理软件,今天就给大家盘点一下那些免费资产管理软件。 1.易盘点免费资产管理软件 易盘点是为…查看详情

好用的小区物业智能门禁系统推荐

目前社会发展越来越快,人们对各方面的安全要求也越来越高,家居安全也是其中之一,所以小区物业智能门禁系统也就应时而生,安全性能高还便于物业管理。市场上现在拥有众多知名的智能门禁品牌,那么到底哪些是真正好用便捷的呢?…查看详情

合作伙伴:葛氏济世堂

品牌介绍葛氏济世堂是四川省利健济世科技有限公司于2014年1月28日注册的第5类医疗用品品牌,注册号:9998238。葛氏济世堂自成立以来,坚持为顾客提供医药、健康理疗服务,葛氏济世堂的产品从制作到最终为理疗者服务,全程由公司核心团…查看详情

关于新店开业策划的方案和具体操作

随着时代的发展,社会的进步,现在越来越多的人选择自己开店经营。既然要开店,那么也要有新店开业策划,以保证新店开业能够顺利进行。新店开业策划也可以激发人气,从而做到大大提高销售额,下面是关于新店开业策划的方案和具体…查看详情

万商云集上榜i黑马“2020中国企服行业最具成长力TOP50”榜单

12月18日,在i黑马举办的2020第十三届创业家年会上,万商云集从700家企业中脱颖而出,上榜“中国企服行业最具成长力TOP50”榜单。 此次评选,由i黑马与来自60多家投资机构的百余位投资人,通过18场线上评审,从科技实力、投...查看详情

淘宝怎么刷钻 淘宝刷钻方法

  很多人做淘宝的时候都想着刷排名刷到钻石,但是我是不建议新人过度去刷,毕竟现在淘宝查的很严。但我们可以利用一些小技巧也是可以帮助到店铺升钻的。  卖家信用等级如何计算?  卖家想要做到一颗钻需要251个甚至更多的好…查看详情

中文编程软件有哪些

中文编程语言是真的吗?最近华为将中文编程语言项目提上了日程。但是实际上中文编程语言是指使用中文来书写的程序设计语言,其目的是为了减少对英语的学习,将精力集中在程序设计上,并且便于程序交流和代码维护。目前已经存在的中…查看详情

企业电商系统开发有两种方式,但都需要重视4点

企业电商系统开发时,需先对产品、市场和用户做定位,不仅需要从自身情况和实际需求出发,还需要考虑用户需求和痛点,再由以上结论确定一个最佳的开发方案,最终再去考虑开发模式及重视开发电商系统几大要点。 图片来源于网络&n…查看详情

工商注册需要准备什么材料

  工商注册是一个繁琐的过程,需要准备各种各样的材料。以下是注册公司所需要的材料列表,以供参考:  1.公司名称预审通过通知书:公司名称必须符合国家政策,并且不得与已经注册的企业名称相同。因此,需要首先进行公司名称预…查看详情

人事一般用什么软件?好用的人力资源管理软件

一个公司的招聘工作是由人事部来决定的,每天面试的人有多少,每一个面试人的信息是什么都需要记录在一个软件里面,这样才可以很好的筛选出有能力的面试人员,那么,人事管理软件的一些介绍是什么。1、欢雀科技HR人事管理软件深圳…查看详情

首页

产品

万商学院

客户服务

会员中心

当前站点

h

选择站点

全国站成都

一 客户顾问-张三

已为0个客户提供专业互联网服务咨询
  • 手机号码
  • 验证码图形验证码换一张
  • 短信校验码

    电话咨询

    在线咨询