大数据分析应用火爆 12大开源软件值得关注

　　【中国智能制造网 智造快讯】对于许多大企业来说，开源大数据分析已经成为日常业务中一个必不可少的组成部分。据New Vantage Partners公司对《财富》1000强公司的高层主管开展的调查显示，如今62.5%的企业在生产环境中至少运行一种大数据工具或应用软件。这比2013年给出同样回复的企业数量高出近一倍，只有5.4%的受访企业没有大数据计划。　　说到大数据分析，开源软件是常态，而不是异数。许多企业使用的一些工具由Apache基金会管理，许多商业工具至少一部分基于这些开源解决方案。
　　
　　我们在本文中介绍了市面上12款的开源数据分析解决方案，其中一些为大数据分析提供了全面的端到端平台，另一些要与其他技术结合起来。它们都适合大企业使用，都是市面上的数据分析工具。
　　
　　1.Hadoop
　　
　　谈到开源数据分析技术，就不可能不提到Hadoop。Apache基金会的这个项目已经几乎成为大数据的同义词，它让企业能够大规模分布式处理极其庞大的数据集。TDWI和SAS联合开展的一项调查发现，近60%的企业预计在2016年年底之前会在生产环境中拥有Hadoop集群。
　　
　　然而值得一提的是，Hadoop本身无法实现数据分析。它通常是从大数据获取洞察力的整个更庞大解决方案的一部分。
　　
　　2.Spark
　　
　　Spark也是Apache旗下的一个项目，它承诺可以迅速处理大数据。实际上，它声称“在内存中运行程序的速度比HadoopMapReduce快100倍，在磁盘上运行程度的速度快10倍。”由于这种出色性能，它常常用于分析流式数据或用于需要交互式分析功能的应用软件中。许多公司经常把它与Hadoop或Mesos一起使用，不过它也能独立运行。近，它的人气得到了急剧提升，Syncsort在2016年开展的一项调查发现，受访的企业大数据工作人员中近70%对Spark有兴趣。
　　
　　3.Talend
　　
　　不像前面两个项目，Talend由一家营利公司管理，而不是由基金会管理。因而，提供收费支付服务。Talend既提供免费产品，又提供收费产品。它免费的开源解决方案名为TalendOpenStudio，下载量已超过了200万人次。
　　
　　市场研究公司Gartner近将Talend评为数据集成领域的“”。这家公司声称，相比与之竞争的解决方案，它帮助企业分析大数据的速度快五倍，而成本却只有五分之一。
　　
　　4.Jaspersoft
　　
　　与Talend一样，Jaspersoft也有多个版本，有的版本免费，有的版本收费。社区版是免费、开源的，而Reporting版、AWS版、专业版和企业版需要收费，不过随带支持服务。
　　
　　Jaspersoft是一款开源商业智能工具，旨在让企业用户可以借助自助服务，满足自己的要求。该公司声称，它的技术支持130000多款应用软件，提供嵌入式商业智能功能。
　　
　　5.Pentaho
　　
　　Pentaho自诩为“全面的数据集成和商业智能平台。”该公司主要大力推销它的商业版软件，该软件基于开源社区版。许多公司将它与Hadoop和Spark之类的工具一起使用，以便能够报告和显示大数据。该软件声称拥有一大批的客户，包括英国电信(BT)、卡特皮勒、纳斯达克、美国国土安全部、美国国家海洋和大气局(NOAA)、《纽约时报》、EMC及其他许多企业组织。
　　
　　6.RapidMiner
　　
　　RapidMiner声称是“头号开源数据科学平台”，Gartner将它评为分析魔力象限报告中的。它能够实现自助式预测分析，承诺有望提升速度飞快的性能。用户包括宝马、汉莎航空、达美乐比萨公司、索尼、福特、Salesforce、特赦组织和通用电气公司。整个RadiMiner平台包括三个独立的组件：RapidMinerStudio、RapidMinerServer和RapidMinerRadoop。这三个组件都采用开源许可证或商业许可证，商业版价格取决于用户数量。
　　
　　7.Storm
　　
　　ApacheStorm被雅虎、推特、Spotify、Yelp、Flipboard和Groupon之类的公司所使用，它是一种实时大数据处理引擎。它的官方网站解释：“Storm让用户很容易可靠地处理无限制的数据流，它在实时处理方面的功能好比Hadoop在批处理方面的功能。”客户可以将它与任何数据库或任何编程语言一起使用。它具有可扩展、容错、易于部分使用的优点。然而用户要注意的是，Storm还没有进入到1.0版本这个阶段。
　　
　　8.H2O
　　
　　H2O被60000多个数据科学家和7000多家企业组织所使用，声称是“世界上的开源机器学习平台。”由于它的内存技术，它提供了极其出色的性能。它还与Hadoop和Spark之类的其他许多开源数据分析工具整合起来，支持所有主要的流行数据库，提供收费的支持服务。
　　
　　除了标准版的H2O外，该公司还提供SparklingWater，这个版本整合了Spark和Steam，后者是一种端到端人工智能应用引擎。
　　
　　9.Lumify
　　
　　Lumify由一家名为Altamira科技的公司开发，自称是“开源大数据分析和可视化平台。”它让用户易于创建二维或三维图形，可显示实体之间的关系，或在地图上覆盖数据。对于有兴趣深入了解它的工作原理的那些人来说，官方网站提供了几个视频，显示了Lumify的实际运行，上面还有一个演示网站，让用户可以上传自己的数据，并试用软件。
　　
　　10.Drill
　　
　　ApacheDrill让用户得以使用SQL查询用于非关系型数据存储系统。它支持一系列NoSQL和基于云的数据存储系统，包括HBase、MongoDB、MapR-DB、HDFS、MapR-FS、亚马逊S3、AzureBlobStorage、谷歌云存储和Swift。它还让用户可以使用单一查询，即可搜索用不同技术存储起来的多个数据集。此外，它支持许多流行的商业智能工具。
　　
　　11.MongoDB
　　
　　作为的NoSQL数据库之一，MongoDB是一种开源非关系型数据存储解决方案。客户包括大都会人寿(MetLife)、芝加哥市、Expedia、谷歌、气象频道、BuzzFeed和Facebook。除了免费开源版外，该公司还提供一款收费的企业版和云托管的版本MongoDBAtlas。市场研究机构弗雷斯特研究公司将MongoDB评为大数据NoSQL领域的“”。
　　
　　12.SpagoBI
　　
　　SpagoBI是一款开源商业智能和大数据分析平台。该软件完全免费，但还提供收费的用户支持、维护、咨询和培训等服务。它包括了用于报告、多维分析(OLAP)、图表、位置情报、数据挖掘、ETL(抽取转换和加载)及更多其他方面的工具。它还与流行的内存处理引擎整合起来，能够实现实时处理。
　　
　　（原标题：值得关注的12大开源数据分析应用软件）