首推鉴:Hadoop,私有云最佳方案。hadoop下面还会涉及hbase,hive,spark,zookeeper,mapreduce等等。开源,免费,稳定,很多大公司都在用。
如果小公司自己用,那就去用各家的云服务。像阿里云,腾讯云,华为云之类的,都有相关大数据服务。
1、Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。
2、Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。
Hadoop 是可靠的,因为它假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对失败的节点重新分布处理。
Hadoop 是高效的,因为它以并行的方式工作,通过并行处理加快处理速度。
Hadoop 还是可伸缩的,能够处理 PB 级数据。
此外,Hadoop 依赖于社区服务,因此它的成本比较低,任何人都可以使用。
3、Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点:
高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。
高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的,这些集簇可以方便地扩展到数以千计的节点中。
高效性。Hadoop能够在节点之间动态地移动数据,并保证各个节点的动态平衡,因此处理速度非常快。
高容错性。Hadoop能够自动保存数据的多个副本,并且能够自动将失败的任务重新分配。
低成本。与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比,hadoop是开源的,项目的软件成本因此会大大降低。
4、Hadoop带有用Java语言编写的框架,因此运行在 Linux 生产平台上是非常理想的。Hadoop 上的应用程序也可以使用其他语言编写,比如 C++。
5、hadoop大数据处理的意义Hadoop得以在大数据处理应用中广泛应用得益于其自身在数据提取、变形和加载(ETL)方面上的天然优势。Hadoop的分布式架构,将大数据处理引擎尽可能的靠近存储,对例如像ETL这样的批处理操作相对合适,因为类似这样操作的批处理结果可以直接走向存储。Hadoop的MapReduce功能实现了将单个任务打碎,并将碎片任务(Map)发送到多个节点上,之后再以单个数据集的形式加载(Reduce)到数据仓库里。
这个要分好几块来讲,首先我要说明的是大数据项目也是要有很多依赖的模块的。每个模块的软件不一样,下面分别聊一下。
一、大数据处理
这个是所谓大数据项目中最先想到的模块。主要有spark,hadoop,es,kafka,hbase,hive等。
当然像是flume,sqoop也都很常用。
这些软件主要是为了解决海量数据处理的问题。软件很多,我只列几个经典的,具体可以自行百度。
二、机器学习相关
大部分大数据项目都和机器学习相关。因此会考虑到机器学习的一些软件,比如说sklearn,spark的ml,当然还有自己实现的代码。
三、web相关技术
大部分项目也都跑不了一个web的展示,因此web就很重要的,java的ssh,python的django都可以,这个看具体的项目组习惯了。
四、其它
还有一些很常用的东西,个人感觉不完全算是大数据特定使用范围。反正我在做大数据项目的时候也都用到了。
比如说数据存储:redis,mysql。
数据可视化:echart,d3js。
图数据库:neo4j。
再来说说大数据平台的软件或者工具:
1、 数据库,大数据平台类,星环,做Hadoop生态系列的大数据平台公司。Hadoop是开源的,星环主要做的是把Hadoop不稳定的部分优化,功能细化,为企业提供Hadoop大数据引擎及数据库工具。
2、 大数据存储硬件类,浪潮,很老牌的IT公司,国资委控股,研究大数据方面的存储,在国内比较领先。
3、 云计算,云端大数据类,阿里巴巴,明星产品-阿里云,与亚马逊AWS抗衡,做公有云、私有云、混合云。实力不差,符合阿里巴巴的气质,很有野心。
4、 数据应用方面这个有很多,比如帆软旗下的FineReport报表系统和FineBI大数据分析平台等。
帆软是商业智能和数据分析平台提供商,从报表工具到商业智能,有十多年的数据应用的底子,在这个领域很成熟,目前处于快速成长期,但是很低调,是一家有技术有实力而且对客户很真诚的公司。
1、 数据库,大数据平台类:
星环,做Hadoop生态系列的大数据底层平台公司。Hadoop是开源的,星环主要做的是把Hadoop不稳定的部分优化,功能细化,为企业提供Hadoop大数据引擎及数据库工具。
2、 云计算,云端大数据类,
阿里巴巴,明星产品-阿里云,与亚马逊AWS抗衡,做公有云、私有云、混合云。实力不差,符合阿里巴巴的气质,很有野心。
3、 大数据决策平台:
帆软。帆软是商业智能和数据分析平台提供商,从报表工具到商业智能BI,有十多年的数据应用的底子,在这个领域很成熟,但是很低调。旗下的报表产品FineReport和商业智能FineBI值得推荐。
Finereport:各方面都很成熟的一款大数据软件,适用于对海量数据的处理与分析。比较符合中国人数据分析的习惯和逻辑,用不惯国外软件的数据分析师建议使用。
这是一个商用报表软件,企业级应用,一定程度上可替代Excel,如业务系统报表,数据分析报表,财务报表。可与OA,ERP,CRM集成。主要两大核心是填报和数据展示。懂点java的话可以做开发,比如我同事用这个开发了一个公司内部的考试系统。
FineBI个人最常用的BI分析工具,用习惯了觉得这个工具很简单很傻瓜。操作类似Tableau,拖拽分析字段即可生成图表,图表是自动推荐的,精确智能。基本不需要写函数,内置各种计算功能,数据过滤筛选条件等。内置一些基本的回归、预测数据挖掘功能,制作可视化仪表板很方便。个人使用免费。
可以看我之前写的一篇文章:李启方:这可能是今年最值得推荐的数据分析工具
4、 大数据存储硬件类:
浪潮,很老牌的IT公司,国资委控股,研究大数据方面的存储,在国内比较领先。
数据已经成为现代化企业中最为重要的宝贵资源。一切决策、策略或者方法都需要依托于对数据的分析方可实现。随着“大数据分析”逐步替代其上代版本,即“商务智能”,企业正面临着一个更加复杂、且商业情报规模更为庞大的新时代。
考虑到现有技术解决方案的复杂性与多样化,企业往往很难找到适合自己的大数据收集与分析工具。然而,混乱的时局之下已经有多种方案脱颖而出,证明其能够帮助大家切实完成大数据分析类工作。下面我们将整理出一份包含十款工具的清单,从而有效压缩选择范畴。
1. OpenRefine
这是一款高人气数据分析工具,适用于各类与分析相关的任务。这意味着即使大家拥有多种不同数据类型及名称,这款工具亦能够利用其强大的聚类算法完成条目分组。在聚类完成后,分析即可开始。
2. Hadoop
大数据与Hadoop可谓密不可分。这套软件库兼框架能够利用简单的编程模型将大规模数据集分发于计算机集群当中。其尤为擅长处理大规模数据并使其可用于本地设备当中。作为Hadoop的开发方,Apache亦在不断强化这款工具以提升其实际效果。
3. Storm
同样来自Apache的Storm是另一款伟大的实时计算系统,能够极大强化无限数据流的处理效果。其亦可用于执行多种其它与大数据相关的任务,具体包括分布式RPC、持续处理、在线机器学习以及实时分析等等。使用Storm的另一大优势在于,其整合了大量其它技术,从而进一步降低大数据处理的复杂性。
4. Plotly
这是一款数据可视化工具,可兼容JavaScript、MATLAB、Python以及R等语言。Plotly甚至能够帮助不具备代码编写技能或者时间的用户完成动态可视化处理。这款工具常由新一代数据科学家使用,因为其属于一款业务开发平台且能够快速完成大规模数据的理解与分析。
5. Rapidminer
作为另一款大数据处理必要工具,Rapidminer属于一套开源数据科学平台,且通过可视化编程机制发挥作用。其功能包括对模型进行修改、分析与创建,且能够快速将结果整合至业务流程当中。Rapidminer目前备受瞩目,且已经成为众多知名数据科学家心目中的可靠工具。
6. Cassandra
Apache Cassandra 是另一款值得关注的工具,因为其能够有效且高效地对大规模数据加以管理。它属于一套可扩展NoSQL数据库,能够监控多座数据中心内的数据并已经在Netflix及eBay等知名企业当中效力。
7. Hadoop MapReduce
这是一套软件框架,允许用户利用其编写出以可靠方式并发处理大规模数据的应用。MapReduce应用主要负责完成两项任务,即映射与规约,并由此提供多种数据处理结果。这款工具最初由谷歌公司开发完成。
8. Bokeh
这套可视化框架的主要目标在于提供精致且简洁的图形处理结果,用以强化大规模数据流的交互能力。其专门供Python语言使用。
9. Wolfram Alpha
这是一套搜索引擎,旨在帮助用户搜索其需要的计算素材或者其它内容。举例来说,如果大家输入“Facebook”,即可获得与Facebook相关的HTML元素结构、输入解释、Web托管信息、网络统计、子域、Alexa预估以及网页信息等大量内容。
10. Neo4j
其官方网站将这款工具称为图形数据库技术的下一场革命。这种说法在一定程度上并不夸张,因为此套数据库使用数据间的关系以操作并强化性能表现。Neo4j目前已经由众多企业用于利用数据关系实现智能应用,从而帮助自身保持市场竞争优势。
目前一些大数据平台产品已经开始重视用户场景,使得整体架构更佳适合大数据管理和分析,再结合上层的场景化分析让大数据容易落地,更好的支撑决策。例如:德塔精要有一款大数据平台叫做智慧中枢,就建立在大数据架构上并深耕业务场景,让大数据产品更好的服务于具体的行业。
pump 大数据社交软件
首先你提的这个问题范围太宽泛了,其次能提供大数据软件的服务公司收费非常高,它不仅仅局限于一套软件,相应的技术、硬件支持等都要跟上,一般中小型企业是承担不起的。
据了解国内的浪潮、华为、海云数据、阿里巴巴等都有相关的大数据服务。希望能帮到你。谢谢邀请。
多谢邀请
大数据平台的软件,一般是别人的平台研发好给你用的,自己搞不了。现在百度,阿里都有大数据平台,都是收费的,他们有大数据,你要用就给钱他们。你要自己搞大数据,有软件也没用,你没有数据,个人建议,如果不是大公司不要去搞,那不是一般人可以搞得来。
大数据平台软件有很多,不止云计算,现在数据中台也算一种服务。
云计算最有名的是阿里云、还有其他云,诸如:“网易云、腾讯云、浪潮云、华为云等等”,他们很多云计算都是建立在开源软件之上的,这些开源软件就是hadoop生态。
Hadoop生态包含的组件很多,包括如下组件:
1、HDFS(Hadoop分布式文件系统):HDFS是一种数据分布式保存机制,数据被保存在计算机集群上。数据写入一次,读取多次。HDFS 为HBase等工具提供了基础。
2、Hadoop YARN(分布式资源管理器):YARN是下一代MapReduce,即MRv2,是在第一代MapReduce基础上演变而来的,主要是为了解决原始Hadoop扩展性较差,不支持多计算框架而提出的。其核心思想:将MR1中JobTracker的资源管理和作业调用两个功能分开,分别由ResourceManager和ApplicationMaster进程来实现。
1)ResourceManager:负责整个集群的资源管理和调度
2)ApplicationMaster:负责应用程序相关事务,比如任务调度、任务监控和容错等
3、MapReduce(分布式计算框架):MapReduce是一种分布式计算模型,用以进行大数据量的计算,是一种离线计算框架。这个 MapReduce 的计算过程简而言之,就是将大数据集分解为成若干个小数据集,每个(或若干个)数据集分别由集群中的一个结点(一般就是一台主机)进行处理并生成中间结果,然后将每个结点的中间结果进行合并, 形成最终结果。
4、Spark(内存计算模型):Spark提供了一个更快、更通用的数据处理平台。和Hadoop相比,Spark可以让你的程序在内存中运行时速度提升100倍,或者在磁盘上运行时速度提升10倍。
5、Storm(流示计算、实时计算):Storm是一个免费开源、分布式、高容错的实时计算系统。Storm令持续不断的流计算变得容易,弥补了Hadoop批处理所不能满足的实时要求。Storm经常用于在实时分析、在线机器学习、持续计算、分布式远程调用和ETL等领域。
6、HBASE(分布式列存数据库):HBase是一个建立在HDFS之上,面向列的NoSQL数据库,用于快速读/写大量数据。HBase使用Zookeeper进行管理,确保所有组件都正常运行。
7、Hive(数据仓库):Hive定义了一种类似SQL的查询语言(HQL),将SQL转化为MapReduce任务在Hadoop上执行。通常用于离线分析。HQL用于运行存储在Hadoop上的查询语句,Hive让不熟悉MapReduce开发人员也能编写数据查询语句,然后这些语句被翻译为Hadoop上面的MapReduce任务。
8、Zookeeper(分布式协作服务):Hadoop的许多组件依赖于Zookeeper,它运行在计算机集群上面,用于管理Hadoop操作。作用:解决分布式环境下的数据管理问题:统一命名,状态同步,集群管理,配置同步等。
9、Sqoop(数据ETL/同步工具):Sqoop是SQL-to-Hadoop的缩写,主要用于传统数据库和Hadoop之间传输数据。
10、flume(分布式日志收集系统):Flume是一个分布式、可靠、和高可用的海量日志聚合的系统,如日志数据从各种网站服务器上汇集起来存储到HDFS,HBase等集中存储器中。
11、Pig(ad-hoc脚本):Pig定义了一种数据流语言—Pig Latin,它是MapReduce编程的复杂性的抽象,Pig平台包括运行环境和用于分析Hadoop数据集的脚本语言(Pig Latin)。其编译器将Pig Latin 翻译成MapReduce 程序序列将脚本转换为MapReduce任务在Hadoop上执行。通常用于进行离线分析。
12、Oozie(工作流调度器):Oozi可以把多个Map/Reduce作业组合到一个逻辑工作单元中,从而完成更大型的任务。
13、Mahout(数据挖掘算法库):Mahout的主要目标是创建一些可扩展的机器学习领域经典算法的实现,旨在帮助开发人员更加方便快捷地创建智能应用程序。
14、Tez(DAG计算模型):一个运行在YARN之上支持DAG(有向无环图)作业的计算框架。Tez的目的就是帮助Hadoop处理这些MapReduce处理不了的用例场景,如机器学习。
总之很多软件都是建立在这些开源软件之上的。
iNeuOS 自主可控工业互联网操作系统,提供全新解决方案
核心组件包括:边缘网关(iNeuLink)、设备容器(iNeuKernel)、Web组态视图建模(iNeuView)、机器学习(iNeuAI)、分析大屏(iNeuDA)、移动APP(iNeuApp)、智能实景地图(iNeuAR);
为中小企业、集成商提供建设工业互联网平台基础框架;
降低中小企业改造升级、系统维护的成本;
提高中小企业信息化和运营服务的综合能力;
标签:软件,平台