位置导航 >> 返回首页 >> Spark

Spark2.0安装配置文档

Spark2.0安装配置文档，该文档是建立在已经安装好Hadoop和jdk的基础上，并且已经设置好HADOOP_HOME环境变量以及JAVA_HOME环境变量，测试和现网环境需要在原来的hadoop环境中安装。 1、下载安装包从scala官网下载scala-2.11.8.tgz、spark-2.0.0-bin-hadoop2.7.tgz两个安装包到集群各个节点机器上。（下面是两个官...

数据框架Hadoop和Spark的异同

数据框架Hadoop和Spark的异同，谈到大数据，相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是停留在字面上，并没有对它们进行深入的思考，下面不妨一起看下它们究竟有什么异同。　　1、解决问题的层面不一样　　首先，Hadoop和Apache Spark两者都是大数据框架，但是各自存在的目...

Spark IM 2.8.0 发布，不再支持Java7

Spark IM 2.8.0 发布，不再支持Java7，Spark IM 2.8.0 发布了，这是个主要的版本，标志着对 Java 7 的支持已经结束，完整的 Spark 安装包已经和 Java 8 集成在一起一段时间。从 2.8.0 起，在线的安装包在 Java 7 下将不会运行，官方建议升级至 Java 8。此次更新修复了大量 bug，具体点击查看： http://download...

大数据混战：谁将撼动Spark盟主之位？

大数据混战：谁将撼动Spark盟主之位？目前由于Apache Spark的不断发展，其已逐步成为大数据云时代的重要组成部分。但Spark远非那么完美，当然，它确实在逐步改善中，但正如2.0版所示，如果竞争者提供了一个比Spark更赞的处理方式，必然会吸引开发者的注意。如下列出的四项很可能会撼动Spark的地位，Spark以对传统...

超越Spark 100倍性能？

超越Spark 100倍性能？2004年，Google的MapReduce论文揭开了大数据处理的时代，现如今，大数据的发展已达到惊人的速度，大数据技术深刻改变了世界。与此同时，各大数据库厂商在大数据这片蓝海里都想多分一杯羹，于是乎，各种数据库开发技术如雨后春笋般孕育而出。　　众所周知，大数据技术纷杂繁多，而Spark、Hi...

Apache Spark 2.0.0发布，APIs更新

Apache Spark 2.0.0发布，APIs更新，Apache Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。该版本主要更新APIs，...

Spark SQL超越了MPP SQL？

Spark SQL超越了MPP SQL？这里说的并不是性能，因为我没尝试对比过(下文会有简单的说明)，而是尝试从某种更高一层次的的角度去看，为什么Spark SQL 是远远超越MPP SQL的。 Spark SQL 和 MPP SQL 其实不在一个维度上。简而言之，MPP SQL 是 Spark SQL 的一个子集；Spark SQL 成为了一种跨越领域的交互形态；MPP SQ...

LinkedIn开源Photon机器学习：支持Spark

LinkedIn开源Photon机器学习：支持Spark，机器学习是LinkedIn公司关联营销的关键组成部分。他们使用机器学习为feed、广告、推荐系统（比如People You May Know）、邮件优化、搜索引擎等训练排序算法。更深一点的例子可以看LinkedIn的feed流实现，涉及到如何把机器学习应用到feed流排序中。这些算法在提升用户体验...

Apache Spark外，三种新兴的开源数据分析工具

Apache Spark外，三种新兴的开源数据分析工具，这些数据分析项目大行其道：Apache Grappa、Apache Drill和Apache Kafka。在数据分析方面，影响深远的变化正在酝酿之中，而开源工具在引领许多变化。当然，你可能已熟悉这个领域的一些明星开源项目，比如Hadoop和Apache Spark，不过现在出现了强烈的要求，需要全面...

6、将应用提交到集群（Deploying to a Cluster）应用提交手册描述了如何将应用提交到集群。简单的说，当你将你的应用打包成一个JAR（Java/Scala）或者一组.py或.zip文件（Python）后，就可以通过bin/spark-submit脚本将脚本提交到集群支持的管理器中。 7、Java/Scala中启动Spark作业（Launching Spark jobs fro...

Spark官方文档（4）

5、共享变量（Shared Variables）通常情况下，一个传递给Spark操作（例如map或reduce）的方法是在远程集群上的节点执行的。方法在多个节点执行过程中使用的变量，是同一份变量的多个副本。这些变量的以副本的方式拷贝到每个机器上，各个远程机器上变量的更新并不会传回driver程序。然而，为了满足两种常见的使用...

Spark官方文档（3）

4、弹性分布式数据集（RDDs) Spark最重要的一个概念就是RDD，RDD是一个有容错机制的元素容器，它可以进行并行运算操作。得到RDD的方式有两个：通过并行化驱动程序中已有的一个集合而获得通过外部存储系统（例如共享的文件系统、HDFS、HBase等）的数据集进行创建 4.1 并行集合（Parallelized Collections） ...

Spark官方文档（2）

2、引入Spark（Linking with Spark) 在Spark 1.6.0上编写应用程序，支持使用Scala 2.10.X、Java 7+、Python 2.6+、R 3.1+。如果使用Java 8，支持lambda表达式（lambda expressions）。在编写Spark应用时，需要在Maven依赖中添加Spark，Spark的Maven Central为： groupId = org.apache.spark artifactId = sp...

Spark官方文档（1）

1 、概述(Overview) 2 、引入Spark(Linking with Spark) 3 、初始化Spark(Initializing Spark) 3.1 使用Spark Shell(Using the Shell) 4 、弹性分布式数据集(RDDs) 4.1 并行集合(Parallelized Collections) 4.2 外部数据库(External Datasets) 4.3 RDD操作(RDD Operations) 4.3.1 基础(Basics) 4.3.2 把函...

越来越重要的Spark

越来越重要的Spark ，Hadoop之父Doug Cutting预言了Hadoop将不断向前发展，以及预言了围绕hadoop生态系统的产生的机遇。　　Hadoop经过10年的发展，如今Hadoop生态系统非常庞大，同时一直在改进。InfoWorld 的 Andy Oliver就目前的情况，“关于Hadoop你需要知道的最重要的一件事是以后再也没有Hadoop了”—至少，...

Spark调度分析

Spark调度分析，Spark作为分布式的大数据处理框架必然或涉及到大量的作业调度，如果能够理解Spark中的调度对我们编写或优化Spark程序都是有很大帮助的。在Spark中存在转换操作（Transformation Operation）与行动操作(Action Operation)两种；而转换操作只是会从一个RDD中生成另一个RDD且是lazy的，Spark中只有...

Spark连续重大更新

Spark连续重大更新，由于移动互联网数据量庞大且类型多样的特性，分布式计算在这一领域极受欢迎。Hadoop无疑是大数据开源环境下的王者，而本文的主角Spark和Storm与其一起并列为最主流的三大分布式计算系统。今年初，大数据处理技术Spark刚刚更新了1.6版本，近日又爆出，Spark下一个重大版本——2.0预计在今年4、...

Spark读HBase多表组成一个RDD

Spark读HBase多表组成一个RDD，环境：Spark-1.5.0 HBase-1.0.0。场景：HBase中按天分表存数据，要求将任意时间段的数据合并成一个RDD以做后续计算。尝试1: 寻找一次读取多个表的API，找到最接近的是一个叫MultiTableInputFormat的东西，它在MapReduce中使用良好，但没有找到用于RDD读HBase的方法。尝试2: 每个...

Spark简介及在Ubuntu下的安装使用

Spark简介及在Ubuntu下的安装使用，Spark 是一种与 Hadoop 相似的开源集群计算环境，在性能和迭代计算上很有看点，现在是Apache孵化的顶级项目吧。Spark 由加州大学伯克利分校 AMP 实验室 (Algorithms, Machines, and People Lab) 开发，可用来构建大型的、低延迟的数据分析应用程序。 Spark 启用了内存分布数据集...

Spark并行计算模型

Spark并行计算模型，Spark是一个小巧玲珑的项目，由Berkeley大学的Matei为主的小团队所开发。使用的语言是Scala，项目的core部分的代码只有63个Scala文件，充分体现了精简之美。 Spark要解决的问题是，在当前的分布式计算框架中不能有效处理的两类问题：iterative（迭代计算）和interactive（交互式）计算。目前...

Spark安装部署与运行实例

Spark安装部署与运行实例，首先解压scala，本次选用版本scala-2.11.1。 [Hadoop@CentOS software]$ tar -xzvf scala-2.11.1.tgz [hadoop@centos software]$ su - [root@centos ~]# vi /etc/profile 添加如下内容： SCALA_HOME=/home/hadoop/software/scala-2.11.1 PATH=$SCALA_HOME/bin EXPORT SCALA_HOME ...

每页 30 条

1/1条

■相关课程

思科培训	微软培训	红帽Linux培训	Oracle培训	华为培训
F5 Networks培训	IT管理培训	Juniper培训	VMware培训	Cissp培训
Spark培训	Openstack培训	IBM AIX培训	Cloudera培训	Citrix培训