spark考试

Oeljeklaus 2020-06-10

零，第0章-课程介绍

就是单纯的课程介绍

一，第1章-大数据技术概述

大数据的基本概念、关键技术和代表性软件

二，第2章-Scala语言基础

介绍Scala语言基础语法

三，第3章-Spark的设计与运行原理

Spark简介、运行架构、RDD的设计与运行原理、部署模式

四，第4章-Spark环境搭建和使用方法

Spark的基本安装方法，如何在spark-shell中运行代码以及如何开发Spark独立应用程序

五，第5章-RDD编程

RDD编程、键值对RDD、数据读写

六，第6章-Spark-SQL

Spark SQ简介、Dataframe、读写 Parquet、通过JDBC连接数据库、连接Hve读写数据

七，第7章-Spark-Streaming

流计算简介、Spark Streaming简介、DStream操作

八，第8章-Spark-MLlib

Spark MLlib简介、 spark.mllib库、 spark.ml库

: Oeljeklaus

spark系列之基本概念

　　RDD是对象的分布式集合。　　RDD也提供数据沿袭——以图形形式给出每个中间步骤的祖先树，当RDD的一个分区丢失，可以根据祖先树重建该分区。　　RDD有两组操作，转换和行动，RDD转换是有惰性的，宽窄依赖。　　SparkSession是读取数据、处理元

Johnson0 0喜欢 / 0评论 2020-07-28

Spark SQL(6) OptimizedPlan

在这一步spark sql主要应用一些规则，优化生成的Resolved Plan，这一步涉及到的有Optimizer。之前介绍在sparksession实例化的是会实例化sessionState，进而确定QueryExecution、Analyzer，Op

Hhanwen 0喜欢 / 0评论 2020-07-26

spark 广播变量累加器

你还可以使用 destroy 方法彻底销毁广播变量，调用该方法后，如果计算任务中又用到广播变量，则会抛出异常。　　广播变量在一定数据量范围内可以有效地使作业避免 Shuffle，使计算尽可能本地运行，Spark 的 Map 端连接操作就是用广播变量实现的。

zhixingheyitian 0喜欢 / 0评论 2020-07-19

Spark 源码解读（五）SparkContext的初始化之创建和启动DAGScheduler

DAGScheduler主要用于在任务正式提交给TaskSchedulerImpl提交之前做一些准备工作，包括：创建job,将DAG中的RDD划分到不同的Stage,提交Stage等等。SparkContext中创建DAGScheduler的代码如下所示：

yanqianglifei 0喜欢 / 0评论 2020-07-07

Spark DAG 依赖关系 Stage

记录了RDD之间的依赖关系，即RDD是通过何种变换生成的，如下图：RDD1是RDD2的父RDD，通过flatMap操作生成借助RDD之间的依赖关系，可以实现数据的容错，但是已经尽力避免产生shuffle. Task任务对应的是分区，即一个分区就是一个Ta

Hhanwen 0喜欢 / 0评论 2020-07-05

Spark RDD

②通过Spark读取外部存储文件，将文件数据转变为RDD。可以从本地磁盘读取，也可以从HDFS读取

adayan0 0喜欢 / 0评论 2020-07-05

Notebook Docker 安装spark环境

zhixingheyitian 0喜欢 / 0评论 2020-07-04

入门大数据---Spark开发环境搭建

Local 模式是最简单的一种运行方式，它采用单节点多线程方式运行，不用部署，开箱即用，适合日常测试开发。进入 spark-shell 后，程序已经自动创建好了上下文 SparkContext，等效于执行了下面的 Scala 代码：。安装完成后可以先做一个

Hhanwen 0喜欢 / 0评论 2020-06-25

Spark Streaming读取Kafka数据两种方式

Receiver从Kafka中获取的数据都是存储在Spark Executor的内存中的，然后Spark Streaming启动的job会去处理那些数据。在提交Spark Streaming任务后，Spark集群会划出指定的Receivers来专门、持续不

rongwenbin 0喜欢 / 0评论 2020-06-15

Apache Spark有哪些局限性

Apache Spark是行业中流行和广泛使用的大数据工具之一。Apache Spark已成为业界的热门话题，并且如今非常流行。但工业正在转移朝向apache flink。Apache Spark是为快速计算而设计的开源，闪电般快速的集群计算框架。Apac

sxyhetao 0喜欢 / 0评论 2020-06-12

使用经 EMRFS S3 优化的提交器提高 Apache Spark 写入 Apache Parquet 格式文件的性能

使用经 EMRFS S3 优化的提交器提高 Apache Spark 写入 Apache Parquet 格式文件的性能。经 EMRFS S3 优化的提交程序是一款新的输出提交程序，可用于Amazon EMR5.19.0 及更高版本的Apache Spar

hovermenu 0喜欢 / 0评论 2020-06-10

今天的收获

直接用jar包方便许多。编程似乎在不断完善，没有人知道未来是啥。因为map和reduce不够用。scala编写代码比java精简。sbt相对于scala来说就相当于 maven对java差不多。

zhixingheyitian 0喜欢 / 0评论 2020-06-08

Mr与spark的shuffle过程详解及对比

大数据的分布式计算框架目前使用的最多的就是hadoop的mapReduce和Spark，mapReducehe和Spark之间的最大区别是前者较偏向于离线处理，而后者重视实现性，下面主要介绍mapReducehe和Spark两者的shuffle过程。Map

Johnson0 0喜欢 / 0评论 2020-06-08

spark的编译

./build/mvn -Pyarn -Phadoop-2.7 -Dhadoop.version=2.7.7 -Phive -Phive-thriftserver -Pyarn -DskipTests clean package. 我们可以使用Spark源

zhixingheyitian 0喜欢 / 0评论 2020-06-01

Apache Spark

Apache Spark是一个开源集群运算框架，最初是由加州大学柏克莱分校AMPLab所开发。相对于Hadoop的MapReduce会在运行完工作后将中介数据存放到磁盘中，Spark使用了存储器内运算技术，能在数据尚未写入硬盘时即在存储器内分析运算。Spa

xclxcl 0喜欢 / 0评论 2020-05-31

Spark分区

在Spark中，RDD是其最基本的抽象数据集，其中每个RDD是由若干个Partition组成。在Job运行期间，参与运算的Partition数据分布在多台机器的内存当中。图一中，RDD1包含了5个Partition，RDD2包含了3个Partition，这

Hhanwen 0喜欢 / 0评论 2020-05-29

Spark GraphX企业运用

Spark GraphX 是 Spark 的一个模块，主要用于进行以图为核心的计算还有分布式图的计算。GraphX 他的底层计算也是 RDD 计算，它和 RDD 共用一种存储形态，在展示形态上可以以数据集来表示，也可以图的形式来表示。边的表示用 RDD[E

zhixingheyitian 0喜欢 / 0评论 2020-05-29

spark企业运用

========== Spark SQL ==========1、Spark SQL 是 Spark 的一个模块，可以和 RDD 进行混合编程、支持标准的数据源、可以集成和替代 Hive、可以提供 JDBC、ODBC 服务器功能。统一的数据访问方式，Spa

Oeljeklaus 0喜欢 / 0评论 2020-05-29

Spark Streaming企业运用

========== Spark Streaming 是什么 ==========1、SPark Streaming 是 Spark 中一个组件，基于 Spark Core 进行构建，用于对流式进行处理，类似于 Storm。kafka、flume、HDFS

Hhanwen 0喜欢 / 0评论 2020-05-29

Spark RDD编程双Value类型交互

所谓双Value，就是两个数据集RDD之间进行操作。1 union：对源RDD和参数RDD合并后返回一个新的RDD，不会去重。2subtract：计算差的一种函数，去除两个RDD中相同的元素，不同的RDD将保留下来。5zip：将两个RDD组合成Key/Va

zhixingheyitian 0喜欢 / 0评论 2020-05-28

Spark原始码系列（五）分布式缓存

BlockManager与BlockManagerMaster的关系是什么？这个persist方法是在RDD里面的，所以我们直接打开RDD这个类。def persist: this.type = { // StorageLevel不能随意更改 if

粗茶淡饭 0喜欢 / 0评论 2020-05-27

kafka unclean 配置代表啥，会对 spark streaming 消费有什么影响？

unclean.leader.election.enable 为true的话，意味着非ISR集合的broker 也可以参与选举，这样有可能就会丢数据，spark streaming在消费过程中拿到的 end offset 会突然变小，导致 spark st

zhixingheyitian 0喜欢 / 0评论 2020-05-25

来看看基于Kubernetes的Spark部署完全指南

本文是在Kubernets上搭建Spark集群的操作指南，同时提供了Spark测试任务及相关的测试数据，通过阅读本文，你可以实践从制作Spark镜像、搭建Spark容器集群，到在集群上运行测试任务的完整流程。由于Spark的运行依赖于数据，我们将配置Spa

BornZhu 0喜欢 / 0评论 2020-05-20

spark 任务提交参数

网上看到的关于Executor，Cores和Memory的分配相关博客，先记录下来，再汇总。Spark处理1Tb数据不需要1Tb的内存。具体需要多少内存是根据executor的core数量和每次读取数据集的block大小决定的。以读取hdfs上1tb大文件

adayan0 0喜欢 / 0评论 2020-05-19

Spark 数据分析调优（一）

假设你已经清楚了Spark 的 RDD 转换，Action 等内容。并且已经知道用web UI来理解为什么Job要花这么长时间时，Job、stage和task 也很清楚了。在本文中，您将了解Spark程序在集群中实际执行的基础知识。Spark应用程序由单个

Johnson0 0喜欢 / 0评论 2020-05-17

在CDH中安装Spark2

第一步，需要在CDH上安装Spark 2，由于我的CDH是5.15.x，只能通过CDS的方式安装。总结下，需要手动下载cds文件上传到CM服务器并修改owner，然后重启系统的cmservice，之后可能还需要登录到CM管理端，从页面重启CM服务，这两者的

zhixingheyitian 0喜欢 / 0评论 2020-05-15

spark之从外部文件获取广播变量

public static Map<String,String> loadDataFromFile() {. Map<String,String> map = new ConcurrentHashMap<>();File

Hhanwen 0喜欢 / 0评论 2020-05-12

【译】Using .NET for Apache Spark to Analyze Log Data

.NET for Spark可用于处理成批数据、实时流、机器学习和ad-hoc查询。在这篇博客文章中，我们将探讨如何使用.NET for Spark执行一个非常流行的大数据任务，即日志分析。日志分析的目标是从这些日志中获得有关工具或服务的活动和性能的有意义

登峰小蚁 0喜欢 / 0评论 2020-05-11

Spark内核源码解析四：SparkContext原理解析和源码解析

它会为每一个job计算一个stage的DAG，追踪RDD和stage的输出是否物化，寻找一个最小消耗来调度job。除了处理stage的DAG，它还负责决定运行一个task的最佳运行位置，基于当前缓存的状态，将这些最佳运行位置提交给底层TaskSchedul

Lucianoesu 0喜欢 / 0评论 2020-05-10

spark利用sparkSQL将数据写入hive两种通用方式实现及比较

第二种方式是利用sparkSQL将获取的数据Rdd转换成dataFrame，再将dataFrame写成缓存表，最后利用sparkSQL直接插入hive表中。这两种方式各有各自的优点。但大多数开发者更倾向于后者一次编码一步到位的方式。而对于利用sparkSQ

tugangkai 0喜欢 / 0评论 2020-05-09

spark常用操作(二)

Dataset<Row> df = spark.read().textFile(currentSrcPath, 1);Dataset<Row> df = spark.read().json(path);Dataset<Row&

Hhanwen 0喜欢 / 0评论 2020-05-08

Spark搭建注意事项若干要点

2、在hadoop的历史服务器点击 history直接连接到 spark 的日志.

Johnson0 0喜欢 / 0评论 2020-05-05

Spark Yarn部署时注意点

--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->

tomli 0喜欢 / 0评论 2020-05-04

spark系列-5、RDD、DataFrame、Dataset的区别和各自的优势

从一开始 RDD 就是 Spark 提供的面向用户的主要 API。从根本上来说，一个 RDD 就是你的数据的一个不可变的分布式元素集合，在集群中跨节点分布，可以通过若干提供了转换和处理的底层 API 进行并行处理。但与 RDD 不同的是，数据都被组织到有名

Hhanwen 0喜欢 / 0评论 2020-05-04

spark集群环境搭建

1.安装jdk参考https://blog.51cto.com/13001751/1980999 2.安装scala下载路径： https://downloads.lightbend.com/scala/2.12.8/scala-2.12.8.tgz

Hhanwen 0喜欢 / 0评论 2020-05-04

spark工作原理

它是被分区的，分为多个分区，每个分区分布在集群中的不同节点上，从而让RDD中的数据可以被并行操作。即如果某个节点上的RDD partition，因为节点故障，导致数据丢了，那么RDD会自动通过自己的数据来源重新计算该partition。

Hhanwen 0喜欢 / 0评论 2020-05-03

从源码看Spark读取Hive表数据小文件和分块的问题

有同事问到，Spark读取一张Hive表的数据Task有一万多个，看了Hive表分区下都是3MB~4MB的小文件，每个Task只处理这么小的文件，实在浪费资源浪费时间。而我们都知道Spark的Task数由partitions决定，所以他想通过reparti

tugangkai 0喜欢 / 0评论 2020-05-03

Spark中自定义累加器

通过继承AccumulatorV2可以实现自定义累加器。下面是我自己写的一个统计卡种数量的案例。override def merge: Unit = other match {. 通过上面代码，就可以同时统计两个变量的值了，当然如果需要更多，可以扩展。

yanqianglifei 0喜欢 / 0评论 2020-04-24

Spark SQL源码解析（二）Antlr4解析Sql并生成树

可能有童鞋没接触过antlr4这个内容，推荐看看《antlr4权威指南》前四章，看完起码知道antlr4能干嘛。这篇首先先介绍调用spark.sql()时候的流程，再看看antlr4在这个其中的主要功能，最后再将探究Logical Plan究竟是什么东西。

zhixingheyitian 0喜欢 / 0评论 2020-04-23

spark 数据分析

JavaPairDStream<String, Integer> wordRdd = words.mapToPair(new PairFunction<String, String, Integer>() {

登峰小蚁 0喜欢 / 0评论 2020-04-23

spark写mysql

val conf = new SparkConf().setMaster("local").setAppName("spark write mysql"). characterEncoding=utf8&us

inhumming 0喜欢 / 0评论 2020-04-22

Spark RDD转DataFrame

* 导入包，支持把一个RDD隐式转换为DataFrame,

yanqianglifei 0喜欢 / 0评论 2020-04-22

spark streaming 读取kafka两种方式的区别

1】Receiver是使用高层次的consumer Api来实现的。receiver 接收的消息都是存储在spark Executor中的，然后spark启动jobq去处理那些消息。然而，默认情况下，这种方式会因为底层的失败丢失数据。如果要启用高可靠机制，

Oeljeklaus 0喜欢 / 0评论 2020-04-20

小记--------sparkSQL - spark基础知识

本质上是一种分布式的内存抽象，表示一个只读的数据分区集合。一个RDD通常只能通过其他的RDD转换而创建，RDD定义了各种丰富的转换操作，通过转换操作，新的RDD包含了如何从其他RDD衍生所必须的信息。这些信息构成了RDD之间的依赖关系。而其中窄依赖的所有转

Oeljeklaus 0喜欢 / 0评论 2020-04-19

Spark shuffle 相关参数调优

大家可要小心啊。将数据写到磁盘文件之前，会先写入 buffer 缓冲中，待缓冲写满之后，才会溢写到磁盘。在实践中尝试过，发现其性能比开启了

adayan0 0喜欢 / 0评论 2020-04-17

Spark集群式安装部署

在master节点上安装配置完成Spark后，将整个spark目录拷贝到其他节点，并在各个节点上更新/etc/profile文件中的环境变量。- 在master节点启动Hadoop集群- 在master节点启动spark [spark-2.4.

飞鸿踏雪0 0喜欢 / 0评论 2020-04-16

Spark集群的搭建

Type in expressions for evaluation. Or try :help.export SCALA_HOME=/opt/soft/scala-2.13.1 #scala的安装目录。export SPARK_WORKER_CORES

kekeromer 0喜欢 / 0评论 2020-04-16

pyspark demo

spark 在不使用mllib的情况下，可以使用python的数据分析。

ahbbwangpei 0喜欢 / 0评论 2020-04-02

spark实战2-lambda架构

ithzhang 0喜欢 / 0评论 2020-03-24

spark考试

相关推荐