spark streaming读取kakfka数据手动维护offset

adayan0 2020-01-31

在spark streaming读取kafka的数据中，spark streaming提供了两个接口读取kafka中的数据，分别是KafkaUtils.createDstream，KafkaUtils.createDirectStream，前者会自动把offset更新到zk中，默认会丢数据，效率低，后者不会经过zk，效率更高，需要自己手动维护offse，通过维护护offset写到zk中，保障数据零丢失，只处理一次，下面来看看KafkaUtils.createDirectStream的使用，我把zk的端口改成了9999，防止和kakfa自带的zk的端口产生冲突，下面我写了一些测试代码，经自己测试数据没任何问题，即使spark streaming挂了 ，另一方往topic中写数据，下次启动streaming程序也能读取，做到数据零丢失，不同的group.id下只读取一次，看看下面代码吧(代码是自己查看kafka中自带的接口和一些其他的资料组合而成，简单的写了一些，参数没写成配置)

adayan0

adayan0

相关推荐

Mysql limit offset示例

例1，假设数据库表student存在13条数据。代码示例:语句1：select * from student limit 9,4语句2：slect * from student limit 4 offset 9// 语句1和2均返回表student的第10

wkwanglei / 0评论 2020-06-13

redis主从复制

　　redis的高并发有一种实现方式就是主从架构，一个master节点，多个slave节点，可以很好的实现slave节点的水平扩容；主从架构再加上读写分离，master节点负责写操作，slave节点负责读操作，使得redis可以很好的做一个高并发的处理。有

qingmuluoyang / 0评论 2020-06-10

Spring boot集成Kafka消息中间件

#earliest 当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，从头开始消费

sweetgirl0 / 0评论 2020-05-14

kafka 关于offset的理解--关于__consumer_offsets分析

通过命令查 ./bin/kafka-consumer-groups.sh --bootstrap-server ip:9092 --describe --group consumer2. 保存到 kafka配置的~/data文件夹(现有集群为3/分析得出就

yangyutong00 / 0评论 2020-04-26

趣味编程：静夜思（Rust版）

let text = "床前明月光疑是地上霜举头望明月低头思故乡";

Trustport / 0评论 2020-04-15

kafka从头消费数据

Properties p = new Properties();

guicaizhou / 0评论 2020-03-25

LIMIT和OFFSET用法小结

②表示从数据库中的第二条数据开始查询两条数据，即第二条和第三条。③表示从数据库中直接取前三条数据。

hellobabygogo / 0评论 2020-03-20

kafka手动设置offset

项目中经常有需求不是消费kafka队列全部的数据，取区间数据

amwayy / 0评论 2020-02-03

Undefined offset原因以及解决办法-php利用for遍历二维数组方法-二维数组怎么遍历

echo "<br>数组个数为: $zong";PHP 出现 Notice: Undefined offset:functions - Undefined offsetphp Notice: Undefined offset

igogo00 / 0评论 2020-01-31

kafka重新设置group的offset

使用Kafka自带的kafka-consumer-groups.sh脚本可随意设置消费者组，这是0.11.0.0版本提供的新功能，设置的前提是：consumergroup状态是inactive的，即不能是处于正在工作中的状态。bogon:kafka_0.1

guicaizhou / 0评论 2020-01-25

kafka（一）

//创建一个topic,名称为test_kafka，partitions为2个，replication有3个，topic的name为test2:. kafka-topics --zookeeper zk1:2181,zk2:2181,zk3:2181 --

amwayy / 0评论 2019-12-22

springboot中实现kafa指定offset消费

kafka消费过程难免会遇到需要重新消费的场景，例如我们消费到kafka数据之后需要进行存库操作，若某一时刻数据库down了，导致kafka消费的数据无法入库，为了弥补数据库down期间的数据损失，有一种做法我们可以指定kafka消费者的offset到之前

猫咪的一生 / 0评论 2019-12-14

深入了解Kafka【四】消费者的Offset管理

Consumer通过提交Offset来记录当前消费的最后位置，以便于消费者发生崩溃或者有新的消费者加入消费者组，而引发的分区再均衡操作，每个消费者可能会分到不同的分区。我测试的kafka版本是：0.11.0.2，消费者往一个特殊的主题“_consumer_

sweetgirl0 / 0评论 2019-12-08

使用limit,offset分页场景时为什么会慢

五年前在腾讯的时候，发现分页场景下，mysql请求速度非常慢。数据量只有10w的情况下，select xx from 单机大概2，3秒。假设status上面有索引。select * from table where status = xx limit 10

vimysql / 0评论 2019-11-22

ios中正则表达式的使用

使用正则表达式可以很方便的操作一个字符串，根据一定的规则可以用来查找、替换。

xianfengmc / 0评论 2013-08-27

JMeter Beanshell

生成Jar包放入jmeterlib目录中。

Cherishyuu / 0评论 2019-11-17

redis主从复制

一.什么是主从复制？简单来说slave复制master数据。

八角塘塘主 / 0评论 2019-11-08

关于6410开发板Linux内存地址0Xc0008000的由来

查看6410数据手册可以看到，内存开始地址应该是0x50000000，而实际在real6410开发板使用过程中U-boot加载Linux内核都是加载到0xC0008000处开始运行，我猜测这个是因为Linux启动内核的地址为0xC0008000，而U-bo

Rafema / 0评论 2011-03-08

深入理解Kafka必知必会（上）

与此同时，Kafka 还提供了大多数消息系统难以实现的消息顺序性保障及回溯消费的功能。

猫咪的一生 / 0评论 2019-11-07

kafka的offset相关知识

由于一个partition只能固定的交给一个消费者组中的一个消费者消费，因此Kafka保存offset时并不直接为每个消费者保存，而是以 groupid-topic-partition -> offset 的方式保存。如图所示，一条offset消息的

猫咪的一生 / 0评论 2019-11-06

Linux 内核2.6.35 skb_copy_bits 函数和map.c文件

int skb_copy_bits{ int start = skb_headlen; struct sk_buff *frag_iter; int i, copy;end = start + skb_shinfo->frags[i].size; i

downtown / 0评论 2011-05-04

关于怎么获取kafka指定位置offset消息(转)

如果有段时间消费者关闭了，并有发送者发送消息那么下次这个消费者启动时也会接收到，但是我们如果想要从这个topic的第一条消息消费呢？首先我们在consumer.subscribe;订阅一个topic之前要设置从这个topic的offset为0的地方获取。

amwayy / 0评论 2019-11-04

Kafka+Spark Streaming管理offset的几种方法

为了应对可能出现的引起Streaming程序崩溃的异常情况，我们一般都需要手动管理好Kafka的offset，而不是让它自动提交，即需要将enable.auto.commit设为false。只有管理好offset，才能使整个流式系统最大限度地接近exact

jiaomrswang / 0评论 2019-10-20

基于kibana日志排序之日志二级排序--offset偏移量排序

概述之前搭建ELK时候经常听开发人员反馈说日志的数据和服务器的日志顺序不一致， 看日志给他们带来许多烦恼，这是什么原因导致呢？

dfBeautifulLive / 0评论 2019-10-26

PHP容器类的两种实现方式示例

本文实例讲述了PHP容器类的两种实现方式。分享给大家供大家参考，具体如下：

xuelang0 / 0评论 2019-07-24

Kafka到底有几个Offset？——Kafka核心之偏移量机制

Kafka是由LinkIn开源的实时数据处理框架，目前已经更新到2.3版本。不同于一般的消息中间件，Kafka通过数据持久化和磁盘读写获得了极高的吞吐量，并可以不依赖Storm，SparkStreaming的流处理平台，自己进行实时的流处理。Kakfa的O

forrestou / 0评论 2019-09-05

指定Elasticsearch 的 Analyzer

以“one.two.three.+four”为例子，如果用standard analyzer，只有两个term，用simple将有4个term. text=one.two.three.+four&pretty=1' { "tokens&q

kingdz / 0评论 2017-07-07

jQuery源码解析之offset()

//返回目标元素相对于doucument的偏移坐标，// 设置偏移坐标：$.offset. // offset() relates an element's border box to the document origin. // jQuery不支持获取

堇年 / 0评论 2019-07-01

跟我学Kafka源码之Consumer分析

在上一章，我们跟踪了Producer源码的整体流程和一些细节，本章我们将重点跟踪Consumer的源码细节。group.id: 指定consumer所属的consumer group. fetc

wangying / 0评论 2016-01-04

Elasticsearch实践（四）：IK分词

环境：Elasticsearch 6.2.4 + Kibana 6.2.4 + ik 6.2.4Elasticsearch默认也能对中文进行分词。这种在实际应用里肯定达不到想要的效果。当然，如果是日志搜索，使用自带的就足够了。analyzer=defaul

IceStreamLab / 0评论 2019-06-29

【译】只用 CSS 就能做到的像素画/像素动画

虽说纯 CSS 就能做到，但是为了更高的可维护性，也会顺便介绍使用 Sass 的制作方法。上面的马里奥和 Minecraft 方块都没有使用 JavaScript，单纯使用 CSS 动画制作。关于 box-shadow 属性绘制像素点可以借助 box-sh

hjfbluesky / 0评论 2019-06-29

svg两端交汇动效

<svg class="electricity" viewBox="0 20 60 20" width="100%" height="200">. <pol

Dickzeng / 0评论 2019-06-29

消息生产与消息存储——kafka源码探究之三

消息存储结构kafka每个topic有多个partition，单个partition内消息有序。Partition在物理存储上由多个segment组成，每个segment内包含两个文件，index文件和log文件。存储结构1.partition存储在kaf

forrestou / 0评论 2019-06-27

jquery的offset()和position()方法使用

<input type="button" value="向下滑动" name="bottom" />

ndscoylx / 0评论 2015-05-13

DOM元素在浏览器中的位置参数，如offset,ownerDocument

区分clientX和screenX的简单办法是？client指浏览器左上角；screen指显示器左上角。所以正常情况下screen>=client。documentElement属性可返回文档的根节点。offsetTop改元素最上端离它父元素最上端的

aaaaaaaa00 / 0评论 2014-10-08

【30分钟学完】canvas动画|游戏基础(extra1-1)：美图我也行

前言本文是接续系列教程的extra1，主要是介绍颜色系统在canvas中的应用。本来是与extra1一起成文的，因为segmentfault莫名其妙的字数限制bug只能分割放送了。canvas操纵像素你如果认为canvas只是画图工具，那接下来的操作会颠覆

bertZuo / 0评论 2019-06-26

sql 查询优化

WHEN-1THENDATALENGTH(st.text)

phpchandler / 0评论 2010-11-18

jquery offset（）方法

alert;//这个方法是表示div。在document的范围内距离文档的左上角的X坐标，Y坐标。

asdjkl / 0评论 2014-02-20

聊聊kafka consumer offset lag的监控

private val consumerMap: mutable.Map[Int, Option[SimpleConsumer]] = mutable.Map(). private val offsetMap: mutable.Map[TopicAndPa

jiaomrswang / 0评论 2019-06-26

重写SQLServer2005Dialect,使Hibernate支持真正分页

最近项目要用到sqlserver数据库的数据，之前基本上没有真正用到sqlserver数据库做实际开发，因此碰到了不少的问题，下面的是我在分页方面遇到的问题，记录下来。}可以看出，hibernate对其分页是采用的top......分页的,数据量很大的时候

johnnylzb / 0评论 2010-05-20

Redis中bitmap的妙用

在Redis中我们经常用到set,get等命令，细心的你有没有发现，还有几个相似的命令叫setbit,getbit，它们是用来干嘛的？BitMap是什么就是通过一个bit位来表示某个元素对应的值或者状态,其中的key就是对应元素本身。我们知道8个bit可以

飞奔的熊猫 / 0评论 2019-06-21

Lucene使用项向量进行模糊查询

doc1.add(new Field("subject", "java一门编程语言",doc2.add(new Field("subject", "英语用的人很多",

qiuzhuoxian / 0评论 2008-01-14

关于Jquery offset().top 在IE和Firefox下行为不一致的问题

项目中用到了JSTree,原先一个页面里包含了很多的tab标签，而且每个tab标签内功能都很多，用到了大量的js代码，后来我们决定把tab里的内容分成不同的page，然后用iframe调用。调试了一会貌似不是我代码的原因，于是到JSTree的源码里看看，结

zfjdoreen / 0评论 2012-08-28

关于jQuery中的offset()和position()

在jQuery中有两个获取元素位置的方法offset()和position()。position()方法是在1.2.6版本之后加入的，为什么要引入这个方法呢？使用的时候应该注意哪些问题？获取匹配元素在当前视口的相对偏移。返回的对象包含两个整形属性：top和

83457317 / 0评论 2012-05-15

PHP 5.4 (5.4.3) Code Execution (Win32) 代码

offset="+offset); sleep; } </script></body></html> =================== 0day.php =================== <?

tianxiao / 0评论 2012-05-16

[转]unity3d使用winphone平台的问题

最近在移植u3d的游戏到WindowsPhone8上，WindowsPhone有多蛋疼就不说，移植的过程中还各种问题，稍稍总结一下。unity版本一定要最新。untiy最近才开始适配WindowsPhone的游戏，越新版本你需要解决的问题就越少。不然会影响

takidsm / 0评论 2016-05-25

Kafka重复消费和丢失数据研究

原因1：强行kill线程，导致消费后的数据，offset没有提交。上面代码会导致部分offset没提交，下次启动时会重复消费。consumer消费时，记录第一次取出的数据，将其offset和上次consumer最后消费的offset进行对比，如果相同则继续

小昌昌 / 0评论 2018-09-20

CSS3 outline-offset 属性

表格中的数字表示支持该属性的第一个浏览器版本号。值描述length轮廓与边框边缘的距离。inherit规定应从父元素继承 outline-offset 属性的值。如您还有不明白的可以在下面与我留言或是与我探讨QQ群308855039，我们一起飞！

覆雪蓝枫 / 0评论 2017-01-23

Linux下的两个经典宏定义

本文首先介绍Linux下的经典宏定义，感受极客的智慧，然后根据该经典定义为下篇文章作铺垫。// 获得结构体的变量成员在此结构体中的偏移量。经过这一步，__mptr为member数据类型的常量指针，其指向ptr所指向的地址。

nightwindnw / 0评论 2015-07-16