mapreduce报错：java.io.IOException: Split metadata size exceeded 10000000.

hanwentan 2012-06-21 

Failure Info:Job initialization failed: java.io.IOException: Split metadata size exceeded 10000000. 
Aborting job job_201205162059_1073852 at 
org.apache.hadoop.mapreduce.split.SplitMetaInfoReader.readSplitMetaInfo(SplitMetaInfoReader.java:48) at 
org.apache.hadoop.mapred.JobInProgress.createSplits(JobInProgress.java:817) at 
org.apache.hadoop.mapred.JobInProgress.initTasks(JobInProgress.java:711) at 
org.apache.hadoop.mapred.JobTracker.initJob(JobTracker.java:4028) at 
org.apache.hadoop.mapred.EagerTaskInitializationListener$InitJob.run(EagerTaskInitializationListener.java:79) at 
java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886) at 
java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908) at java.lang.Thread.run(Thread.java:662)

出错原因：该job的job.splitmetainfo文件大小超过限制；

1. job.splitmetainfo，该文件记录split的元数据信息，job split ----> HDFS block && slave node

  存放路径位于：${hadoop.tmp.dir}/mapred/staging/${user.name}/.staging/jobId/

2. 参数mapreduce.jobtracker.split.metainfo.maxsize控制该文件的最大大小，默认为：10000000（10M）

解决方法：

1. 修改mapreduce.jobtracker.split.metainfo.maxsize参数值，但需要重启jobtracker才能生效；

2. 该问题的根本原因还是因为input小文件或者目录太多导致的，所以建议合并小文件；

hanwentan

hanwentan

相关推荐

python之字符串split和rsplit的方法

split()方法通过指定分隔符对字符串进行切片，如果参数num有指定值，则分隔num+1个子字符串，默认分隔符为所有空字符，包括空格、换行(\n)、制表符(\t)等

银角大王 / 0评论 2020-06-25

String中split方法以 英文句点 为切割符 的问题

而”.“在正则表达式中表示所有

jianxm / 0评论 2020-06-13

spark之从外部文件获取广播变量

public static Map<String,String> loadDataFromFile() {. Map<String,String> map = new ConcurrentHashMap<>();File

Hhanwen / 0评论 2020-05-12

分布式计算框架——MapReduce

DAG计算——多个作业存在依赖关系，后一个的输入是前一个的输出，构成有向无环图DAG；Map、Reduce阶段的中间环节，负责执行Partition（分区）、Sort（排序）、Spill（溢写）、Merge（合并）、抓取等工作。Partition编号 =

zhangll00 / 0评论 2020-05-07

SqlServer 中字符串 Split 的新用法

-- 1. 对于老的SQL数据库，基本上所有的网络上的文章采用的方式，都是类似于下面的用 patindex 或 charindex 函数。select @sql = ‘select ‘‘‘ + replace + ‘‘‘‘。个人强烈推荐升级数据库，使用 j

sui / 0评论 2020-04-29

Linux split命令

Linux split命令用于将一个文件分割成数个。该指令将大文件分割成较小的文件，在默认情况下将按照每1000行切割成一个小文件。split [--help][--version][-<行数>][-b <字节>][-C <字

GeorgeTH / 0评论 2020-03-02

Perl 笔试题2 -- 统计单词频次

"ALL happy families resemble one another; every unhappy family is unhappy in its own way.All was confusion in the house of

Aggressivesnail / 0评论 2020-02-28

数据集切分

#如果切分后的数据集分布不均衡,则需要对Xtrain,Ytrain和Xtest,Ytest进行平衡处理

仁鱼 / 0评论 2020-02-20

python split函数

Python split()方法Python split() 通过指定分隔符对字符串进行切片，如果参数 num 有指定值，则分隔 num+1 个子字符串str.split.参数str -- 分隔符，默认为所有的空字符，包括空格、换行(\n)、制表符(\t)

laohyx / 0评论 2020-01-30

php多进程结合Linux利器split命令实现把大文件分批高效处理

有时候会遇到这样的需求，比如log日志文件，这个文件很大，甚至上百M，需要把所有的日志拿来做统计，这时候我们如果用单进程来处理，效率会很慢。如果我们想要快速完成这项需求，我们可以利用Linux的一个利器split，先根据这个文件的总大小、总行数，来按照一个

清风徐来水波不兴 / 0评论 2020-01-05

32 字符串常用的方法 center find join split lower upper

在大字符串中来查找子子字符串 如果找到了，find方法就会返回子子字符串的第一个字符在大字符串中出现的位置 有就是索引 如果未找到，那么find方法就会返回-1. find方法有3个参数 第一个是要查找的子字符串 第二个参数是开始索引 第三个参数是结束索引

sdwylry / 0评论 2020-01-05

oracle自定义split分割函数

create or replace FUNCTION fn_rme_split(p_str IN VARCHAR2,j INT := 0;i INT := 1;len INT := 0;len1 INT := 0;str VAR

LuoXinLoves / 0评论 2019-12-24

使用split命令分割Linux文件

一些简单的 Linux 命令能让你根据需要分割以及重新组合文件，来适应存储或电子邮件附件大小的限制。在将文件上传到限制大小的存储网站或者作为邮件附件之前，你可能需要执行此操作。要将文件分割为多个文件块，只需使用 split 命令。默认情况下，split 命

budding0 / 0评论 2019-12-17

使用 split 命令分割 Linux 文件

一些简单的 Linux 命令能让你根据需要分割以及重新组合文件，来适应存储或电子邮件附件大小的限制。在将文件上传到限制大小的存储网站或者作为邮件附件之前，你可能需要执行此操作。要将文件分割为多个文件块，只需使用 split 命令。$ split bigfi

iphilo / 0评论 2019-12-16

Linux之split拆分文件

Linux 中split命令可以将一个大文件拆分成几个小文件。split [--help][--version][-][-b ][-C ][-l ][要切割的文件][输出文件前缀]. 注意，在默认情况下将按照每1000行切割成一个小文件。split -l

jiangtie / 0评论 2019-12-09

LeetCode 842. Split Array into Fibonacci Sequence

Given a stringSof digits, such asS = "123456579", we can split it into aFibonacci-like sequence[123, 456, 579].Formall

嗡汤圆 / 0评论 2019-11-10

command----常用命令更新ing

[ split]# split -b 1M split.tar.gz split_ #按1M拆分文件。-rw-r--r--. 1 root root 1048576 Nov 3 08:01 split_aa. -rw-r--r--. 1 roo

LiHansiyuan / 0评论 2019-11-03

python split()函数的用法

Python中有split()和os.path.split()两个函数，具体作用如下：。通过指定分隔符对字符串进行切片，并返回分割后的字符串列表。os.path.split()：按照路径将文件名和路径分割开。如果存在参数num，则仅分隔成 num+1 个子

程松 / 0评论 2019-09-05

Linux - 文件的分割(split)

文件切割模式分为两种：文本文件和二进制模式。将文本文件log.log按每块最大50k的大小进行切割，不打碎行。输出文件名类似splogaa, splogab……每个分块100行，不考虑大小。日志分析时应该有用。每个分块大小都是50k，基本不可读。-b：指定

上方科技技术交流 / 0评论 2016-07-11

Linux-使用split分割文件和数据

在很多时候，我们需要把一个较大的文件分割成若干个小文件，以方便操作，例如上传文件，发送电子邮件等。在Linux中，可以使用split 命令来分割文件，具体格式为：split [options] file [prefix].表示分割文件example.txt

zhoushuaiyin / 0评论 2015-05-26

vim的分割窗口split命令

这个命令把屏幕分解成两个窗口并把光标置于上面的窗口中.CTRL-Ww 命令可以用于在窗口间跳转。(CTRL-WCTRL-W可以完成相同的功能这。是为了避免你有时按第二次的时候从CTRL键上缩手晚了。以避免你在剩下一个窗口的时候不小心退出Vim了。如果要关闭

shutFuckingup / 0评论 2012-08-30

linux切割文件，软链接

设大小数字后缀待分割文件分隔后文件名。-l10000每10000行分隔一次

Xinspace / 0评论 2012-02-21

Flink 从0到1学习—— Flink 不可以连续 Split(分流)？

今天上午被 Flink 的一个算子困惑了下，具体问题是什么呢？我有这么个需求：有不同种类型的告警数据流，然后我要将这些数据流做一个拆分，拆分后的话，每种告警里面的数据又想将告警数据和恢复数据拆分出来。结果，这个需求用 Flink 的 Split 运算符出现

阿尼古 / 0评论 2019-07-25

linux服务器数据操作：备份数据到新服务器

所以在window下先合并一下，看看文件是否损坏。如果没有损坏则copy到linux下进行cat 合并.

Nicolelovesmath / 0评论 2010-12-18

linux下文件的切割与合并[转]

切割合并文件在linux下用split和cat就可以完成。下面举些实例进行说明。文本模式只适用于文本文件，用这种模式切割后的每个文件都是可读的。文本模式又分为两种：。将文本文件duanxin按每块最大5k的大小进行切割，不打碎行。输出文件名类似splita

lfjjia / 0评论 2010-06-13

linux命令：split

将一个档案分割成数个。若没有INPUT档或为`-'，则从标准输入读进资料。SIZE值为每一输出档案的大小，单位为byte。NUMBER值为每一输出档的列数大小。于每个输出档被开启前，列印出侦错资讯到标准错误输出。SIZE 可加入单位: b 代表 512，

六六哥 / 0评论 2009-12-11

聊聊flink的TableFunction

实例// The generic type "Tuple2<String, Integer>" determines the schema of the returned table as .Table myTable =

石权 / 0评论 2019-06-30

聊聊flink Table的Joins

.select;time-windowed join需要至少一个等值条件，然后还需要一个与两边时间相关的条件Inner Join with Table Function// register User-Defined Table Function. .se

阿尼古 / 0评论 2019-06-30

Webpack 的 Bundle Split 和 Code Split 区别和应用

Webpack Bundle Split 和 Code Split话说之前也是对 chunk 这个概念有些模糊，并且很多时候网上的文章大部分在将代码分离动态加载之类的。写这篇文章的目的也是想让其他那些跟我一样曾经对这个概念不是很清楚的童鞋有个清晰的认识。废

gezilan / 0评论 2019-06-30

聊聊flink DataStream的split操作

List<String> output = new ArrayList<String>();output.add("even");output.add("odd");return output

Spark高级玩法 / 0评论 2019-06-30

hbase split log源码分析

在hbase hmaster启动的时候，将hlog移动到split log文件夹下，并处理split log. regionserver从zk上抢split log任务，将split log读入到内存entry，由writer进程写到hdfs上。// we

Sunday0 / 0评论 2015-04-03

hbase compact和split策略

在启动region之后，memflush之后，用户compact调用compact. 最小的tts到时间了，进行major compact. 选择sum大小最小的作为第一个组合，选择能合并更多的hfile，并且sum大小更小的。如，只有一个region，1

gaofengyan / 0评论 2015-02-12

hbase split log转cloudera的文章

In the recent blog post about theApache HBase Write Path, we talked about the write-ahead-log , which plays an important role in

lwb / 0评论 2015-04-09

【转】Hbase性能优化四个要点

如果任何一个Column Family的HStoreFiles的大小超过这个值，那么，其所属的HRegion就会Split成两个。当storefile数量超过3时，会启动compaction过程将它们合并为一个storefile。而当合并后的storefi

86274259 / 0评论 2014-03-13

Hbase region split源代码阅读笔记

split;//调用方法分裂该region. region.forceSplit;//设置了两个值this.splitRequest=true和splitPoint=sp

gaofengyan / 0评论 2011-12-06

java中split方法为何不能用小数点(.)做参数？

public String[] split根据给定的正则表达式的匹配来拆分此字符串。而 . 在正则表达式中指任何字符.这样写当然是有问题的.如果你需要用 . 来做分割符,请做一个转义,与成\\.

xiahanss / 0评论 2011-11-30

hbase split 源码分析之split策略

在工作中接触到split，于是查看了这块的源代码，先看到了split的策略，今天就说说这个吧，后续还会有split的其他源码分析和compact相关的源码分析。看了很多其他人的博客，很多都是转发的，原创的也都没有注明是哪个版本。其实给很多读者造成混淆，我这

Awara / 0评论 2019-06-27

jQuery join 与 split的区别 以及 map用法

元素是通过指定的分隔符进行分隔的。这都可以用'$.map()'来方便的建立。</form>jQuery 代码: 由于返回值是 jQuery 封装的数组，使用 get() 来处理返回的对象以得到基础的数组$("p").appe

83510191 / 0评论 2015-07-06

hadoop 源码分析一

InputFormat:将输入的数据集切割成小数据集 InputSplits, 每一个 InputSplit 将由一个 Mapper 负责处理。此外 InputFormat 中还提供一个 RecordReader 的实现, 将一个 InputSplit 解

finalcola / 0评论 2011-02-22

ABAP正则表达式 vs SPLIT INTO

这个function module的作用就是解析用两个/分隔开的document type: L, document class: CRM_L_ORD和document guid。这个function module采用传统的做法，把三个key拆分并存储到一

AHuqihua / 0评论 2019-06-26

Ruby 使用 Fiddle 调用 C 函数

gcc -o libsplit.so -shared split.c在 split.rb 里调用 libsplit.so 里的 split 函数。puts split.call # => 5Fiddle.dlopen，与c中调用动态链接库方法名相同d

suningrass / 0评论 2019-06-21

410. Split Array Largest Sum

枚举所有可能的largest sum，找最小的那个，二分枚举优化复杂度，因为数组不含负数，根据largest sum是否满足条件可以二分结果。largest sum的范围是，找当前largest sum是否存在，判断存在的标准是：扫一遍array，看实现每

yaohustiAC / 0评论 2019-06-21

jquery filter(),not(),split()用法

jQuery下一些查找过滤功能filter(),not(),split()用法，可以让jquery更容易的操作控制页面元素。一个新的挑战是从一组类似或相同的元素中只选择某一个特定的元素。filter()能够将元素精简到只剩下满足过滤条件的那些，not()恰

聆听蘭 / 0评论 2012-12-02

java与js的split方法

使用java中的split()里面的参数为正则表达式，但是对“，”也支持。对|或者$均需使用\\进行转义。js不存在该问题。这个时候在java和js中split之后长度一致，均为5.对java中split方法的后续补充。此方法返回的数组包含此字符串的每个子

gamedev / 0评论 2012-08-20

遭遇 IE split 正则问题

遭遇IEsplit正则问题alert('1,2,3'.split(/(,)/).length)就知道了/(,)/意思是要保留,号的，结果IE给丢了http://blog.stevenlevithan.com/archives/cross-browser-s

小溪逆流 / 0评论 2011-03-03

使用lua实现split字符串分隔

LUA并不象其它许多"大而全"的语言那样，包括很多功能，比如网络通讯、图形界面等。但是LUA可以很容易地被扩展：由宿主语言提供这些功能，LUA可以使用它们，就像是本来就内置的功能一样。LUA只包括一个精简的核心和最基本的库。这使得LUA

VermillionTear / 0评论 2019-06-13

iPad iOS9新技能Get 画中画/Split View并排运行教程

iOS9新增加了画中画功能，那么如何将iPad多任务特性最大化，让Split View和画中画功能同时使用？是个问题，既然iOS9带来了如此强大的多任务功能，必须要用到极致。小编下面就给大家带来 iOS9画中画让Split View并排运行教程，一起来看看

gigigo / 0评论 2015-11-11

使用split_size优化的ODPS SQL的场景

说明1：split_size，设定一个map的最大数据输入量，单位M，默认256M。用户可以通过控制这个变量，从而达到对map端输入的控制。一般在调整这个设置时，往往是发现一个map instance处理的数据行数太多。此外，从TimeLine看可以发现，

xinaml / 0评论 2019-03-20

Linux下 split 分割文件 和 cat 合并文件

split 命令可以将一个大文件分割成很多个小文件，有时需要将文件分割成更小的片段，比如为提高可读性，生成日志等。生成一个大小为100KB的文件[root@localhost split]# dd if=/dev/zero bs=100k count=1

木子李CSDN / 0评论 2018-08-14