FourInOne VS Hadoop

laotumingke 2012-06-05

FourInOne（中文名字 “四不像”）是一个四合一分布式计算框架，在写这个框架之前，我对分布式计算进行了长时间的思考，也看了老外写的其他开源框架,当我们把复杂的 hadoop当作一门学科学习时，似乎忘记了我们想解决问题的初衷：我们仅仅是想写个程序把几台甚至更多的机器一起用起来计算，把更多的cpu和内存利用上，来解决我们数量大和计算复杂的问题，当然这个过程中要考虑到分布式的协同和故障处理。如果仅仅是为了实现这个简单的初衷，为什么一切会那么复杂，我觉的自己可以写一个更简单的东西，它不需要过度设计，只需要看上去更酷一点，更小巧一点，功能更强一点。于是我将自己对分布式的理解融入到这个框架中，考虑到底层实现技术的相似性，我将Hadoop,Zookeeper,MQ,分布式缓存四大主要的分布式计算功能合为一个框架内，对复杂的分布式计算应用进行了大量简化和归纳。

 fourinone-1.11.09hadoop-0.21.0
体积82K71M
依赖关系就一个jar,没有依赖约12项jar包依赖
配置就一个配置文件较多配置文件和复杂属性
集群搭建简单，每台机器放一个jar和配置文件复杂，需要linux操作基础和ssh等复杂配置，还需要较多配置文件配置
计算模式提供两种计算模式：包工头和工人直接交互方式，包工头和工人通过消息中枢方式交互，后者不需要工人节点可直接访问计算更多倾向于文件数据的并行读取，而非计算过程的设计。JobTracke 跟TaskTracker直接交互， 查询NameNode后，TaskTracker直接从Datanode获取数据。
并行模式N*N，支持单机并行，也支持多机并行，多机多实例并行1*N，不支持单机并行，只支持多机单实例并行
内存方式支持内存方式设计和开发应用，并内置完整的分布式缓存功能以hdfs文件方式进行数据处理，内存方式计算支持很弱
文件方式自带文件适配器处理ioHdfs处理文件io
计算数据要求任意数据格式和任意数据来源，包括来自数据库，分布式文件，分布式缓存等Hdfs内的文件数据，多倾向于带换行符的数据
调度角色包工头，可以有多个，支持链式处理，也支持大包工头对小包工头的调度JobTracke，通常与NameNode一起
任务执行角色农民工，框架支持设计多种类型的工人用于拆分或者合并任务TaskTracker，通常与Datanode一起
中间结果数据保存手工仓库，或者其他任意数据库存储设备Hdfs中间结果文件
拆分策略自由设计，框架提供链式处理对于大的业务场景进行环节拆分数据的存储和计算拆分根据业务场景自定义以64m为拆分进行存储，以行为拆分进行计算

实现map接口，按行处理数据进行计算

合并策略自由设计，框架提供农民工节点之间的合并接口，可以互相交互设计合并策略，也可以通过包工头进行合并TaskTracker不透明，较少提供程序控制，合并策略设计复杂

实现reduce接口进行中间数据合并逻辑实现

内存耗用无需要制定JVM内存，按默认即可，根据计算要求考虑是否增加JVM内存需要制定JVM内存，每个进程默认1G，常常namenode，jobtracker等启动3个进程，耗用3G内存
监控框架提供多环节链式处理设计支持监控过程，通过可编程的监控方式，给于业务开发方最大灵活的监控需求实现，为追求高性能不输出大量系统监控log输出较多的系统监控log，如map和reduce百分比等，但是会牺牲性能，业务监控需要自己实现
打包部署脚本工具上传jar包到jobtracker机器
平台支撑支持跨平台，windows支持良好多倾向于支持linux，Windows支持不佳，需要模拟linux环境，并且建议只用于开发学习
其他协同一致性、分布式缓存、通讯队列等跟分布式计算关系密切的功能支持不支持
总结：Hadoop并不是为了追求一个并行计算的框架而设计，提供快捷和灵活的计算方式去服务各种计算场景， 它更多的是一个分布式文件系统，提供文件数据的存储和查询，它的map/reduce更倾向于提供并行计算方式进行文件数据查询。而fourinone相反。

Fourinone和hadoop运行wordcount的对比测试（平均4核4g配置，输入数据为文件）：

 fourinone-1.11.09(n*4)fourinone-1.11.09(n*1)hadoop-0.21.0(n*1)
3台机器*256M4s12s72s
3台机器*512M7s30s140s
3台机器*1G14s50s279s
19台机器*1G21s60s289s
10台机器*2G29s  
5台机器*4G60s  

说明：Fourinone可以充分利用单机并行能力，4核计算机可以4个并行实例计算，hadoop目前只能N*1；另外，可以由上图看出，如果要完成20g的数据，实际上fourinone只需要使用5台机器用60秒完成，比使用19台机器完成19g的hadoop节省了14台机器，并提前了 200多秒

相关分布式框架(jar格式)及demo代码下载：

http://download.csdn.net/detail/fourinone/3557912

http://www.skycn.com/soft/68321.html

laotumingke

laotumingke

相关推荐

MySQL ddl语句的使用

数据定义语言create、drop、alter语句 。定义对数据库记录的增、删、改操作。定义对数据库、表、字段、用户的访问权限和安全级别。这小节主要了解下数据定义语言DDL。我们用它对数据库、表进行一些管理操作，比如：建库、删库、建表、修改表、删除表、对字

云中舞步 / 0评论 2020-11-12

MySQL全面瓦解之查询的正则匹配详解

上一章 查询的过滤条件，我们了解了MySQL可以通过 like % 通配符来进行模糊匹配。同样的，它也支持其他正则表达式的匹配，我们在MySQL中使用 REGEXP 操作符来进行正则表达式匹配。似，但又强大很多，能够实现一些很特殊的、复杂的规则匹配。如果

杨德龙 / 0评论 2020-11-11

shell中set指令的用法详解

set 指令可根据不同的需求来设置当前所使用 shell 的执行方式，同时也可以用来设置或显示 shell 变量的值。当指定某个单一的选项时将设置 shell 的常用特性，如果在选项后使用 -o 参数将打开特殊特性，若是 +o 将关闭相应的特殊特性。而不带

JohnYork / 0评论 2020-10-16

详解shell 函数定义与调用

本节程序实现函数定义与调用，注意调用函数是不要使用括号，代码如下：。本节程序实现向被调用函数传递参数，$0是运行该脚本的shell传递的参数从$1开始、传递多个参数是以空格分隔，代码如下：。与$*相同，但是使用时加引号，并在引号中返回每个参数。显示Shel

wangzhaotongalex / 0评论 2020-09-22

Python list和str互转的实现示例

输出： [1, 2, 3, 4, 5]. list2 = str2.split() #or list2 = str2.split(" "). 以下几个内置的函数可以执行数据类型之间的转换。这些函数返回一个新的对象，表示转换的值。将x转换

xiaoseyihe / 0评论 2020-11-16

MongoDB查询之高级操作详解（多条件查询、正则匹配查询等）

MongoDB查询文档使用find()方法，同时find()方法以非结构化的方式来显示所有查询到的文档。db.collection.find -- 返回所有符合查询条件的文档。$type操作符是基于BSON类型来检索集合中匹配的数据类型，MongoDB中可

不要皱眉 / 0评论 2020-10-14

PHP如何通过date() 函数格式化显示时间

n 为无前导0数字月份。月份中的第几天，前面有前导0，如03。date; //显示格式如 2008-12-01 12:01. 如果输出的时间和实际时间差8个小时的话，检查php.ini文件，做如下设置：date.timezone = PRC

Crazyshark / 0评论 2020-11-13

ThinkPHP5分页paginate代码实例解析

$list = db('user')->paginate(10);$list = db('user')->paginate(10,false,['query'=>array('id' => $id)]);$this->assi

K先生 / 0评论 2020-11-10

jQuery实现日历效果

jquery是用的是2.0版本。--基于W3C标准 不用做任何修改-->. --设置初始化文档信息和文档管理标注-->. --整个页面编码 utf-8 国际编码 通用性最强，GBK/gb2312 中文-->. .signincalenda

momode / 0评论 2020-09-11

程序员你是怎么绘制架构图？

作为一个程序员，假如让你绘制当前正在开发的项目的架构图，你会怎么绘制？先来同步一个理念。一种架构设计的方法论，忽略不在同一个抽象成绩的细节，从而可以更好的表达和可视化。可以类比地图，地图分4个级别，国家，省，市，街道；而C4模型也分4个层级，Context

思君夜未眠 / 0评论 2020-09-04

聊一聊mycat数据库集群系列之双主双重实现

　　最近在梳理数据库集群的相关操作，现在花点时间整理一下关于mysql数据库集群的操作总结，恰好你又在看这一块，供一份参考。本次系列终结大概包括以下内容：多数据库安装、mycat部署安装、数据库之读写分离主从复制、数据库之双主多重、数据库分库分表。我是一个

点滴技术生活 / 0评论 2020-08-21

C# 正则表达式

.Net 框架提供了允许这种匹配的正则表达式引擎。模式由一个或多个字符、运算符和结构组成。正则表达式中的反斜杠字符（\）指示其后跟的字符是特殊字符，或应按原义解释该字符。与报警 符 \u0007 匹配。" + ‘\u0007‘ 中的 "

MaggieRose / 0评论 2020-08-19

Python基础---转义字符——Python

字符串中的转义字符。\t 在控制台输出一个 制表符，协助在输出文本时 垂直方向 保持对齐。制表符 的功能是在不使用表格的情况下在 垂直方向 按列对齐文本

kevinweijc / 0评论 2020-08-18

HikariCP => 现阶段最快的数据库连接池

怎么说.... 有图有真相吧~要知道对于连接池来讲,代码越少,占用cpu和内存越少,Bug出现几率也是越小,那么代表他的执行率高,这就是为什么HikariCP受欢迎的原因之一。HikariCP是经受了市场的考验,走过太上老君的丹炉,现如今拿到SpringB

wintershii / 0评论 2020-08-17

Redis 执行性能测试

Redis 性能测试是通过同时执行多个命令实现的。仅运行以逗号分隔的测试命令列表。仅打开 N 个 idle 连接并等待。$ redis-benchmark -h 127.0.0.1 -p 6379 -t set,lpush -n 10000 -q. 以上实

vapaad / 0评论 2020-08-17

Redis服务之高可用组件sentinel详解

有没有这样的一组件帮我们对master做实时的监控，一旦发现master宕机就提升一个slave当选新的master，如果原master还有其他slave，将其他slave都从属于新的master；除此之外它还应该让系统在发生切换master时触发报警通知

wera00 / 0评论 2020-08-17

js实现表格单列按字母排序

本文实例为大家分享了js实现表格单列按字母排序的具体代码，供大家参考，具体内容如下。<link href="../css/表格数据搜索.css" rel="stylesheet">. <input

移动开发与培训 / 0评论 2020-08-16

js实现表格数据搜索

<input type="text" placeholder="搜索..." id="myInput" onkeyup="myFunction()">

ReunionIsland / 0评论 2020-08-16

PyQt5 QDockWidget控件应用详解

QDockWidget是一个可以停靠在QMainWindow内的窗口控件，它可以保持在浮动状态或者在指定位置作为子窗口附加到主窗口中，QMainWindow类的主窗口对象保留有一个用于停靠窗口的区域，这个区域在控件的中央周围。QDoCKWidget类中的常

JimyFengqi / 0评论 2020-08-16

使用imp和exp命令对Oracle数据库进行导入导出操作详解

例子：导出mydb数据库system用户，密码为123456的所有数据到D:\example.dmp文件中

love0u / 0评论 2020-08-16

MySQL INT类型全解析

整型是MySQL中最常用的字段类型之一，通常用于存储整数，其中int是整型中最常用的，对于int类型你是否真正了解呢？本文会带你熟悉int类型相关知识，也会介绍其他整型字段的使用。mysql> show warnings;+---------+---

LearningMySQL / 0评论 2020-08-15

php连接mysql之mysql_connect()与mysqli_connect()的区别

mysqli_connect() 函数打开一个到 MySQL 服务器的新的连接。规定主机名或 IP 地址。规定 socket 或要使用的已命名 pipe。1，这里面的mysql_connect，三个参数都不能少。第一个参数一般是本地站点，比如localho

Jaystrong / 0评论 2020-08-15

Runoob-ES6：ES6 环境搭建

目前各大浏览器基本上都支持 ES6 的新特性，其中 Chrome 和 Firefox 浏览器对 ES6 新特性最友好，IE7~11 基本不支持 ES6。Node.js 是运行在服务端的 JavaScript，它对 ES6 的支持度更高。如果你还不了解 No

SelinaChan / 0评论 2020-08-14

Postman参数化实现过程及原理解析

错误编码，0为成功。2、根据接口文档，填写相应URL、请求方式和参数或表单：

pushTop / 0评论 2020-08-15

表格标签的使用

在HTML网页中，要想创建表格，就需要使用表格相关的标签。表格包含三对HTML标签，分别为<table></table>、<tr></tr>、<td></td>，他们是创建表格的基本标

行吟阁 / 0评论 2020-08-09

HTML5标签2

表格的现在还是较为常用的一种标签，但不是用来布局，常见处理、显示表格式数据。在HTML网页中，要想创建表格，就需要使用表格相关的标签。<table> <tr> <td>单元格内的文字</td> ...

gufudhn / 0评论 2020-08-09

CSS盒子模型

CSS盒子模型本质上是一个盒子，封装周围的HTML元素。该属性控制浏览器绘制表格边框的方式，它控制相邻单元格的边框。使用margin定义块元素的垂直外边距时，可能会出现外边距的合并。如上图，出现了取两个值中的较大者的现象，即为相邻块元素垂直外边距的合并。这

myloveqiqi / 0评论 2020-08-09

appium键值对

iPhone Simulator,iPad Simulator,iPhone Retina 4-inch,Android Emulator,Galaxy S4, 等等.... 在 iOS 上，使用 Instruments 的instruments -s d

xjp / 0评论 2020-08-03

SHELL正则表达式

完成日常工作中我们需要得特定字符串匹配，或者从输出内容中匹配出符合我们需要得内容。1丶匹配标点符号[ ~]# grep ‘[[:punct:]]‘ /etc/fstab2丶匹配任意字母或者数字[ ~]# echo "I m Love ZhongG

山水沐光 / 0评论 2020-08-03

02_数据库之DDL语句

接下来的数据库我们将会以Oracle11g为例子来进行演示。我们在安装了数据库之后，其实，他就是开启了一个数据库服务，因此我们称之为数据库服务/或者数据库服务端。通常在公司里，数据库的服务会24小时提供服务，等待别人对他发送指令。所以我们需要通过客户端来连

拼命工作好好玩 / 0评论 2020-08-03

MySQL优化--概述以及索引优化分析

错误日志log-error：默认关闭，记录严重警告和错误信息，启动和关闭的详细信息等。每个MyISAM在磁盘上存储成三个文件。第一个文件的名字以表的名字开始，扩展名指出文件类型。基于磁盘的资源是InnoDB表空间数据文件和它的日志文件，InnoDB 表的大

cyhgogogo / 0评论 2020-08-01

11.mysql SQL优化之SQL问题定位

MySQL 客户端连接成功后，通过 show [session|global] status 命令可以提供服务器状态信息。show [session|global] status 可以根据需要加上参数“session”或者“global”来显示 sessi

婷婷小屋 / 0评论 2020-07-28

微信小程序--路由变化对页面生命周期的影响

调用 APIwx.navigateTo使用组件<navigator open-type="navigateTo"/>

且听真言 / 0评论 2020-07-27

HTML5的新语义和新结构元素

自1999年以后HTML 4.01 已经改变了很多,今天，在HTML 4.01中的几个已经被废弃，这些元素在HTML5中已经被删除或重新定义。为了更好地处理今天的互联网应用，HTML5添加了很多新元素及功能，比如: 图形的绘制，多媒体内容，更好的页面结构，

swiftwwj / 0评论 2020-07-21

Threading Programming Guide:Thread Management

创建线程是有开销的，这些开销主要包括空间上的开销以及时间上的开销:在kernel里面分配存储空间，用来存储线程相关的数据和属性；线程的栈空间；线程创建的时间。使用NSThread创建线程的时候，会发通知表明应用已经进入了多线程模式，而是用POSIX线程的时

LeoDLi / 0评论 2020-07-19

Python time模块常用函数

由于Python的time模块实现主要调用C库，所以各个平台可能有所不同。我们运行“type”，返回的是float类型。secs参数未提供，则以当前时间为准。6）time.clock()：这个需要注意，在不同的系统上含义不同。如果t未指定，将传入time.

Greatemperor / 0评论 2020-07-19

ssh配置、vscode使用及常用扩展

　　1.3 命令行输入cd .ssh进入目录，按下tab切换到id_rsa.pub文件回车即可打开 ，　　复制内容打开github，Settings > SSH and GPG keys > New SSh keys. 　　打开vscode，左

sshong / 0评论 2020-07-19

【从C#走进python】一、上下文管理器

　　我个人对python的学习没有那么系统，一开始想改造引用的类库，发现自己被一些语法问题卡顿，效率就低了。　　于是就很想看看C#与python的比较，感觉这样切语言适应起来会舒服些，我就自己写吧。　　买了一本书《深入理解Python特性》，嗯我总觉得那些

qiximiao / 0评论 2020-07-05

全文检索:sphinx elasticsearch xunsearch 比较

快速创建索引：3分钟左右即可创建近100万条记录的索引，并且采用了增量索引的方式，重建索引非常迅速。为很多脚本语言设计了检索API，如PHP,Python,Perl,Ruby等，因此你可以在大部分编程应用中很方便地调用Sphinx的相关接口。为MySQL设

wenwentana / 0评论 2020-07-05

MySQL高级【四】SQL 优化

在应用的开发过程中，由于初期数据量小，开发人员写 SQL 语句时更重视功能上的实现，但是当应用系统正式上线后，随着生产数据量的急剧增长，很多 SQL 语句开始逐渐显露出性能问题，对生产的影响也越来越大，此时这些有问题的 SQL 语句就成为整个系统性能的瓶颈

happinessaflower / 0评论 2020-07-04

Mysql 事务隔离级别

Mysql 的存储引擎 InnoDB 使用 next key locking 解决幻读的问题。注意这是 Mysql 默认的隔离级别。在这个级别下，事务串行执行，它会对所有读到的数据加锁，所以没有任何数据不一致的问题，因此性能也很差。

silencehgt / 0评论 2020-07-04

CentOS 7 MySQL5.7 主从配置-binlog 新服务器从安装mysql到主从配置完成只需要3分钟

整个安装过程只要三步，我们要做的，修改一下脚本中的IP地址，之后复制在Linux服务器上粘贴。每一步脚本执行30秒左右 ，加上修改脚本中IP的时间，最多使用1分钟，所以3分钟足够安装完成mysql 和配置好从主。grant all privileges o

tangjianft / 0评论 2020-07-04

Bug生产队【Beta】Scrum meeting 3

Beta 测试第二天：2020.6.28. 找Bug和数据库功能测试。通过测试用例运行数据库，以验证该数据库功能的正确和无遗漏。实体完整性、参照完整性、用户定义的完整性等测试。测试数据库的安全措施是否发挥作用并达到预期效果，有无漏洞。增、删、改、查等操作测

zhanbuquan / 0评论 2020-06-28

【Beta】Scrum meeting 3

1）微信授权登陆有时候不成功：之前微信授权登录时是直接可以通过getUserInfo接口 弹出授权弹窗。由于微信官方修改了 getUserInfo 接口，所以现在无法实现一进入微信小程序就弹出授权窗口，只能通过 button 去触发。第一个bug已修复，第

mohanzb / 0评论 2020-06-28

Vue开发中cnpm,yarn,npm,nodejs 区别与关系

yarn是Facebook公司出品的用于管理nodejs包的一款软件。yarn是为了弥补 npm 的一些缺陷而出现的，建议使用yarnnpm是随同nodejs一起安装的包管理工具。cnpm是淘宝 npm镜像，更快。

YarnSup / 0评论 2020-06-28

常用 Linux 命令的基本使用

Linux 刚面世时并没有图形界面，所有的操作全靠命令完成，如 磁盘操作、文件存取、目录操作、进程管理、文件权限 设定等。在职场中，大量的 服务器维护工作 都是在 远程 通过 SSH 客户端 来完成的，并没有图形界面，所有的维护工作都需要通过命令来完成

Vampor / 0评论 2020-06-27

数据库基本语法

末点 / 0评论 2020-06-27

（一）hive远程模式搭建

# scp -r /opt/soft/mysql-5.7.18-1.el7.x86_64.rpm-bundle.tar :/usr/ 发安装包。# rpm -qa|grep mariadb 检查：这是离线包安装方式所以要检查并且卸载mariadb. #

成长之路 / 0评论 2020-06-26

Hive学习(二)【数据类型、类型转换】

可以指定字符集。可以使用单引号或者双引号。和c语言中的struct类似，都可以通过“点”符号访问元素内容。MAP是一组键-值对元组集合，使用数组表示法可以访问数据。数组是一组具有相同类型和名称的变量的集合。例如CAST将把字符串‘1‘ 转换成整数1；如果强

tomson / 0评论 2020-06-26

CSS的选择器

匹配所有具有att属性的E元素，不考虑它的值。匹配所有att属性具有多个连字号分隔的值、其中一个值以“val”开头的E元素，主要用于lang属性，比如“en”、“en-us”、“en-gb”等等。q:lang { quotes: “\201D” “\201

somboy / 0评论 2020-06-26