Linux下另类内存缓冲池设计(CBufferPool)

Annihilation 2011-08-15

本文所说的缓冲池的构建与一般的开辟一个大的内存,需要申请内存时就直接在该大内存中再划分出小内存出来使用不同,CBufferPool使用的是队列链表,程序按出队/入队的方式对内存进行读写.

设计该类的目的是因为在需求中,我有一个写入线程和一个读取线程,读取线程会挨个读取写入线程写入的数据,于是想到使用队列,按先入先出的方式可以顺序读取已写入的数据,由于考虑到可能需要动态增加队列的大小,故采用了环形链表形式的队列.第一个问题解决,即决定了所要使用的数据结构--环形队列链表.

第二个考虑的问题是,在使用时不使用什么GetReadBuffer/PutWriteBuffer之类的显式调用读写队列的方法,我只需要通过相同的方法如本设计所使用的GetOut/PutBack方法就可以取到读或写缓冲,仅需在参数中指定我需要获取到的是读还是写缓冲就行了,这样可以很好地屏蔽二者在调用上的差异.所以,我设计了UserBuffer结构体,并在其中添加属性type,用于标识该buffer是用于读的还是用于写的.同时,在使用GetOut方法获取到要使用的buffer后,UserBuffer中的id将被赋值为与缓冲池中对应的PoolBuffer的id相同的值,这样在使用PutBack放回该buffer时就能区分该buffer是否是CBufferPool所返回的缓冲,防止可能出现的非法操作,如放回不属于CBufferPool所返回的缓冲等.

第三个问题是考虑到缓冲池中使用的数据结构应该和用户使用的数据结构是类似的,只是在缓冲池中需要有指向下一个缓冲的指针,并且缓冲池内部的数据结构对使用者是不开放的,使用者不能看到或直接使用该数据,故而,最终设计了用户使用类UserBuffer和缓冲池内部类PoolBuffer.从代码中可以看到两个数据结构基本上是相同的,不同的除了PoolBuffer中的next指针以外,就是UserBuffer中用于标识该缓冲的使用或请求类型的type和PoolBuffer中标识该缓冲处于读还是写状态的status.也就是,当用户标识UserBuffer的type为POOL_BUFFER_TYPE_READ时,通过方法GetOut方法缓冲池就会返回队列首部的可读的缓冲,同时该缓冲将被标记状态为POOL_BUFFER_STATUS_READING,防止该缓冲被写入线程使用;当UserBuffer的type为POOL_BUFFER_TYPE_WRITE时,通过GetOut方法可以得到缓冲池中可写的缓冲,同样地该缓冲的状态将被标记为POOL_BUFFER_STATUS_WRITING,防止读线程使用.

第四个问题是,本设计在获取写缓冲时会根据请求的缓冲大小动态地开辟合适的内存空间,当所请求的大小和已经存在的缓冲大小不相同时便会重新开辟新的内存空间,但是出现的问题是当请求的缓冲大小和已经存在的缓冲大小相差不是很大,比如就在1KB以内,那如果是比较两者大小不相等就开辟的话,这个效率上就会很差了,所以,在设计中,采用了按片(Slice)开辟缓冲的方法,在比较时采用了比较两者所占用的片的个数是否相等来判断是否要重新开辟内存的方法,这在一定程度上减少了重复开辟新内存的消耗.不过本版本还未提供修改片大小的方法,加上也不麻烦,所以就不加了.^_^

于是,经过一段时间的思考和实验,最终完成了该设计,并贴出源代码,供有需要的盆友参考

本设计还存在许多不足,比如该版本只考虑了单写入线程/单读取线程,没有考虑多个写入线程/多读取线程的情况,只能说是满足了基本的要求,待改进部分还是很多的,有机会和需求时再做改进吧.Linux下另类内存缓冲池设计(CBufferPool)

buffer.h:

  1. /** 
  2.  *  buffer.h 
  3.  *  
  4.  *  Copyright (C) 2011 flytreeleft([email protected]). 
  5.  * 
  6.  * This file is placed under the LGPL.  
  7.  * 
  8.  * If you have some questions or advises, please email me! 
  9.  *                        Thank you! 
  10.  */  
  11.   
  12.   
  13. #ifndef __BUFFER_H_   
  14. #define __BUFFER_H_   
  15.   
  16. typedef unsigned int uint32_t;  
  17.   
  18. typedef struct UserBuffer {  
  19.     // the buffer pool will use the id to decide   
  20.     // whether this buffer belongs to it or not   
  21.     uint32_t id;  
  22.     // using type -- to read or to write   
  23.     int type;  
  24.     // the size of buffer which is got   
  25.     // or needed to set   
  26.     uint32_t size;  
  27.     void *start; // address of buffer   
  28. } Buffer;  
  29.   
  30. #endif  

bufferpool.h:

  1. /** 
  2.  *  bufferpool.h 
  3.  * 
  4.  *  Copyright (C) 2011 flytreeleft([email protected]). 
  5.  * 
  6.  * This file is placed under the LGPL.  
  7.  * 
  8.  * If you have some questions or advises, please email me! 
  9.  *                        Thank you! 
  10.  */  
  11.   
  12.   
  13. #ifndef __BUFFER_POOL_H_   
  14. #define __BUFFER_POOL_H_   
  15.   
  16. #include <pthread.h>   
  17. #include "buffer.h"   
  18.   
  19. #define MIN_POOL_BUFFER_COUNT   (1)   
  20. #define POOL_BUFFER_INVALID_ID  (0)   
  21. enum {  
  22.     POOL_BUFFER_TYPE_UNKNOWN,  
  23.     POOL_BUFFER_TYPE_READ,  
  24.     POOL_BUFFER_TYPE_WRITE  
  25. };  
  26. enum {  
  27.     POOL_BUFFER_STATUS_UNUSED = 0,  
  28.     POOL_BUFFER_STATUS_READING,  
  29.     POOL_BUFFER_STATUS_WRITING  
  30. };  
  31.   
  32. class CBufferPool {  
  33.     private:  
  34.         typedef struct _PoolBuffer {  
  35.             // every buffer has a different id in pool   
  36.             uint32_t id;  
  37.             // using status of buffer   
  38.             int status;  
  39.             // address of buffer   
  40.             void *start;  
  41.             uint32_t size;  
  42.             struct _PoolBuffer *next;  
  43.         } PoolBuffer;  
  44.   
  45.         uint32_t id_seed;  
  46.         PoolBuffer *input;  
  47.         PoolBuffer *output;  
  48.         PoolBuffer *head;  
  49.         uint32_t slice_size; // size per slice   
  50.         pthread_mutex_t rw_mutex;  
  51.         int size;  
  52.     public:  
  53.         CBufferPool(void);  
  54.         CBufferPool(int count);  
  55.   
  56.         void SetSliceSize(uint32_t size);  
  57.         int GetSize(void) { return size; }  
  58.   
  59.         bool Increase(int increase);  
  60.         bool Decrease(int decrease);  
  61.         void Create(int count);  
  62.         void Clear(void);  
  63.   
  64.         bool GetOut(Buffer *buffer);  
  65.         bool PutBack(Buffer *buffer);  
  66.   
  67.         bool IsFull(void);  
  68.         bool IsEmpty(void);  
  69.   
  70.         void Print(void);  
  71.   
  72.         ~CBufferPool(void);  
  73.     private:  
  74.         void InitData(void);  
  75.         bool IsClear(void);  
  76.         bool GetReadBuffer(Buffer *reader);  
  77.         bool GetWriteBuffer(Buffer *writer);  
  78.         bool PutReadBuffer(Buffer *reader);  
  79.         bool PutWriteBuffer(Buffer *writer);  
  80.         uint32_t GenerateId(void) {  
  81.             return ++id_seed;  
  82.         }  
  83. };  
  84.   
  85. #endif  
Annihilation

Annihilation

相关推荐

Nginx 是如何处理 HTTP 头部的？

Nginx 在处理 HTTP 请求之前，首先需要 Nginx 的框架先和客户端建立好连接，然后接收用户发来的 HTTP 的请求行，比如方法、URL 等，然后接收所有的 Header，根据这些 Header 信息，才能决定由哪些 HTTP 模块处理请求。下面

yongzhang / 0评论 2020-05-25

python之路(内存,小数据池,编码等)

python真正的代码块:一个模块，一个函数，一个类，一个文件等都是一个代码块。python在同一个代码块中的变量，初始化对象的命令时，它会将变量与值的对应关系放到一个字典中，如果下面的代码在遇到初始化对象的命令，他会先从字典中寻找，如果存在相同的值，他会

paopao00 / 0评论 2020-02-16

8.池化内存分配

java作为一门拥有GC机制的语言，长久以来它的使用者都不必手动管理内存，这比起c/c++是一个巨大的进步。但现在netty却反其道而行之，实现了一套不依赖GC而自行管理内存的机制。而与此同时，DirectByteBuffer也有自身的不足，那就是它的申请

gzx0 / 0评论 2020-01-31

开源C++函数库Boost内存池使用与测试

　　Boost库是一个可移植的开源C++函数库，鉴于STL已经成为C++语言的一个组成部分，可以毫不夸张的说，Boost是目前影响最大的通用C++库。Boost库由C++标准委员会库工作组成员发起，其中有些内容有望成为下一代C++标准库内容，是一个“准”标

fatansitic / 0评论 2011-07-27

netty源码解解析(4.0)-24 ByteBuf基于内存池的内存管理

　　PooledByteBuf的初始化过程分为两个步骤：创建实例；初始化内存。　　创建实例时调用的构造方法只是为maxCapacity和recyclerHandler属性赋值，构造方法是protected，不打算暴露到外面。private static f

追寻水中桥 / 0评论 2019-10-19

券池重构

之前的券池分成两个部分，一个Job和一个Service。Job会每分钟loop券首位（1-9），生成一批券码往数据库里面插，这里需要做一些过滤：老券池、新券池、内存券池和券表。它会在外部请求发券时定位到某个券池，看它的券够不够，够的话直接返回，否则重新去数

lglovejava / 0评论 2016-04-19

Netty内存池之PoolThreadCache详解

PoolThreadCahche是Netty内存管理中能够实现高效内存申请和释放的一个重要原因，Netty会为每一个线程都维护一个PoolThreadCache对象，当进行内存申请时，首先会尝试从PoolThreadCache中申请，如果无法从中申请到，则

帅性而为号 / 0评论 2019-07-11

用C++实现自己的内存池

说到内存，与之紧密相联系的一个概念就是指针。回想起上学那会儿，自己对指针是即喜欢，又害怕。因为学好了指针，就可以学好C，继而学好C++，但面对那些晦涩的概念，和程序运行中一些莫名其妙的指针越界、内存泄露……，不免叫人步步惊心。

二十不悔三十而立 / 0评论 2016-07-10

Swoole 源码分析——内存模块之内存池

前言Swoole 中为了更好的进行内存管理，减少频繁分配释放内存空间造成的损耗和内存碎片，程序设计并实现了三种不同功能的内存池：FixedPool，RingBuffer 和 MemoryGlobal。swMemoryPool 内存池数据结构无论是哪种内存池

了不起的厂长 / 0评论 2019-06-28

剖析Nginx内存池所看到的资料

);//这个方法直接释放内存池所有的资源void ngx_reset_pool(……);//这个方法主要是释放了大块内存资源，对于小块内存资源的不释放直接归零复用ngx_int_t ngx_pfree(……);//这个方法只负责释放大块内存static v

Lincain / 0评论 2019-06-26

MySQL内存池结构源码 my_alloc.h

MySQL使用内存池结构,理解该结构挺简单的，但是对于my_alloc.c中的分配过程感觉上很难理解。

杨宗纬 / 0评论 2011-06-08

Nginx源码分析-内存池

Nginx的内存池实现得很精巧，代码也很简洁。总的来说，所有的内存池基本都一个宗旨：申请大块内存，避免“细水长流”。nginx内存池主要有下面两个结构来维护，他们分别维护了内存池的头部和数据部。//该结构用来维护内存池的数据块，供用户分配之用。ngx_pc

mfcaiblog / 0评论 2011-08-16

详解Nginx中基本的内存池初始化配置

ngx_cycle 的初始化整个初始化过程中，最重要的就是全局变量 nginx_cycle 的初始化，很多变量都是在这个过程中初始化的。事实上，日志初始化也可以算是对 nginx_cyle 的初始化，因为在代码中接下来马上要发生的就是一个赋值。内存池ngi

ljlxyf / 0评论 2016-07-13

内存池简易版 c语言

int validsize = blk->next - blk - sizeof* - blk->size;

神经科学 / 0评论 2018-01-24

详谈内存管理技术（一）

先自问一个问题：C++有几种new？我一直以为是两种：operator new 和 placement new。刚刚查了下，原来是3种：还有一个是new operator。而且，我还弄错了一个...但是，无论如何，我们能够改变的只有两个：。而剩下的那个ne

编程爱好者联盟 / 0评论 2017-01-26