【Android音视频开发】从AVFrame到MediaFrame数组(二)

PGzxc 2019-06-28

本文记录的是从AVFrame到Bitmap的实现过程,为了突出重点,FFmpeg解码视频文件得到AVFrame的过程不在这里记录,如需要了解,可以看下【Samples】demuxing_decoding

目的

前提:假定我们已经通过FFmpeg解码视频文件获取到AVFrame了。

实现从AVFrame到Bitmap的转换。

Native层创建Bitmap

这个bitmap也可以由Java层传递过来,不过我们这里假设Java层只给了我们一个视频文件的路径。

底层创建Bitmap,也是一写JNI方面的操作了,这里给出提供一个create_bitmap函数:

jobject create_bitmap(JNIEnv *env, int width, int height) {
    
    // 找到 Bitmap.class 和 该类中的 createBitmap 方法
    jclass clz_bitmap = env->FindClass("android/graphics/Bitmap");
    jmethodID mtd_bitmap = env->GetStaticMethodID(
            clz_bitmap, "createBitmap",
            "(IILandroid/graphics/Bitmap$Config;)Landroid/graphics/Bitmap;");
    
    // 配置 Bitmap
    jstring str_config = env->NewStringUTF("ARGB_8888");
    jclass clz_config = env->FindClass("android/graphics/Bitmap$Config");
    jmethodID mtd_config = env->GetStaticMethodID(
            clz_config, "valueOf", "(Ljava/lang/String;)Landroid/graphics/Bitmap$Config;");
    jobject obj_config = env->CallStaticObjectMethod(clz_config, mtd_config, str_config);
    
    // 创建 Bitmap 对象
    jobject bitmap = env->CallStaticObjectMethod(
            clz_bitmap, mtd_bitmap, width, height, obj_config);
    return bitmap;
}

然后,我们调用该函数,获取bimtap对象:

jobject bitmap  = create_bimap(env, frame->width, frame->height);

获取Bitmap像素数据地址,并锁定

void *addr_pixels;
AndroidBitmap_lockPixels(env, bitmap, &addr_pixels);

解释一下这两句话:

  1. 第一句的作用声明并定义一个指向任意类型的指针变量,名称是addr_pixels。我们定义它的目的,是让它指向bitmap像素数据(即: addr_pixels的值为bitmap像素数据的地址)。注意哦,这时候,addr_pixels的值是一个随机的值(假定此时为:0x01),由系统分配,它还不指向bitmap像素数据。
  2. 第二句话的作用就是将bitmap的像素数据地址赋值给addr_pixels,此时它的值被修改(假定为:0x002)。并且锁定该地址,保证不会被移动。【注:地址不会被移动这里我也不太懂什么意思,有兴趣的可以去查看该方法的API文档】

【注:】此时的bitmap由像素数据的地址,但是该地址内还没有任何像素数据哦,或者说它的像素数据为\0

到这里,我们已经有了源像素数据在AVFrame中,有了目的像素数据地址addr_pixels,那么接下来的任务就是将AVFrame中的像素数据写入到addr_pixels指向的那片内存中去。

向Bitmap中写入像素数据

这里要说一下,我们获取到的AVFrame的像素格式通常是YUV格式的,而Bitmap的像素格式通常是RGB格式的。因此我们需要将YUV格式的像素数据转换成RGB格式进行存储。而RGB的存储空间Bitmap不是已经给我门提供好了吗?嘿嘿,直接用就OK了,那现在问题就是YUV如何转换成RGB呢?
关于YUV和RGB之间的转换,我知道的有三种方式:

  1. 通过公式换算
  2. FFmpeg提供的libswscale
  3. Google提供的libyuv

这里我们选择libyuv因为它的性能好、使用简单。

说它使用简单,到底有多简单,嘿,一个函数就够了!!

libyuv::I420ToABGR(frame->data[0], frame->linesize[0], // Y
                   frame->data[1], frame->linesize[1], // U
                   frame->data[2], frame->linesize[2], // V
                   (uint8_t *) addr_pixels, linesize,  // RGBA
                   frame->width, frame->height);

解释一下这个函数:

  1. I420ToABGR: I420表示的是YUV420P格式,ABGR表示的RGBA格式(execuse me?? 是的,你没看错,Google说RGBA格式的数据在底层的存储方式是ABGR,顺序反过来,看下libyuv源码的函数注释就知道了)
  2. frame->data&linesize: 这些个参数表示的是源YUV数据,上面有标注
  3. (uint8_t *) addr_pixels: 嘿,这个就是说往这块空间里写入像素数据啦
  4. linesize: 这个表示的是该图片一行数据的字节大小,Bitmap按照RBGA格式存储,也就是说一个像素是4个字节,那么一行共有:frame->width 个像素,所以:

    linesize = frame-> width * 4

【注:】关于这一小块功能的实现,可能其他地方你会看到这样的写法,他们用了如下接口:

// 思路是:新建一个AVFrame(RGB格式),通过av_image_fill_arrays来实现AVFrame(RGB)中像素数据和Bitmap像素数据的关联,也就是让AVFrame(RGB)像素数据指针等于addr_pixels
pRGBFrame = av_frame_alloc()
av_image_get_buffer_size()
av_image_fill_arrays()
/*
   我也是写到这里的时候,才想到这个问题,为什么要这样用呢,直接使用addr_pixels不是也一样可以么?
不过大家都这么用,应该是有它不可替代的使用场景的。因此这里也说一下av_image_fill_arrays这个函数。
*/

// TODO: 解释下这个函数的作用
av_image_fill_arrays(dst_data, dst_linesize, src_data, pix_fmt, width, height, align);
它的作用就是
1. 根据src_data,设置dst_data,事实上根据现象或者自己去调试,可以发现dst_data的值就是src_data的值(我印象中好像值是相同的,这会我忘了,后面我再验证下)
2. 根据pix_fmt, width, height设置linesize的值,其实linesize的计算就和我上面给出的那个公式是一样子的值

OK, 函数执行完毕,我们Bitmap就有了像素数据,下面就是把Bitmap上传给Java层

Native回调Java接口

说下Java层

  1. 有一个MainActivity.java用于界面的显示
  2. 有一个JNIHelper.java用于Java层和Native层的沟通

    public class JNIHelper {
       public void onReceived(Bitmap bitmap){
           // TODO: Java层接收到Bitmap后,可以开始搞事情了
       }
    }

Native层的回调代码如下:

jclass clz = env->FindClass("me/oogh/xplayer/JNIHelper");
jmethodID method = env->GetMethodID(clz, "onReceived", "(Landroid/graphics/Bitmap;)V");
env->CallVoidMethod(obj, method, bitmap);

同样也解释一下:

  1. FindClass: 找到JNIHelper类
  2. GetMethodID: 找到JNIHelper类中的void onReceived(Bitmap bitmap)方法
  3. CallVoidMethod: 刚开始我们创建的bitmap对象,作为参数,执行onReceived

至此,从AVFrame到Bitmap,再将Bitmap上传,就已经完成了。

链接到下一文:《从AVFrame到MediaFrame数组(三)》

参考链接

  1. Android JNI 之 Bitmap操作:https://juejin.im/post/5b5810...
  2. Bitmap | Android NDK:https://developer.android.com...

相关推荐