flutter视频转码的简单介绍

Flutter音视频裁剪flutter_ffmpeg踩坑笔记

ffmpeg是一个音视频处理库，通过命令行的形式，对音视频进行处理，而MobileFFmpeg

我们提供的服务有：成都网站制作、网站设计、外贸网站建设、微信公众号开发、网站优化、网站认证、齐齐哈尔ssl等。为上1000家企事业单位解决了网站和推广的问题。提供周到的售前咨询和贴心的售后服务，是有科学管理、有技术的齐齐哈尔网站制作公司

则是ffmpeg在移动端的实现，flutter_ffmpeg是对MobileFFmpeg的封装，是的在flutter下能够轻松的使用ffmpeg对音视频进行处理。flutter_ffmpeg包括两部分FFmpeg和FFprobe,其中FFmpeg负责音视频处理，而FFprobe主要负责查询音视频的媒体信息。

flutter_ffmpeg地址

android工程下的配置

上面配置中的”full-lts” 是flutter__ffmpeg各个发布版本的报名，可以查看官方文档的说明。有一个值得说明的地方是，flutter_ffmpeg有中发行包，一种是 Main Release,一种是LTS Release 发行包，而他们两者支持的 Android API Level/iOS SDK和硬件架构是不一样的，总的来说，LTS版本支持的更广泛，LTS支持度大于MAIN,所以我们最好使用LTS版本。

这里我遇到一个问题，使用full-lts编码格式，会出现上传到服务器无法播放视频的情况。

所以我这里是用的：

另外在使用flutter_ffmpeg的时候出现类似问题：

通过clean可以解决

使用gpl保证裁剪视频默认使用x264(不然会出现上传视频无法播放的问题)，具体可以查看flutter_ffmpeg封装编码

flutter_ffmpge是ffmpeg在flutter上的一个实现，ffmpeg是通过命令行还进行音视频编辑的工具，因此我们使用fluter_ffmpeg自然也是运行一些命令来实现我们的功能。具体使用方法可以直接看 ffluter_ffmpeg官方文档 和 ffmpeg官方文档 ，或者看一下更加通俗易懂的 阮一峰文档 。接下来我们主要看看flutter_ffmpeg能干什么？

做音视频处理，首先我们肯定想知道我们的处理是否成功，或者效果好不好，那么我们只能通过处理的视频前后的参数进行对比，因此第一步我们要求这个视频处理库详细的给我们提供音视频的信息,flutter_ffmpeg的FFProde能够很好的实现这一点，而且使用很方便：

-r 20：表示帧率设置为 20fps

fs 20 : 表示文件大小最大值为15MB

把视频截了一部分 --- 这种方法不推荐

-s vga : 指定分辨率， vga 代表 600*480，也可以换成其他的值

-b:v 1.5M : 指定码率

-b:v :指定视频的码率

-b:a : 指定音频的码率

1.5M：码率的值 1.5M 表示 1.5Mb/s

比如我在项目里用到上传到服务器的视频时长需要控制在60s以内的功能，我们就可以这样：

从n开始，裁剪m秒长度的视频

从n秒开始，裁剪到m秒的视频

Flutter TextTrue ios 视频渲染 YUV420 转换 BGRA

网易云信播放器 Flutter 封装

事情是这样的 我们公司的业务是有 视频播放这一块业务 而且 是基于网易云信的 视频服务的 做的开发 。公司的App开发框架是使用 Flutter , 那么问题来了 Flutter 怎么 实现视频播放嘞 , 官方给出的解决方案 是 ### video_player 这个库的 实现 是 原生端做视频解码 然后通过 Texture 的方式 映射到 Flutter 中 但是解码器 IOS 使用的是 官方的 AVPlayer (苹果官方提供的播放器 啥都好 就是不支持流媒体播放 ) Android 解码器则是 exoplayer 很好很nice

但是

网易云信的视频 是加密的 只有自己的 播放器sdk 在能解码播放 android 和 ios 都支持流媒体 so 只能自己封装

Android 使用 SurfaceTexture 衔接 视频流 正常 但是 ios emmm 网易云信 播放器 返回 的 编码格式 是 NELP_YUV420 就是 YUV420 直接映射到 Flutter 黑屏 但是有声音

因为Skia 引擎底层只支持了 BGRA 格式的视频数据 所以 和黑屏了

首先我们吧 YUV420 转换成 CVPixelBufferRef 方法如下

该方法依赖 libyuv 请自行导入

然后是 pixelBuffer To SampleBuffer

最后吧 SmapleBuffer 转换 BGRA

方法如何使用

Flutter开发--视频播放器

目前Flutter平台主流的两个播放器是video_player和fijkplayer

pub

github

1、Flutter平台官方插件，作者是国外的，有问题沟通比较困难，只能通过提交issue

2、硬解码

4、UI封装： better_player

基于video_player和Chewie的高级视频播放器。它解决了许多典型的用例，并且易于运行。

5、播放器宽高比例与视频内容宽高比例不一致时，会出现图像压缩变形的问题

6、调用原生内核播放器：iOS--AVPlayer， Android--ExoPlayer

7、对于分段源 m3u8 的播放不友好，如果一个切片播放超时，会导致整个播放都失败

8、better_player可以缓存视频，但不能自定义缓存的地址，只能指定key，和缓存的最大内存量（还未研究超出最大的话是不能缓存新的，还是删除最旧的）

9、better_player不能完全自定义UI，只能修改类中的一些开放属性，比如说icon图标，文字颜色啥的

10、无网络有缓存时，封面可以正常展示

11、better_player播放失败有手动retry的设计

pub

github

1、fijkplayer 是一个 Flutter 生态的媒体播放器，是对 ijkplayer 的 Flutter 封装，支持 Android 和 iOS。 fijkplayer 使用 ijkplayer 作为播放器内核，ijkplayer 使用 ffmpeg 进行音视频解封装和解码，同时添加了 Android 和 iOS 平台特有的硬件加速解码能力。

2 、国内有QQ群，但是活跃度也是不高。

3、可以缓存视频，可以自定义缓存的地址，方便后续的内存维护。

4、可以通过FijkPanelWidgetBuilder较大程度上自定义UI。

5、无网络有缓存视频时，无法展示封面，因为内部是通过imageProvider去加载网络图片的。

7、播放失败无手动retry的设计

1、两种播放器都是通过外接纹理方案 (Texture)，将播放器视频画面渲染接入 flutter 中，性能上优于 PlatformView 的接入方法。

如何自己实现？

下面以video_palyer的iOS源码部分解释：

iOS用CVPixelBufferRef将渲染出来的数据存在内存中，Flutter engine会将Texture的数据在内存中直接进行映射无需通过Channel传输，然后Texture Widget就可以把你提供的这些数据显示出来。在我们传输数据的时候会需要将其与 TextureID 绑定，绑定的过程通过BasicMessageChannel实现数据流的传输，以做到实时展示的效果

Flutter 音视频处理FFmpeg

只能说 Flutter 确实很强大

ffmpeg 插件，文档没给出如何给视频添加水印, 但是给出了执行命令的方法演示， 这就足够了。

添加一个水印:

String command = "-i " + inputVideoPath +

" -i "+waterMarkPath+" -filter_complex overlay "+

outVideoPath+"";

添加多个水印命令:

String command = "-i " + inputVideoPath +

" -i "+waterMarkPath2+" -i "+waterMarkPath+

" -filter_complex overlay=10:10,overlay=5:5 "+

outVideoPath+"";

将视频转换成小尺寸视频:

String command = "-i " + inputVideoPath +" -b:v 10000k -s 216x384 "+ outVideoPath+"";

如果碰到 App crash with error message: couldn't find "libmobileffmpeg_abidetect.so"

执行

flutter clean

flutter doctor -v