什么是muxer/demuxer?

android中mediamuxer和mediacodec的区别~

Android中MediaMuxer和MediaCodec用例
在Android的多媒体类中，MediaMuxer和MediaCodec算是比较年轻的，它们是JB 4.1和JB 4.3才引入的。前者用于将音频和视频进行混合生成多媒体文件。缺点是目前只能支持一个audio track和一个video track，而且仅支持mp4输出。不过既然是新生事物，相信之后的版本应该会有大的改进。MediaCodec用于将音视频进行压缩编码，它有个比较牛X的地方是可以对Surface内容进行编码，如KK 4.4中屏幕录像功能就是用它实现的。

注意它们和其它一些多媒体相关类的关系和区别：MediaExtractor用于音视频分路，和MediaMuxer正好是反过程。MediaFormat用于描述多媒体数据的格式。MediaRecorder用于录像+压缩编码，生成编码好的文件如mp4, 3gpp，视频主要是用于录制Camera preview。MediaPlayer用于播放压缩编码后的音视频文件。AudioRecord用于录制PCM数据。AudioTrack用于播放PCM数据。PCM即原始音频采样数据，可以用如vlc播放器播放。当然了，通道采样率之类的要自己设，因为原始采样数据是没有文件头的，如：
vlc --demux=rawaud --rawaud-channels 2 --rawaud-samplerate 44100 audio.pcm

回到MediaMuxer和MediaCodec这两个类，它们的参考文档见http://developer.android.com/reference/android/media/MediaMuxer.html和http://developer.android.com/reference/android/media/MediaCodec.html，里边有使用的框架。这个组合可以实现很多功能，比如音视频文件的编辑（结合MediaExtractor），用OpenGL绘制Surface并生成mp4文件，屏幕录像以及类似Camera app里的录像功能（虽然这个用MediaRecorder更合适）等。


这里以一个很无聊的功能为例，就是在一个Surface上画图编码生成视频，同时用MIC录音编码生成音频，然后将音视频混合生成mp4文件。程序本身没什么用，但是示例了MediaMuxer和MediaCodec的基本用法。本程序主要是基于两个测试程序：一个是Grafika中的SoftInputSurfaceActivity和HWEncoderExperiments。它们一个是生成视频，一个生成音频，这里把它们结合一下，同时生成音频和视频。基本框架和流程如下：

首先是录音线程，主要参考HWEncoderExperiments。通过AudioRecord类接收来自麦克风的采样数据，然后丢给Encoder准备编码：

AudioRecord audio_recorder;
audio_recorder = new AudioRecord(MediaRecorder.AudioSource.MIC,
SAMPLE_RATE, CHANNEL_CONFIG, AUDIO_FORMAT, buffer_size);
// ...
audio_recorder.startRecording();
while (is_recording) {
byte[] this_buffer = new byte[frame_buffer_size];
read_result = audio_recorder.read(this_buffer, 0, frame_buffer_size); // read audio raw data
// …
presentationTimeStamp = System.nanoTime() / 1000;
audioEncoder.offerAudioEncoder(this_buffer.clone(), presentationTimeStamp); // feed to audio encoder

}

这里也可以设置AudioRecord的回调（通过setRecordPositionUpdateListener()）来触发音频数据的读取。offerAudioEncoder()里主要是把audio采样数据送入音频MediaCodec的InputBuffer进行编码：

ByteBuffer[] inputBuffers = mAudioEncoder.getInputBuffers();
int inputBufferIndex = mAudioEncoder.dequeueInputBuffer(-1);
if (inputBufferIndex >= 0) {
ByteBuffer inputBuffer = inputBuffers[inputBufferIndex];
inputBuffer.clear();
inputBuffer.put(this_buffer);
...
mAudioEncoder.queueInputBuffer(inputBufferIndex, 0, this_buffer.length, presentationTimeStamp, 0);
}

下面，参考Grafika-SoftInputSurfaceActivity，并加入音频处理。主循环大体分四部分：

try {
// Part 1
prepareEncoder(outputFile);
...
// Part 2
for (int i = 0; i < NUM_FRAMES; i++) {
generateFrame(i);
drainVideoEncoder(false);
drainAudioEncoder(false);
}
// Part 3
...
drainVideoEncoder(true);
drainAudioEncoder(true);
} catch (IOException ioe) {
throw new RuntimeException(ioe);
} finally {
// Part 4
releaseEncoder();
}

第1部分是准备工作，除了video的MediaCodec，这里还初始化了audio的MediaCodec：

MediaFormat audioFormat = new MediaFormat();
audioFormat.setInteger(MediaFormat.KEY_SAMPLE_RATE, 44100);
audioFormat.setInteger(MediaFormat.KEY_CHANNEL_COUNT, 1);
...
mAudioEncoder = MediaCodec.createEncoderByType(AUDIO_MIME_TYPE);
mAudioEncoder.configure(audioFormat, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE);
mAudioEncoder.start();

第2部分进入主循环，app在Surface上直接绘图，由于这个Surface是从MediaCodec中用createInputSurface()申请来的，所以画完后不用显式用queueInputBuffer()交给Encoder。drainVideoEncoder()和drainAudioEncoder()分别将编码好的音视频从buffer中拿出来（通过dequeueOutputBuffer()），然后交由MediaMuxer进行混合（通过writeSampleData()）。注意音视频通过PTS（Presentation time stamp，决定了某一帧的音视频数据何时显示或播放）来同步，音频的time stamp需在AudioRecord从MIC采集到数据时获取并放到相应的bufferInfo中，视频由于是在Surface上画，因此直接用dequeueOutputBuffer()出来的bufferInfo中的就行，最后将编码好的数据送去MediaMuxer进行多路混合。

注意这里Muxer要等把audio track和video track都加入了再开始。MediaCodec在一开始调用dequeueOutputBuffer()时会返回一次INFO_OUTPUT_FORMAT_CHANGED消息。我们只需在这里获取该MediaCodec的format，并注册到MediaMuxer里。接着判断当前audio track和video track是否都已就绪，如果是的话就启动Muxer。

总结来说，drainVideoEncoder()的主逻辑大致如下，drainAudioEncoder也是类似的，只是把video的MediaCodec换成audio的MediaCodec即可。
while(true) {
int encoderStatus = mVideoEncoder.dequeueOutputBuffer(mBufferInfo, TIMEOUT_USEC);
if (encoderStatus == MediaCodec.INFO_TRY_AGAIN_LATER) {
...
} else if (encoderStatus == MediaCodec.INFO_OUTPUT_BUFFERS_CHANGED) {
encoderOutputBuffers = mVideoEncoder.getOutputBuffers();
} else if (encoderStatus == MediaCodec.INFO_OUTPUT_FORMAT_CHANGED) {
MediaFormat newFormat = mAudioEncoder.getOutputFormat();
mAudioTrackIndex = mMuxer.addTrack(newFormat);
mNumTracksAdded++;
if (mNumTracksAdded == TOTAL_NUM_TRACKS) {
mMuxer.start();
}
} else if (encoderStatus < 0) {
...
} else {
ByteBuffer encodedData = encoderOutputBuffers[encoderStatus];
...
if (mBufferInfo.size != 0) {
mMuxer.writeSampleData(mVideoTrackIndex, encodedData, mBufferInfo);
}
mVideoEncoder.releaseOutputBuffer(encoderStatus, false);
if ((mBufferInfo.flags & MediaCodec.BUFFER_FLAG_END_OF_STREAM) != 0) {
break;
}
}

}

第3部分是结束录制，发送EOS信息，这样在drainVideoEncoder()和drainAudioEncoder中就可以根据EOS退出内循环。第4部分为清理工作。把audio和video的MediaCodec，MediaCodec用的Surface及MediaMuxer对象释放。

最后几点注意：
1. 在AndroidManifest.xml里加上录音权限，否则创建AudioRecord对象时铁定失败：

2. 音视频通过PTS同步，两个的单位要一致。
3. MediaMuxer的使用要按照Constructor -> addTrack -> start -> writeSampleData -> stop 的顺序。如果既有音频又有视频，在stop前两个都要writeSampleData()过。

Code references：
Grafika: https://github.com/google/grafika
Bigflake: http://bigflake.com/mediacodec/
HWEncoderExperiments：https://github.com/OnlyInAmerica/HWEncoderExperiments/tree/audioonly/HWEncoderExperiments/src/main/java/net/openwatch/hwencoderexperiments
Android test：http://androidxref.com/4.4.2_r2/xref/cts/tests/tests/media/src/android/media/cts/
http://androidxref.com/4.4.2_r2/xref/pdk/apps/TestingCamera2/src/com/android/testingcamera2/CameraRecordingStream.java

可以使用xposed框架还有重力工具箱那里边有很多关于调整系统的东西，不过这个框架他上来会给你一个小心的警告有一些改版的系统，例如小米系统，阿里云系统之类的，不是谷歌原生的系统拾起来要有一些麻烦的地方具体的框架安装方式可以下载安装器，直接搜xposed安装器最好再安装一个xposed市场因为这个框架所基于的模块全都是全局英文的，在那个市场里边可以帮你，相当于一个翻译的工作，然后呢这个框架，如果你安装完毕了，以后千万不要把安装器给卸掉，如果卸掉安装器，就可能导致这个框架相当于就崩溃了所有依赖于这个框架的模块也将无法使用，包括重力工具箱不过这个框架需要root权限

muxer是指合并文件，即将视频文件、音频文件和字幕文件合并为某一个视频格式。比如把rmvb格式的视频，mp3格式的音频文件以及srt格式的字幕文件，合并成为一个新的mp4或者mkv格式的文件。

demuxer是muxer的逆过程，就是把合成的文件中提取出不同的格式文件。

MKV不是一种压缩格式，而是Matroska的一种媒体文件，Matroska是一种新的多媒体封装格式，也称多媒体容器 (Multimedia Container)。它可将多种不同编码的视频及16条以上不同格式的音频和不同语言的字幕流封装到一个Matroska Media文件当中。MKV最大的特点就是能容纳多种不同类型编码的视频、音频及字幕流。mkv不同于DivX、XviD等视频编码格式，也不同于MP3、Ogg等音频编码格式。MKV是为这些音、视频提供外壳的"组合"和"封装"格式。换句话说就是一种容器格式，常见的 DAT(是VCD的一种编码格式)AVl、VOB、MPEG、RM 格式其实也都属于这种类型。但它们要么结构陈旧，要么不够开放，这才促成了MKV这类新型多媒体封装格式的诞生。

muxer是合并将视频文件、音频文件和字幕文件合并为某一个视频格式。如，可将a.avi, a.mp3, a.srt用muxer合并为mkv格式的视频文件。demuxer是拆分这些文件的。

---

船山区17156439919： 做个调查,大家是喜欢REMUX,还是重编码的如MPEG2？
集冉赖氨： REMUX一词应该是2 个英文单词组成,缩写成了REMUX,原应该是Re(重新),Muxer(合成),连起来就是重新合成的意思.采用的视频及部分音频都是来自原版BD&HD DVD光碟无损提取后重新合成封装的,所以视频质量和原版BD&...

船山区17156439919： MKV封装时出现的问题 - ？
集冉赖氨： ACM=AUDIO CODEC for MS(or mediaplayer)ICM=IMAGE CODEC for MS(or mediaplayer)也就是播放器用来输出V/A的过滤器你用windows media source filter打开WMV,只是加载了这个文件,是没经过demu...

船山区17156439919： MKV封装时出现的问题 - ？
集冉赖氨： 直接&quotACM=AUDIO CODEC for MS(or mediaplayer) ICM=IMAGE CODEC for MS(or mediaplayer) 也就是播放器用来输出V/A的过滤器 你用windows media source filter打开WMV,只是加载了这个文件,是没经过demuxer的 直接连接到muxer...

船山区17156439919： 请问用什么软件在不改变格式的情况下,提高视频和声音的清晰度.请详细指教.非常感谢. - ？
集冉赖氨： 用【终极解码】看高清片,画质及音质,都会提高.但电脑硬件配置也是有一定要求的.下载地址:http://www.rsdown.cn/downpage.asp?id=3227文件名:FinalCodecs2009sp.exe 文件大小:70.19MB--------------------------------------- 终极解码 ...

船山区17156439919： 有没有什么软件可以提高下的视频的清晰度的? - ？
集冉赖氨： 用【终极解码】看高清片,画质及音质,都会提高.但电脑硬件配置也是有一定要求的. 下载地址: http://www.rsdown.cn/downpage.asp?id=3227 文件名:FinalCodecs2009sp.exe 文件大小:70.19MB --------------------------------------- 终极解码 ...

船山区17156439919： pmp格式的视频文件如何在电脑上播放?希望大家能给出一个播放器的下载连接!谢谢!？
集冉赖氨： 1:首先要有mencoder的包,有Wismencoder或者原来就用着winmenc的就没有问题了. mencoder+所有插件打包高速下载! http://dl.pcgames.com.cn/html/3/0/dlid=24680&dltypeid=3&pn=0&.html 2:下载附件的winmenc 0.5x.将压缩包内的所有文件COPY到mencoder的文件夹里.(比如Wis的安装目录),注意pmp_muxer,一定要放入! 3:运行winmenc.如图,点击载入配置. 详细情况请到 http://www.3g365.com/thread-125788-1-1.html来看看

船山区17156439919： 有没有什么软件可以提高下的视频的清晰度的? - ？
集冉赖氨： 会声会影就可以,当然这种提高是有限的

船山区17156439919： [求助]我下载好了粤语音轨,应该放在哪个目录?？
集冉赖氨： http://bbs.a9vg.com/viewthread.php?tid=908885&fpage=1

船山区17156439919： 请高手分析一下WebLogic 的一段日志,谢谢？
集冉赖氨： 路径....context for ＂/＂. .....Found no context for ＂/favicon.ico＂. 两段都表示路径有问题....