ios音视频开发,ios开发 音视频开发

iOS 音视频开发 - 系统中断音频（Swift语言）

注册 AVAudioSession.interruptionNotification 的通知，可以收到播放打断通知。 系统将此通知发布到主线程。

其中userinfo有如下字段：

分began与end，用来表示打断开始与打断结束。

只在打断结束时返回。选项用 shouldResume 来指示：另一个音频会话的中断已结束，应用程序可以恢复其音频会话。

该属性只在打断开始时返回。存在于版本iOS 10.3-14.5。

用于确定这次中断是否由于系统挂起App所致。

获取到的是一个NSNumber表示的Bool。为true表示中断是由于系统挂起，false是被另一音频打断。

该属性只在打断开始时返回。存在于版本iOS 14.5以后，用来代替 AVAudioSessionInterruptionWasSuspendedKey 。

default ：因为另一个音频会话被激活,音频中断。（例如后台播着音频，此时播放微信语音）

appWasSuspended ：由于APP被系统挂起，音频中断

builtInMicMuted ：音频因内置麦克风静音而中断(例如iPad智能关闭套【iPad's Smart Folio】合上)

相关问答

Q1: MAC/iOS利用FFmpeg解析音视频数据流

利用FFmpeg解析音视频流,音视频流可以来自一个标准的RTMP的URL或者是一个文件. 通过解析得到音视频流,进一步就可以解码, 然后视频渲染在屏幕上,音频通过扬声器输出.

利用FFmpeg框架中libavformat模块可以通过函数 av_read_frame 解析出音视频流的音视频数据,如果直接使用FFmpeg硬解,仅需要解析到AVPacket即可传给解码模块使用,如果使用VideoToolbox中的硬解, 对于视频数据,还需要获取其NALU Header中的(vps)sps, pps以便后续使用.

使用流程

FFmpeg parse流程

下面的链接中包含搭建iOS需要的FFmpeg环境的详细步骤,需要的可以提前阅读.

iOS手动编译并搭建FFmpeg

导入FFmpeg框架后,首先需要将用到FFmpeg的文件改名为.mm, 因为涉及C,C++混编,所以需要更改文件名

然后在头文件中导入FFmpeg头文件.

注意: FFmpeg是一个广为流传的框架,其结构复杂,一般导入都按照如上格式,以文件夹名为根目录进行导入,具体设置,请参考上文链接.

2.1. 注册FFmpeg

一般在程序中的main函数或是主程序启动的代理方法 - (BOOL)application:(UIApplication *)application didFinishLaunchingWithOptions:(NSDictionary *)launchOptions 中初始化FFmpeg,执行一次即可.

2.2. 利用视频文件生成格式上下文对象

C++音视频开发学习资料 ：点击领取 音视频开发（资料文档+视频教程+面试题）（FFmpeg+WebRTC+RTMP+RTSP+HLS+RTP）

2.3. 获取Audio / Video流的索引值.

通过遍历format context对象可以从 nb_streams 数组中找到音频或视频流索引,以便后续使用

2.4. 是否支持音视频流

目前视频仅支持H264, H265编码的格式.实际过程中,解码得到视频的旋转角度可能是不同的,以及不同机型可以支持的解码文件格式也是不同的,所以可以用这个方法手动过滤一些不支持的情况.具体请下载代码观看,这里仅列出实战中测试出支持的列表.

音频本例中仅支持AAC格式.其他格式可根据需求自行更改.

使用AVPacket这个结构体来存储压缩数据.对于视频而言, 它通常包含一个压缩帧,对音频而言,可能包含多个压缩帧,该结构体类型通过 av_malloc() 函数分配内存,通过 av_packet_ref() 函数拷贝,通过 av_packet_unref(). 函数释放内存.

解析数据

int av_read_frame(AVFormatContext *s, AVPacket *pkt); : 此函数返回存储在文件中的内容，并且不验证解码器的有效帧是什么。它会将存储在文件中的内容分成帧，并为每次调用返回一个。它不会在有效帧之间省略无效数据，以便为解码器提供解码时可能的最大信息。

获取sps, pps等NALU Header信息

通过调用av_bitstream_filter_filter可以从码流中过滤得到sps, pps等NALU Header信息.

av_bitstream_filter_init: 通过给定的比特流过滤器名词创建并初始化一个比特流过滤器上下文.

av_bitstream_filter_filter: 此函数通过过滤buf参数中的数据,将过滤后的数据放在poutbuf参数中.输出的buffer必须被调用者释放.

此函数使用buf_size大小过滤缓冲区buf，并将过滤后的缓冲区放在poutbuf指向的缓冲区中。

注意: 下面使用new_packet是为了解决av_bitstream_filter_filter会产生内存泄漏的问题.每次使用完后将用new_packet释放即可.

可以根据自己的需求自定义时间戳生成规则.这里使用当前系统时间戳加上数据包中的自带的pts/dts生成了时间戳.

本例将获取到的数据放在自定义的结构体中,然后通过block回调传给方法的调用者,调用者可以在回调函数中处理parse到的视频数据.

获取parse到的音频数据

因为我们已经将packet中的关键数据拷贝到自定义的结构体中,所以使用完后需要释放packet.

parse完成后释放相关资源

C++音视频开发学习资料 ：点击领取 音视频开发（资料文档+视频教程+面试题）（FFmpeg+WebRTC+RTMP+RTSP+HLS+RTP）

注意: 如果使用FFmpeg硬解,则仅仅需要获取到AVPacket数据结构即可.不需要再将数据封装到自定义的结构体中

Q2: 《基于Android与iOS平台的实践》pdf下载在线阅读全文，求百度网盘云资源

《音视频开发进阶指南：基于Android与iOS平台的实践》百度网盘pdf最新全集下载:

链接:

?pwd=5wmv 提取码: 5wmv

简介：书中首先通过介绍音视频的物理现象与基础概念，帮助读者建立模拟信号到数字信号转化的过程，然后重点介绍了如何在移动端开发音视频项目，其中包括开发中所需要了解的各种知识，如音视频的解码与渲染，采集与编码，音视频的处理与性能优化等；在此基础上最后综合当下*流行的直播场景，介绍如何将书中的已有项目改造、适配成为一个直播产品，进一步帮助读者自由、有效的开发出功能丰富、性能一流的音视频App。  

Q3: 如何快速的开发一个完整的iOS直播app

直播视频App软件如何开发 1.形成用户的正反馈 所谓正反馈也就是在网络上的正面效应，也就是用户量与视频直播App产品价值是一种正反馈的关系存在的。一般来讲，产品的价值是随着用户数量和产品购买率、消费转化率的提升而不断提升。反过来讲，随着产品价值不断提升，在直播内容的输出上会更有价值，则能够吸引更多关注。为此在用户参与的视频App设计上，开发者是一种全民参与直播的形式，同时打造严格的审核机制，确保净化空间环境。 2.增加用户的参与感 对于视频App直播产品来讲，其自身的优点在于用户能够在平台上进行互动和讨论交流，也就是用户参与的过程，而且在用户的互动中，激发其他用户自我表达的欲望。为此对于产品设计而言，应该根据苹果手机的用户习惯，进行设计交互性强、性能好的直播类视频App产品，以及打造参与门槛低的板块，进而增强用户的参与感。 3.专注于解决问题 对于任何产品来讲，并不是产品的功能越全面越好，而是需要在不断的升级过程中，满足目标用户需求增长、变化。为此对于天瑞地安直播类视频App软件开发团队而言，在为客户设计产品的过程中，会根据客户自身的情况，在初级版本的设计中，专注于解决用户的某一个问题，从而达到吸引用户、培养用户的效果。而在功能迭代的过程中，会将重要的功能点前置，致力于为客户打造最具性价比的产品。

Q4: 如何实现 iOS开发webrtc 视频通话时录像，截屏。

实现 iOS开发webrtc 视频通话时录像，截屏推荐ZEGO即构科技，4行代码，30分钟在APP、Web和小程序等应用内实现视频通话、语音通话，互动直播功能。【点击免费试用，0成本启动】

实现 iOS开发webrtc 视频通话时录像，截屏的具体步骤如下：

1.权限申请。

2.引入 WebRTC 库。

3.采集并显示本地视频。

4.信令驱动。

5.创建音视频数据通道。

6.媒体协商。

7.渲染远端视频。

想要了解更多关于webrtc的相关信息，推荐咨询ZEGO即构科技。ZEGO即构科技自主研发的高音质语音视频引擎，能够提供实时清晰的多人语音通话独立自研的语音前处理模块（AEC, NS, AGC）能够提供优于同类竞品的处理效果，支持全带语音处理。良好的抖动缓冲、前向纠错和丢帧补偿技术使引擎适应复杂的网络环境，提供低延时清晰流畅的语音视频通话，在较差网络环境中自适应的找到延时与流畅的最佳契合点。

Q5: iOS开发小知识之检测程序被中断，进入后台，耳机的插拔点击等事件

在iOS端关于音频或视频的开发中，声音或者视频播放的时候一些外界的因素可能会把音视频打断，比如电话，或者其他会播放音频的APP，这时候程序的音频或视频都会中断，但是我们再回到前台时需要更改一些UI上的变化（比如正在播放的音乐被电话打断，电话挂掉之后音乐会保持暂停的状态，但是如果不及时更新UI，播放按钮会保持正在播放的状态），这时候我们就需要对这些时间进行主动的监听，来进行我们需要的操作，

情况一：用户按home键主动退到后台，一般的音乐类播放软件都会有后台播放的设置，不用进行额外的操作，但是如果是正在播放视频的话，退到后台后视频应该是暂停状态，这时我们只需要在AppDelegate的相关方法中进行主动的设置就可以

情况二：被电话或者其他App播放的声音打断，此时就需要我们在程序中去监听这些事件，当事件被触发时进行相应的操作

其中AVAudioSessionInterruptionNotification就是系统提供的被中断的通知

然后在被打断时进行相应的操作

音乐类软件为了提高用户体验一般都会添加耳机线控音乐的功能（单机暂停/播放，双击下一曲，点击三下上一曲），还可以对耳机的插拔进行监听

监听耳机的插拔：

点击耳机中键的事件：

首先要在程序入口处让app接收远程控制事件

然后在远程事件通知中进行相应的操作（这个通知还会接收系统上拉菜单中的控制中心的播放和暂停按钮）