音视频基础知识

基本概念

码率/比特率

  • 单位时间内传输的数据量，单位为kbps(千位每秒)
  • 分类：
    • 恒定码率(CBR)
    • 动态码率(VBR)

分辨率

  1. 视频分辨率
    • 宽×高，如1080P、2K等
  2. 屏幕分辨率
    • 单位是ppi(每英寸像素数)
  3. 位分辨率
    • 每个像素点存储信息的位数
    • 如8位、16位色彩等

帧率

  1. 视频帧率
    • 由视频本身决定
    • FPS(每秒显示帧数)
  2. 显示帧率
    • 由显示器决定
    • 显示器刷新率

像素格式

  1. RGBA
    • 红绿蓝和Alpha透明度
    • 类似于已完成的成品
  2. YUV
    • Y：亮度
    • U：色度
    • V：对比度
    • 注：视频常用YUV，因为RGBA占用内存太大
    • 压缩后转为h264(通过编码器)

音频格式

  1. PCM
    • 原始数据
    • 压缩后转为AAC帧(通过AAC编码器)

画质相关

画质要素

  1. 清晰度：细节纹理和边界的清晰程度
  2. 锐度：图像边缘的锐利程度
  3. 解析度
    • 像素点数量
    • 分辨率越高解析度越高
  4. 色彩纯度：三原色在色彩中的百分比，越高越鲜艳

色域与HDR

  • 色域：能表达的颜色范围区域
  • HDR：高动态范围，可超出普通[0,1]范围

封装与编码

封装格式

视频封装格式就像一个包装盒，包含：

  1. 格式头：类似快递单号，包含文件元数据
  2. 媒体信息：包括时长、格式、比特率等
  3. 音视频轨：实际的音频、视频、字幕数据
  4. 视频轨索引：指示播放器数据存储位置
    常见格式：MP4、MKV、MOV等

编码协议

  • 是压缩原始视频数据的方式
  • h265压缩率更高但解码要求更高

音频相关

  1. 采样率：每秒采样次数(人耳感知范围20Hz~20kHz)
  2. 声道：独立音频信号的采集/回放位置
  3. 音频封装格式：mp3、wav、aac等
  4. 音频编码协议：mp3、aac等

H264编码原理

码流文件分层

  1. VAL(视频编码层)
    • 压缩编码后的视频数据序列
  2. NAL(网络提取层)
    • 负责网络传输打包
    • 本地和网络播放都需要
    • 本质是打包并按序发送给解码器

帧类型

  1. I帧：完整压缩帧
  2. P帧：只编码与前帧差异
  3. B帧：参考前后帧
  4. IDR帧：特殊I帧，用于GOP重置
  5. GOP组：图像组，关键帧间隔