多媒体编程

多媒体编程

• 多媒体编程主要包括：文本、图片、音频、视频等

  • 图片

    图片在计算机中的大小

    图片的总大小 = 图片的总像素 * 每个像素占用的大小

  单色位图：只能表示2种颜色

  * 使用两个数字：0和1
  * 使用一个长度为1的二进制数字就可以表示了
  * 每个像素占用1/8个字节
  

  16色位图：能表示16种颜色

  * 需要16个数字：0-15，0000 - 1111
  * 使用一个长度为4的二进制数组就可以表示了
  * 每个像素占用1/2个字节
  

  256色位图：能表示256种颜色

  * 需要256个数字：0 - 255,0000 0000 - 1111 1111
  * 使用一个长度为8的二进制数字
  * 每个像素占用1个字节
  

  24位位图：

  * 每个像素占用24位，也就是3个字节，所在叫24位位图
  * R：0-255,需要一个长度为8的二进制数字，占用1个字节
  * G：0-255,需要一个长度为8的二进制数字，占用1个字节
  * B：0-255,需要一个长度为8的二进制数字，占用1个字节
  

  • 加载大图片到内存

    Android系统以ARGB表示每个像素，所以每个像素占用4个字节，很容易内存溢出

  • 对图片进行缩放

    获取屏幕宽高

    Display dp = getWindowManager().getDefaultDisplay();
    int screenWidth = dp.getWidth();
    int screenHeight = dp.getHeight();
    获取图片宽高
    
    Options opts = new Options();
    //请求图片属性但不申请内存
    opts.inJustDecodeBounds = true;
    BitmapFactory.decodeFile("sdcard/dog.jpg", opts);
    int imageWidth = opts.outWidth;
    int imageHeight = opts.outHeight;
    图片的宽高除以屏幕宽高，算出宽和高的缩放比例，取较大值作为图片的缩放比例
    
    int scale = 1;
    int scaleX = imageWidth / screenWidth;
    int scaleY = imageHeight / screenHeight;
    if(scaleX >= scaleY && scaleX > 1){
        scale = scaleX;
    }
    else if(scaleY > scaleX && scaleY > 1){
        scale = scaleY;
    }
    

    按缩放比例加载图片

    //设置缩放比例
    opts.inSampleSize = scale;
    //为图片申请内存
    opts.inJustDecodeBounds = false;
    Bitmap bm = BitmapFactory.decodeFile("sdcard/dog.jpg", opts);
    iv.setImageBitmap(bm);
    

  • 在内存中创建图片的副本

    直接加载的bitmap对象是只读的，无法修改，要修改图片只能在内存中创建出一个一模一样的bitmap副本，然后修改副本

    //加载原图
    Bitmap srcBm = BitmapFactory.decodeFile("sdcard/photo3.jpg");
    iv_src.setImageBitmap(srcBm);
    
    //创建与原图大小一致的空白bitmap
    Bitmap copyBm = Bitmap.createBitmap(srcBm.getWidth(), srcBm.getHeight(), srcBm.getConfig());
    //定义画笔
    Paint paint = new Paint();
    //把纸铺在画版上
    Canvas canvas = new Canvas(copyBm);
    //把srcBm的内容绘制在copyBm上
    canvas.drawBitmap(srcBm, new Matrix(), paint);
    
    iv_copy.setImageBitmap(copyBm);
    

  • 对图片进行特效处理

    首先定义一个矩阵对象

    Matrix mt = new Matrix();
    

    缩放效果

    //x轴缩放1倍，y轴缩放0.5倍
    mt.setScale(1, 0.5f);
    

    旋转效果

    //以copyBm.getWidth() / 2, copyBm.getHeight() / 2点为轴点，顺时旋转30度
    mt.setRotate(30, copyBm.getWidth() / 2, copyBm.getHeight() / 2);
    

    平移

    //x轴座标+10，y轴座标+20
    mt.setTranslate(10, 20);
    

    镜面

    //把X座标都变成负数
    mt.setScale(-1, 1);
    //图片整体向右移
    mt.postTranslate(copyBm.getWidth(), 0);
    

    倒影

    //把Y座标都变成负数
    mt.setScale(1, -1);
    //图片整体向下移
    mt.postTranslate(0, copyBm.getHeight());
    

  • 画画板

    记录用户触摸事件的XY座标，绘制直线
    给ImageView设置触摸侦听，得到用户的触摸事件，并获知用户触摸ImageView的座标

    iv.setOnTouchListener(new OnTouchListener() {
    
        @Override
        public boolean onTouch(View v, MotionEvent event) {
    
            switch (event.getAction()) {
            //触摸屏幕
            case MotionEvent.ACTION_DOWN:
                //得到触摸屏幕时手指的座标
                startX = (int) event.getX();
                startY = (int) event.getY();
                break;
            //在屏幕上滑动
            case MotionEvent.ACTION_MOVE:
                //用户滑动手指，座标不断的改变，获取最新座标
                int newX = (int) event.getX();
                int newY = (int) event.getY();
                //用上次onTouch方法得到的座标和本次得到的座标绘制直线
                canvas.drawLine(startX, startY, newX, newY, paint);
                iv.setImageBitmap(copyBm);
                startX = newX;
                startY = newY;
                break;
    
            }
            return true;
        }
    });
    

    刷子效果，加粗画笔

    paint.setStrokeWidth(8);
    

    调色板，改变画笔颜色

    paint.setColor(Color.GREEN);
    

    保存图片至SD卡

    FileOutputStream fos = null;
    try {
        fos = new FileOutputStream(new File("sdcard/dazuo.png"));
    } catch (FileNotFoundException e) {
        // TODO Auto-generated catch block
        e.printStackTrace();
    }
    //保存图片
    copyBm.compress(CompressFormat.PNG, 100, fos);
    

    系统每次收到SD卡就绪广播时，都会去遍历sd卡的所有文件和文件夹，把遍历到的所有多媒体文件都在MediaStore数据库保存一个索引，这个索引包含多媒体文件的文件名、路径、大小
    图库每次打开时，并不会去遍历sd卡获取图片，而是通过内容提供者从MediaStore数据库中获取图片的信息，然后读取该图片
    系统开机或者点击加载sd卡按钮时，系统会发送sd卡就绪广播，我们也可以手动发送就绪广播

    Intent intent = new Intent();
    intent.setAction(Intent.ACTION_MEDIA_MOUNTED);
    intent.setData(Uri.fromFile(Environment.getExternalStorageDirectory()));
    sendBroadcast(intent);
    

• 音乐播放器

  播放服务
  播放音频的代码应该运行在服务中，定义一个播放服务MusicService
  服务里定义play、stop、pause、continuePlay等方法

      MediaPlayer player;
  
      private void play() {
          //重置
          player.reset();
          try {
              //加载资源
              player.setDataSource("sdcard/bzj.mp3");
              player.prepare();
          } catch (Exception e) {
              // TODO Auto-generated catch block
              e.printStackTrace();
          } 
          player.start();
  
      }
      private void pause() {
          player.pause();
      }
      private void stop() {
          player.stop();
      }
      private void continuePlay() {
          player.start();//注意和最开始start的区别，start()前什么也没有，表示继续播放
      }
  
      public void seekTo(int progress){
          player.seekTo(progress);
      }
  
      //注意当unBindService和stopService后服务虽然被销毁了，但MediaPlayer组件没有被销毁，需要在服务的onDestroy()方法中手动销毁
      @Override
      public void onDestroy() {
  
          super.onDestroy();
          //停止播放，此时如果点开始播放，会重新加载资源播放，和pause不同
          player.stop();
          //释放占用的资源，此时player对象已经废掉了
          player.release();
          player=null;//从java语法角度回收player应用
      }
  

  把这几个方法抽取成一个接口MusicInterface
  定义一个中间人类，继承Binder，实现MusicInterface
  先start启动MusicService，再bind

  Intent intent = new Intent(this, MusicService.class);
  startService(intent);
  bindService(intent, conn, BIND_AUTO_CREATE);
  

  根据播放进度设置进度条
  获取当前的播放时间和当前音频的最长时间

  int currentPosition = player.getCurrentPosition();
  int duration = player.getDuration();
  

  播放进度需要不停的获取，不停的刷新进度条，使用计时器每500毫秒获取一次播放进度
  发消息至Handler，把播放进度放进Message对象中，在Handler中更新SeekBar的进度

  Timer timer = new Timer();
  timer.schedule(new TimerTask() {
  
      @Override
      public void run() {
          int currentPosition = player.getCurrentPosition();
          int duration = player.getDuration();
          Message msg = Message.obtain();
          //把播放进度存入Message中
          Bundle data = new Bundle();
          data.putInt("currentPosition", currentPosition);
          data.putInt("duration", duration);
          msg.setData(data);
          MainActivity.handler.sendMessage(msg);
      }
  }, 5, 500);//5 延迟5毫秒发送消息
              //周期为500毫秒
  

  在Activity中定义Handler

  static Handler handler = new Handler(){
      public void handleMessage(android.os.Message msg) {
          //取出消息携带的数据
          Bundle data = msg.getData();
          int currentPosition = data.getInt("currentPosition");
          int duration = data.getInt("duration");
  
          //设置播放进度
          sb.setMax(duration);
          sb.setProgress(currentPosition);
      };
  };
  

  拖动进度条改变播放进度

   //给sb设置一个拖动侦听
   sb.setOnSeekBarChangeListener(new OnSeekBarChangeListener() {
      //停止拖动时调用
      @Override
      public void onStopTrackingTouch(SeekBar seekBar) {
          // TODO Auto-generated method stub
          int progress = seekBar.getProgress();
          mi.seekTo(progress);
      }
      //开始拖动时调用           
      @Override
      public void onStartTrackingTouch(SeekBar seekBar) {
          // TODO Auto-generated method stub
  
      }
      //拖动的时候不断调用         
      @Override
      public void onProgressChanged(SeekBar seekBar, int progress,
              boolean fromUser) {
          // TODO Auto-generated method stub
  
      }
  }); 
  

• 视频播放器

  SurfaceView
  对画面的实时更新要求较高
  双缓冲技术：内存中有两个画布，A画布显示至屏幕，B画布在内存中绘制下一帧画面，绘制完毕后B显示至屏幕，A在内存中继续绘制下一帧画面
  播放视频也是用MediaPlayer，不过跟音频不同，要设置显示在哪个SurfaceView

  SurfaceView sv = (SurfaceView) findViewById(R.id.sv);
  //拿到SurfaceView的控制器
  SurfaceHolder sh = sv.getHolder();
  
  //设置播放          
  MediaPlayer player = new MediaPlayer();
  player.reset();
  try {
      player.setDataSource("sdcard/2.3gp");
      player.setDisplay(sh);
      player.prepare();
  } catch (Exception e) {
      e.printStackTrace();
  }
  player.start();
  

  以上从设置播放开始的代码如果放在onCreate()方法中，此时可能SurfaceView组件还不可见，也就是没有创建出来，代码是有问题的。
  （SurfaceView是重量级组件，可见时才会创建）

  给SurfaceHolder设置CallBack，类似于侦听，可以知道SurfaceView的状态

  sh.addCallback(new Callback() {
      //SurfaceView销毁时调用,点返回键或home键，SurfaceView就不可见，销毁并调用该方法
      @Override
      public void surfaceDestroyed(SurfaceHolder holder) {
          // SurfaceView虽然销毁了，但MediaPlayer仍在播放，可以听到视频音乐声音，所以也要同时销毁player。
          if(player!=null){
              //每次退出时记录一下播放的位置。可以定义一个全局变量记录
              currentPosition=player.getCurrentPosition();
              player.stop();
              player.release();
              player=null;
          }
      }
      //SurfaceView创建时调用
      @Override
      public void surfaceCreated(SurfaceHolder holder) {
          // 应当把代码放置到这里,每次SurfaceView创建时才去播放视频
          if(player==null){
              //设置播放          
              MediaPlayer player = new MediaPlayer();
              player.reset();
              try {
                  player.setDataSource("sdcard/2.3gp");
                  player.setDisplay(sh);
                  player.prepare();
              } catch (Exception e) {
                  e.printStackTrace();
              }
              player.start();
              player.seekTo(currentPosition);//从记录的位置开始播放
          }
      }
  
      @Override
      public void surfaceChanged(SurfaceHolder holder, int format, int width,
              int height) {
          // TODO Auto-generated method stub
  
      }
  });
  

  SurfaceView一旦不可见，就会被销毁，一旦可见，就会被创建，销毁时停止播放，再次创建时再开始播放

• 上面SurfaceView+MediaPlayer播放视频的过程很麻烦，Android中将其封装为VideoView组件

  VideoView vv=(VideoView)findViewById(R.id.vv);
  
  vv.setVideoPath("sdcard/2.3gp");
  vv.start();//如果是网络视频，需要设置监听，在监听中start()
  

• 实际开发中原生的API几乎不用，支持的类型太少了。

  FFMPEG
  开源免费的音视频编解码器
  实际使用的话需要掌握C语言

  Vitamio
  封装了FFMPEG的视频播放框架
  对外提供的api全部都是javaApi

  Vitamio使用方法

  1.将vitamio_lib导入到项目中，如果导入后console中显示红色的报错信息，可以点击vitamio_lib项目Android Tools>Fix Project properties
  
  2.将vitamio_lib设置成关联类库（勾选Is Library）,给我们要使用的项目添加该类库
  
  3.将布局文件中的VideoView换成vitamio_lib中的VideoView（记得全路径名），同时设置代码，如下
  
      //VideoView导包的时候要导入vitamio_lib的包
      VideoView vv=(VideoView)findViewById(R.id.vv);
  
      vv.setVideoPath("sdcard/2.3gp");
      vv.start();
  
  4.因为Vitamio封装的FFMPEG是需要硬件编解码的，所以使用前应当检测手机硬件是否支持
  
      //检查Vitamio引擎的安装，如果没安装，它会帮我安装，如果安装不了就会return
      if(!LibsChecker.checkVitamioLibs(this)){
          return;
      }
  
      VideoView vv=(VideoView)findViewById(R.id.vv);
  
      vv.setVideoPath("sdcard/4.rmvb");
      vv.start();
  
      vv.setMediaController(new MediaController(this));//可以在屏幕上显示一个默认的视频播放控制器
  
      //同时需要在清单文件中配置,检查Vitamio引擎的安装实际上是在InitActivity中完成的
      <activity android:name="io.vov.vitamio.activity.InitActivity"></activity>
  
  5.Vitamio不仅支持http协议，还支持很多其他的协议。
  
      收音机
      播放协议：MMS
      MMS(Microsoft Media Server protocol)是一种串流媒体传输协议，Android并不支持这种流媒体协议
  

• 其他的视频播放框架

  • 百度媒体云，导入它的jar包使用

    百度媒体云服务（简称“媒体云”）基于百度在视频处理上的长期技术积累，为广大开发者提供的媒体相关的整体解决方案。