摄像机采集的图像以标准电视信号的形式经高速图像采集系统转换为数字图像，并输入计算机。每幅数字图像在计算机内为M*N数组，M行N列的图像中的每一个元素（称为像素，pixel）的数值即是图像点的亮度（或称灰度）。在图像上定义直角座标系u,v，每个像素的座标（u,v）分别以该像素为单位的图像座标系座标。由于（u,v）只表示像素位于数组中的列数和行数，并没有用物理单位表示出该像素在图像中的位置。因此，需要再建立以物理单位（毫米）表示的图像座标系。该座标系以图像内某一点（摄像机光轴与图像平面的交点）为原点。X轴与Y轴分别与u,v轴平行。每个像素在X轴、Y轴方向上的物理尺寸为dX、dY，则可建立两个座标系的关系，见pp24。
摄影机座标系的原点为摄像机光心，x轴与y轴与图像的X,Y轴平行，z轴为摄像机光轴，它与图像平面垂直。光轴与图像平面的交点，即为图像座标系的原点，构成的直角座标系称为摄像机座标系。
由于摄像机可安放在环境中的任意位置，在环境中选择一个基准座标系来描述摄像机的位置，并用它描述环境中任何物体的位置，该座标系称为世界座标系。摄像机座标系与世界座标系之间的关系可以用旋转矩阵与平移向量来描述。