Ортогональная_матрица :
http://ru.wikipedia.org/wiki/%D0%9E%D1%80%D1%82%D0%BE%D0%B3%D0%BE%D0%BD%D0%B0%D0%BB%D1%8C%D0%BD%D0%B0%D1%8F_%D0%BC%D0%B0%D1%82%D1%80%D0%B8%D1%86%D0%B0
т.е. ортогональны строки/столбцы относительно друг друга.
Точный метод применим только к квадратным (и одновременно неособенным) матрицам. Если число точек N больше 3x,
то матрица для вычисления коэффициентов аффинного преобразования размерностью 2Nx6 очевидно неквадратная,
но умножив ее на саму себя транспонированную A^A получим обычную квадратную 6x6 (6x2N2Nx6=6x6),
которая и дает оптимальное решение в смысле наименьших квадратов.
Ошибки же возникают конечно не из-за округления, а из-за “ненулевого” размера самого пиксела и
невозможности “точно” совместить калибрационную точку (GCP) с пикселом.
Мне также не совсем понятна система единиц для M* коэффициентов, не заглядывая в исходники.
Вот конкретный пример
#JOSM PicLayer plugin calibration data
#Sun Nov 27 22:21:58 CET 2011
POSITION_Y=6708383.375731533
POSITION_X=602463.1049788792
M12=-714.691403694874
M11=0.508636037014039
M10=6.263463862108147E-5
M02=43.42632371753174
INITIAL_SCALE=673.3630407396365
M01=-2.1720970442278513E-4
M00=0.5060984647587284
Что означает, например M00=0.5 ?
(Ортогональность будет выполнена, если M00=M11 и M10=-M01.)