Si je ne trompe pas, pour la translation il suffit d'additionner le vecteur de translation, pour l'homothétie de multiplier par le facteur et pour la rotation de multiplier par la matrice ((cos(T), sin(T)), (-sin(T), cos(T))) ou T est l'angle de rotation. Donc on utilise une matrice que dans le cas de la rotation.

A savoir que tu as indiqué une matrice de rotation d'angle T (et tu as sous entendu que la rotation était de centre O(0,0))

A priori c'est une homotéthie H = K.R et une translation et elle s'exprime sous la forme : Y = H.(X - T) + T

avec :
H = K.R avec K la matrice qui effectue le rapport d'échelle,
R la matrice de rotation,
T le vecteur de translation,
X le vecteur associé au point auquel on applique la transformation.

Enfin j'ai pu me tromper mais au feeling ça doit être ça.

Bonne chance

Bon en fait ici c'est pas un forum de maths, donc dans le doute il vaudrait mieux te renseigner via d'autres sources parce que ce n'est pas forcément notre spécialité et on peut se craquer.

En fait en maths, une rotation r, un changement d'échelle k, une réflexion m et plus généralement une homotéthie h centrées en O (l'origine du repère) sont des transformations linéaires, c'est-à-dire qu'elles s'expriment sous la forme Y = A.X ou X est le vecteur associé au point transformé, Y le point transformé, et A la matrice associée à la transformation (respectivement R, K, M ou H).

D'un point de vue matriciel, une composition de fonctions linéaires revient à un produit matriciel. De la même façon que la composition de fonction n'est en général pas commutative, un produit matriciel ne l'est pas plus sauf dans des cas particuliers. Ainsi en général :

- f o g n'est pas égal à g o f (ou o est l'opérateur "rond", l'opérateur de composition des fonctions)
- F . G n'est pas égal à G . F.

Si tu regardes la formule du produit matriciel, tu peux facilement montrer que si F ou G est diagonale, alors F.G = G.F... ce qui est le cas ici avec ta matrice de facteur d'échelle K et de rotation R. Idem avec la matrice de réflexion M. D'un point de vue géométrique, cela revient à dire "peu importe l'ordre dans lequel on fait la rotation, la réflexion et le facteur d'échelle" : H = M.K.R = R.K.M = ...

Le problème, c'est quand la transformation n'est pas centrée en O (ce qui somme toute est souvent le cas), par exemple centrée en O'. Dans ce cas là il faut faire un changement de repère de sorte à se ramener au cas que l'on connaît. C'est le rôle de la translation t qui transforme O' en O. Ensuite on applique la transformation H puis on revient en O'. Concrètement, ceci revient à soustraire/ajouter un vecteur T, d'où la formule que je t'ai donné. Tu constates du coup que la formule n'est plus linéaire (de la forme Y = A.X) mais affine (car Y = H.(X - T) + T est bien de la forme Y = A.X + B).

À présent, si tu as tout bien suivi, il suffit d'exprimer chacune de tes matrices avec les bons coefficients, regarder un cours sur les matrices pour apprendre à calculer un produit et une addition matricielle et c'est plié ;-)

Bonne chance