Puzzle Algoritmico de Matrices quien me ayuda a ver como puedo resolverlo?

[Riudo]

Hola gente! tiempo sin visitarlos, quiero resolver un problema de matrices de la Uni pero es un problema algo complejo y no hallo una forma de comenzar a resolverlo, lo que quiero saber es que algoritmo me puede resolver este problema, agradeceria que me echaran una mano para lograr comprenderlo. Saludos a todos!

En este link esta el problema escaneado en PDF:

https://mega.nz/#!PJ0mGAJY

PD: Debo hacerlo en C++

[MAFUS]

Y la clave de descifrado es?