Du point de vue pédagogique, les problèmes d’utiliser les méthodes numériques c’est la difficulté de trouver une solution analytique « exacte ». Pour ce raison, on utilisent les méthodes numériques pour trouver une solution approchée et minimiser le temps de calcul.

L’objectif est de résoudre numériquement le système d’équations linéaires. 

Ax=b, (SL)  

A c’est une matrice carrée et b c’est un vecteur.

Pour résoudre ce système , on utilisent les méthodes classique, et en particulier la méthode la plus connue parmi elles, dite méthodes de Cramer, ce méthode deviennent très lentes en temps d’exécution dès que n dépasse 4. Pour ce raison, on utilisent les méthodes itératives (Jacobi, Gauss-Seidel et SOR).  Le principe général de ces méthodes est de construire une suite de vecteurs x^{(k)} qui converge vers le vecteur x solution de système linéaire (SL). La mise en oeuvre pratique d’une méthode itérative de la forme d’une relation de récurrence nécessite la donnée d’un point de départ x^{(0)} (en général, sauf si l’on possède des informations a priori sur la solution, on choisit le vecteur nul) et d’une tolérance sur la solution que l’on cherche à calculer. On calcule ensuite les itérés x^{(k)}\;  k=1, 2, . . . en utilisant la formule de récurrence jusqu’à ce que le résidu b-Ax^{(k)} soit plus petit que la tolérance.

Les méthodes de gradient (à pas fixe, à pas optimal, conjugue et pré-conditionnée) sont des méthodes itératives qui permet de transformer le problème de calculer l'unique solution du système linéaire SL lorsque A est une matrice symétrique et définie positive en un problème d'optimisation. Les différentes méthodes de descente correspondent à des choix différents pour les directions de descente et les pas. Ces méthodes bien adaptée aux systèmes creux et de grande taille est souvent plus efficace que les méthodes déjà présentées, à la fois en termes de complexité arithmétique et en termes d’espace mémoire nécessaire.