Cet article propose un cadre semi-paramétrique adapté à la modélisation de l'hétéroscédasticité conditionnelle multivariée. Nous montrons d'abord qu'un modèle factoriel à volatilité stochastique ne peut pas être identifié seulement à partir de la structure de variance conditionnelle des rendements, sauf si l'on impose des restrictions importantes au support de la loi de probabilité des facteurs latents. Nous proposons ensuite des restrictions alternatives permettant d'identifier le modèle de volatilité multivariée. Ces restrictions portent soit sur les moments d'ordre supérieur, soit sur une spécification de la prime de risque fondée sur un prix constant du risque des facteurs. Dans les deux cas, l'identification du modèle est obtenue à partir de restrictions sur les moments conditionnels, ce qui permet l'estimation par variables instrumentales. Une étape préliminaire de détermination du nombre de facteurs et d'identification de portefeuilles représentatifs est proposée. Elle est fondée sur une séquence de tests de sur-identification qui englobe les tests de caractéristiques communes d'Engle et Kozicki (1993).