Pour les formats acceptés de la PS3:
http://manuals.playstation.net/document/en/ps3/current/video/filetypes.html

Ce qui cloche c'est la piste son (AC3->AAC) on dirait.
Essaye avec une vidéo duquel tu auras supprimé la piste son



Pour un bon logiciel GPL pour réencoder:
http://handbrake.fr/ (sous Win/Mac/Linux)