Comme tu dis, ça dépend du serveur.
Vois la doc au cas par cas, mais c'est virtuellement toujours possible, sinon tu peux toujours rajouter des règles de firewall qui ne laissent passer que l'adresse que tu veux.