Le mutex ne concerne que les threads, pas les process
Le sémaphore existe sous linux (man sem_init etc...), mais pour ton problème c'est vraiment pas la solution.

Au démarrage de ton process, tu regardes si le lockfile existe, si oui, tu lis le pid écrit dedans, et tu check l'existence de /proc/<pid>. Tu peux même voir si c'est bien le process que tu crois en lisant /proc/<pid>/cmdline, mais c'est sans doute déjà overkill.

Si le process existe toujours, tu exit, sinon, tu écris ton pid dans le lockfile et tu fais ton boulot...