Né à Alexandrie, en Égypte, le 3 mai 1934, de parents juifs grecs originaires de l'île de Corfou, il grandit dans un environnement multiculturel (juif, grec, turc,italien, arabe, français) et se passionne vite pour la littérature et la chanson française (et notamment Édith Piaf).

Venu à Paris en 1951, il exerce la profession de journaliste, puis de barman dans un piano-bar, ce qui l'amène à fréquenter des personnalités du monde musical de l'époque. Il entend ainsi Georges Brassens se produire un soir, et c'est pour lui une révélation. Il n'aura de cesse par la suite de faire référence à son maître, allant jusqu'à adopter son prénom en son hommage. En 1958, il rencontre Édith Piaf, pour qui il écrira une de ses chansons les plus connues, Milord. Il aura avec la grande dame une relation fougueuse mais courte. Tout au long des années 1960, il se positionne comme un compositeur parolier pour les grands noms de la chanson française comme Yves Montand, Barbara et surtout Serge Reggiani. Il crée alors des chansons qui resteront parmi ses plus grands succès : Sarah, Ma Solitude, Joseph et Ma Liberté ou encore La longue dame brune qu'il interprète alors en duo avec Barbara. Sa devise est : l'homme descend du songe.

En 1968, artiste engagé au moment des événements de mai 68, il écrit, compose et interprète Le Métèque, une ballade romantique qui parle d'un étranger un peu éthéré, doux rêveur, sans attache. C'est un grand succès international qui marque un nouveau début de sa carrière d'artiste. En janvier 1970, il fait son premier grand concert en vedette à Bobino. On découvre alors un artiste qui privilégie une ambiance chaleureuse, de proximité avec son public.

Pendant les trois décennies suivantes, il parcourt le monde pour se produire mais surtout pour trouver de nouvelles inspirations.

Il a eu une fille Pia, née en 1956, fille de Yannick, la première, et seule épouse de Moustaki.