Берже познакомился с легендарным модельером Ивом Сен-Лораном в 1958 году, у них завязались романтические отношения. Вместе в 1961 году они основали дом моды Yves Saint Laurent. Пара рассталась в 1976 году, но они остались друзьями и деловыми партнерами. Берже занимал пост генерального директора Yves Saint Laurent до 2002 года.
Газета The New York Times сообщала, что в 2008 году, незадолго до смерти Ива Сен-Лорана, они с Берже зарегистрировали гражданский союз и завещали друг другу свои состояния.
Берже был страстным коллекционером произведений искусства - он создал музей берберского искусства в Марракеше (Марокко). Он также всю жизнь боролся за права гомосексуалов. Значительную часть своего состояния он пожертвовал на исследования, посвященные лечению СПИДа. Как отмечает ТАСС, Пьер Берже являлся одним из создателей Sidaction - французского фонда борьбы против СПИДа.
Кроме того, Берже поддерживал ассоциацию по борьбе со СПИДом, Act Up-Paris, и стал владельцем журнала Têtu. Он также был одним из акционеров Pink TV. В 2010 году Берже вошел в число владельцев крупнейшей французской газеты Le Monde и стал председателем ее наблюдательного совета. За большую работу и благотворительную деятельность в сфере культуры Берже получил звание посла доброй воли ЮНЕСКО.
Берже активно участвовал и в политике - так, он оказал масштабную поддержку президенту Франции (1981-1995) Франсуа Миттерану. Предприниматель также поддерживал предвыборные кампании главы Французской социалистической партии Сеголен Руаяль и Франсуа Олланда на выборах президента.
В 2016 году Берже вступил в брак с ландшафтным дизайнером Мэдисоном Коксом, который также был близким другом Сен-Лорана и вице-президентом фонда Берже и Сен-Лорана.