Гинзбург родился в 1936 году. Известнейший диссидент-правозащитник, Гинзбург в 1959-1960 годах основал один из первых самиздатских журналов "Синтаксис", а в 1966 году издал сборник материалов по делу Синявского и Даниэля под названием "Белая книга".
Был одним из основателей Московской хельсинкской группы. В 1979 году Гинзбург был выслан из СССР в обмен на нескольких советских шпионов. Жил в Париже, являлся соиздателем газеты "Русская мысль".
Как напоминает Memo.ru , с именем Гинзбурга связано возникновение некоторых ключевых форм диссидентской деятельности в СССР ≈ самиздатской периодики, документальных сборников, посвященных политическим преследованиям, организованной помощи политическим заключенным и их семьям. Он был центральной фигурой на одном из самых громких политических процессов 1960-х годов, так называемом "процессе четырех".
В 1956 году Гинзбург поступил на журналистский факультет МГУ, работал в театре и на телевидении, снимался в кино, был корреспондентом газеты "Московский комсомолец. В 1959 году Гинзбург составил и распространил среди знакомых первый номер поэтического альманаха "Синтаксис". В альманах были включены неопубликованные стихи Сапгира, Холина, Чудакова, Глазкова, Аронова, Окуджавы, Ахмадулиной и других поэтов.
В июле 1960 года Гинзбург был арестован и отправлен в лагерь на два года. После освобождения вернулся в Москву, работал токарем, осветителем на телевидении, рабочим в Литературном музее. В 1966 году поступил на вечернее отделение Московского историко - архивного института. В 1966 году составил сборник документов по делу А. Синявского и Ю. Даниэля.
23 января 1967 года Гинзбург был снова арестован. Его дело объединили с делами Галанскова, Добровольского и Лашковой. В 1968 году он был приговорен к 5 годам лагерей. Срок Гинзбург отбывал в Мордовии и во Владимирской тюрьме. После освобождения поселился в городе Таруса. В 1977 году Гинзбург был снова арестован по обвинению в участии в составлении документов для Московской хельсинской группы. Он был приговорен к восьми годам с последующей ссылкой на 3 года.
В 1979 году правозащитника обменяли на двух советских граждан, обвиненных в США в шпионаже. За рубежом он жил сначала в США, потом во Франции. Был руководителем Русского культурного центра в Монжероне, затем ≈ ведущим обозревателем газеты "Русская мысль" (Париж). Последние годы жил в Париже.