В 1952 г. окончил Ленинградский электротехнический институт имени В. И. Ульянова (ЛЭТИ) (факультет электронной техники), куда был принят без экзаменов. С 1953 г. работал в Физико-техническом институте имени А. Ф. Иоффе, где был младшим научным сотрудником в лаборатории В.М. Тучкевича и принимал участие в разработке первых отечественных транзисторов и силовых германиевых приборов. В 1959 г. защитил кандидатскую диссертацию, посвященную исследованию германиевых и кремниевых силовых выпрямителей.

В 1960-х гг. Ж.И. Алферов с коллегами разработал первые практически применимые устройства на основе гетероструктур, в том числе твердотельные лазеры. Докторская диссертация Алферова в 1970г. обобщила его исследования гетеропереходов в полупроводниках.

В начале 1990-х годов Ж.И. Алферов руководит работами по получению и исследованию свойств наноструктур пониженной размерности - квантовых проволок и квантовых точек. В 1994 г. под его руководством впервые в мире создаются гетеролазеры на основе структур с квантовыми точками. В 1995 г. Алферов со своими сотрудниками впервые демонстрирует инжекционный гетеролазер на квантовых точках, работающий в непрерывном режиме при комнатной температуре.

Твердотельные лазеры на гетероструктурах заложили основу волоконно-оптических систем связи, другие электронные устройства на основе гетероструктур нашли множество применений, в том числе в спутниковой и сотовой связи.

Ж.И. Алферов — вице-президент РАН с 1990г., академик РАН с 1979г. (Отделение общей физики и астрономии). В 1987—2003 гг.— директор Физико-технического института им. А. Ф. Иоффе РАН. Председатель президиума Научно-образовательного комплекса «Санкт-Петербургский физико-технический научно-образовательный центр» РАН. Главный редактор журнала «Письма в Журнал технической физики».