После вуза работал в Государственном институте прикладной химии. В 1975-1977 годах, по официальной версии, служил в рядах вооруженных сил. После демобилизации, с 1977 года — в комитете по внешнеэкономическим связям при Совете министров СССР (эта структура часто использовалась в качестве прикрытия для деятельности сотрудников Первого главного управления КГБ СССР — внешней разведки). В 1982-1985 годах — начальник иностранного отдела Физико-технического института имени Иоффе АН СССР. С 1985-го по февраль 1991 года работал вторым, затем первым секретарем постоянного представительства СССР при ООН (в комитете по использованию космического пространства в мирных целях).
С весны 1991 года занимался привлечением иностранных инвестиций в Санкт-Петербурге (с июня 1991 года председателем комитета по внешним связям мэрии города был Владимир Путин). Якунин в начале 90-х годов был главой совета директоров АОЗТ "Международный центр делового сотрудничества", входил в совет директоров банка "Россия". Кроме того, "по поручению городских властей" представлял государство в советах директоров Балтийского морского пароходства и отеля "Европа".С апреля 1997 года стал начальником Северо-Западной окружной инспекции Главного контрольного управления президента РФ (с марта 1997 года ГКУ возглавлял Владимир Путин). С 7 октября 2000 года — замминистра транспорта РФ, отвечал за развитие торгового флота и деятельность морских портов. Был председателем совета директоров порта Усть-Луга, Новороссийского морского пароходства и ОАО "Восточный порт", представлял государство в органах управления ОАО "Морской порт Санкт-Петербург".
8 февраля 2002 года стал первым замминистра путей сообщения. 24 октября 2003 года он утвержден первым вице-президентом ОАО "Российские железные дороги".
Имеет различные награды, в том числе медаль "За боевые заслуги" и орден Святого равноапостольного великого князя Владимира второй степени. Председатель попечительского совета Центра национальной славы России, член попечительского совета БДТ имени Товстоногова. Увлекается охотой, театром, ездой на автомобиле. Имеет дачу на Карельском перешейке. В молодости занимался плаванием, вольной борьбой, боксом. Женат, супруга занимается домашним хозяйством. Два сына — выпускники Санкт-Петербургского государственного университета (экономист и юрист). Имеет внука и внучку.