Первая деревянная церковь появилась в Ульянке по указу императора Петра I в память о победе над шведами, на том месте, где Петр I впервые узнал весть о их разгроме. Храм посвятили святителю Петру, митрополиту Московскому, небесному покровителю императора, которого он особо почитал. Святитель Петр родился в знатной боярской семье в 1260-х годах. При нём на территории Московского Кремля возведены прекрасные храмы, в одном из них - Успенском - митрополит скончался во время молитвы.

В конце XVIII века деревянное здание церкви было заменено каменным, которое существовало до 1886 года. Это было красивое пятиглавое здание с колокольней, в 1809 году к нему был пристроен придел во имя Иоанна Предтечи. К этому времени церковь и все поместье принадлежало графу Н. П. Шереметьеву. В 1886 году здание церкви было разобрано и на его месте на средства А. Д. Шереметева и других жертвователей в 1886 - 1892 годах по проекту архитекторов В. Ф. Харламова и Г. И. Карпова (?) была построена и в 1892 году освящена новая четырехпрестольная каменная церковь в память наводнения 1824 года.

Главный престол храма был освящен во имя Святителя Петра, второй - во имя Иоанна Предтечи, третий - во имя Святого мученика Феодора Стратилата, четвертый (над склепом графов Шереметевых) - во имя Святого Благоверного Князя Александра Невского и Святой Равноапостольной Марии Магдалины. Это был главный приходской храм, окормлявший местность от Нарвской заставы до Красного села. Достоянием церкви являлись образ святого мученика Уара, перед которым молились об исцелении детей и Евангелие на "Александрийской бумаге". При храме находилась церковно-приходская школа, кладбище, сиротский дом, различные мастерские. В 1940 году церковь в Ульянке была закрыта. Во время войны этот храм был сильно разрушен и в 1947 году его руины были снесены. На месте храма пролегла улица Лени Голикова.

В 2001 г. закончились, начатые в 1991 году, работы по строительству рядом с местом прежнего храма новой церкви. На живописном возвышении Ледеринового уступа на углу проспекта Стачек и улицы Лёни Голикова возведена небольшая церковь из деревянного бруса (архитектор М.А. Дементьева при участии А.А. Ковач).

Строительство велось на средства прихожан под руководством архимандрита Иринарха (Соловьёва). 2 октября 1994 года храм был освящён. Иконы в церкви - старинные, намоленные. Многие из них пожертвованы людьми. Удалось обрести главную святыню - храмовый образ Святителя Петра из прежней церкви. В церкви регулярно проводятся богослужения.

В 2000 - 2001 годах храм был расширен постройкой притвора и звонницы над ним. В 2007 г. храм значительно пострадал от пожара. При восстановлении здания, его восточная часть была значительно упрощена, она лишилась купола, многоскатной кровли и боковых фронтонов.

Храм окормляет пограничников Северо-Западного округа, моряков Северной верфи в Угольной гавани.