Кладбище в селе Рыбацком существовало с петровских времен и было организовано после того, как сюда по распоряжению Петра I в 1710 году были переселены крестьяне-рыбаки с реки Оки. Находилось оно возле Покровской церкви. В начале 1830-х гг., после того как санитарная служба запретила хоронить на берегу Невы, для кладбища отвели новое место. Первоначально здесь была только деревянная часовня для отпевания усопших,выстроенная в 1834 году.

После убийства Александра II в марте 1881 г., в память о нем крестьянами села было решено построить на кладбище церковь. В конце того же года был утвержден ее проект, разработанный архитектором фарфорового завода Леонардом Леонардовичем Шауфельбергером. Деревянный храм был заложен 9 мая 1882 года и освящен во имя Казанской иконы Божией Матери уже 1 ноября 1883 г. От него кладбище получило своё современное название. Церковь была однопрестольной, небольших размеров: 5,5 саженей в длину на 7 аршин в ширину. Сосновый, крашеный под дуб иконостас вырезал преподаватель столярного дела в местном училище Д. А. Травин, иконы и картины в куполе написал В. Ф. Паскин. Храмовый образ Казанской Богоматери являл собой копию главной петербургской святыни из Казанского собора; его верующие приобрели на общие пожертвования. Другие иконы были подарены местными жителями. В 1887-1889 годах к церкви был пристроен просторный каменный притвор с колокольней.

В конце 1920-х годов храм был закрыт. Деревянная часть храма была разобрана. В каменной части его с 1960-х гг. размещалась старообрядческая церковь Белокриницкого согласия, которую в 1983 г. перевели на кладбище жертв 9-го Января. Здание храма в Рыбацком же в 1987 г. было передано православной старообрядческой общине беспоповцев Поморского согласия. Был произведен ремонт сохранившихся зданий и частично восстановлена разрушенная церковь, переосвящённая общиной во имя иконы Божией Матери "Знамение". С 1991 года в церкви возобновились богослужения.