В XIV в. окрестности Захарьина принадлежали отцу свт. Алексия, митр. Московского, боярину Федору Бяконту и его потомкам из рода Плещеевых. В XVI в. усадьба Захарьино стала вотчиной бояр Захарьиных-Романовых.
Первый деревянный храм в усадьбе построен окольничим Т.Ф. Бутурлиным в 1648 г. во имя Рождества Христова. Кн. Г.Г. Ромодановский, следующий владелец усадьбы, построил в 1672 г. каменный храм, который был освящен во имя новгородской иконы Божией Матери «Знамение».
В XVII–XIX вв. среди владельцев Захарьина были кн. В.В. Голицын, фаворит царевны Софии Алексеевны, кн. М.Г. Ромодановский, первый московский губернатор, кн. С.Д. Кантемир, брат известного поэта, графиня П.В. Мусина-Пушкина, дворяне Боборыкины и Новицкие.
В 1846 г. храм был расширен за счет устройства боковых приделов.
В 1897 г. храм вновь был значительно перестроен по проекту архитектора А.С. Каминского в древнерусском стиле. В храме сохранился ряд композиций настенной живописи 1880-х гг.
Храм, двухэтажное здание церковно-приходской школы 1883 г., липовый парк, подъездные аллеи и каскад прудов по реке Лопенка, составляет единый архитектурно-ландшафтный ансамбль XVIII–XIX вв.
В 1869-1920 гг. в храме служил прот. Николай Сироткин (1842-1920), основатель русской практической фенологии, метеоролог, краевед, просветитель, имя которого носит улица, на которой расположен Знаменский храм.
В 1920-1921 гг. в храме служил сщмч. Иоанн Честнов (1874-1937).
Храм был закрыт 16 июля 1941 г.
Богослужение возобновлено в 1991 г.
16-18 декабря 2020 г. Преосвященнейшим Феофилактом, епископом Дмитровским, викарием Святейшего Патриарха Московского и всея Руси, управляющим Юго-Западным викариатством г. Москвы было совершено Великое освящение храма:
16 декабря был освящен главный Престол, 17 декабря – Престол во имя свт. Николая, архиепископа Мир Ликийских, 18 декабря – Престол во имя прп. Иосифа Песнописца.