Die Geschichte der Kirche geht eng einher mit der geschichtlichen Entwicklung des Ortes.
Ursprünglich dürfte Altendorf zur Pfarrei Perschen, der ältesten uns bekannten Pfarrei in unserem Raum, gehört haben. Man nimmt an, dass ca. 1200 unter den Grafen von Altendorf eine eigene Pfarrei von der Mutterpfarrei Perschen abgetrennt wurde. In dieser oder vor dieser Zeit dürfte auch der Ursprung unserer Pfarrkirche St. Andreas liegen. Kirchen mit dem Namen des Hl. Andreas sind typisch für die Zeit des 11. und 12. Jahrhunderts. Dies war die Zeit der Kreuzzüge. Der romanische Turm deutet ebenfalls auf diese Zeit hin.
Die heutige Sakristei ist in gotischer Bauweise erstellt, dies belegt das Kreuzrippengewölbe, somit kann die Sakristei auf das 14. Jahrhundert datiert werden. Früher war an der Sakristei noch ein etwa gleichgroßer Raum östlich angebaut, er wurde später abgebrochen. Diese beiden Teile bildeten den früheren Chor der Kirche. Die Sakristei selbst befand sich unten im Turm. Dies kann aufgrund einer Verbindungstür zwischen der jetzigen Sakristei und dem Turm angenommen werden. Das Langhaus der damaligen Kirche, der heutige Chor, dürfte ca. im 15. Jahrhundert entstanden sein. Der Eingang zum Langhaus befand sich in der Mitte der Südwand.
Im Jahre 1722 war die Kirche schon zu klein für die vielen Gläubigen, es wurde daher ein Umbau und Anbau beschlossen. 1724 wurde dann der östliche Chor abgebrochen und der Rohbau des neuen Langhauses erstellt. Ebenso wurde in dieser Zeit der Turm höher gebaut, er war ursprünglich nicht so hoch wie heute. Das neue Langhaus war ca. 6m kürzer als in der heutigen Form.
1732 wurde der Hochaltar fertiggestellt, die Inschrift belegt die Stifterin, die Freifrau von Schellenberg. Erst 1739 wurde der rechte Seitenaltar fertiggestellt. 1778 wurde ein Tabernakel eingebaut. Auch die Kanzel ist eine Stiftung der von Schellenberg. 1913 wurde das Langhaus noch einmal um ca. 6 m verlängert. Eine weitere Veränderung geschah 1970, es wurden die beiden Vorbauten an den beiden Seitentüren angebracht. 1975 bis 1977 führte Pfarrer Josef Zöllner eine umfangreiche Innenrenovierung durch, die durch Herrn Pfarrer Alfons Winner fertiggestellt wurde. 1992 bis 1993 erfolgte eine umfangreiche Außensanierung, u.a. wurden die Dachstühle renoviert, der Putz und Anstrich außen erneuert und die Vorplätze neu gestaltet sowie die Nepomuk-Kapelle neu hergerichtet.