Peter Kastner kam 1970 von Knittelfeld nach Tirol zur WSG Wattens. Im Zuge der Spielgemeinschaft mit Wacker Innsbruck übersiedelte er zum Österreichischen Meister. Mit Wacker wurde er 1972 und 1973 nochmals Meister und holte 1973 auch den Pokal. Durch die große Konkurrenz im Kader und einigen Verletzungen schaffte er es aber nicht sich in der Stammformation zu etablieren.
Im Winter 74/75 wechselte er zum SC Eisenstadt. Im Sommer 1975 kehrte er zu Wacker Innsbruck zurück. Nach einem halben Jahr übersiedelte er zu Rapid Lienz und anschließend zur SW Bregenz.