Herbert Gartner begann in der Nachkriegszeit beim WFC Brigittenau und wechselte dann zum Wr.Sportclub. 1953 übersiedelte zum FC Hochstädt und 1954 holte ihn Meister Rapid Wien nach Hütteldorf. Mit dem legendären "Tiger" Zeman duellierte er sich um die Nr.1 im Tor und holte sich mit Rapid 1956 und 1957 den Meistertitel. Nachdem er in der Saison 1957/58 nur mehr zu wenigen Einsätzen kam übersiedelte er zur Wiener Austria.
Bei den Violetten war die Konkurrenz um die Nr.1 im Tor nicht so groß. 1961 wurde er mit den Veilchen Meister. In der Saison 1961/62 wurde ihm aber Gernot Fraydl vorgesetzt und an Fraydl kam er nicht vorbei. 1962 wurde er mit Austria Wien nochmals Meister und in den Jahren 1960 und 1962 holte er sich mit die Violetten auch den Pokalsieg.
Im Sommer 1962 wechselte er zum Staatsliga-Aufsteiger Austria Klagenfurt. Die Klagenfurter mussten aber nach nur einer Saison wieder in die Regionalliga absteigen
Im Sommer 1964 wechselte er daher zum nächsten Staatsliga-Aufsteiger - dem FC Wacker Innsbruck. In Innsbruck hatte er aber mit Tschenett einen gleichwertigen Gegner um die Position im Tor. Wacker konnte die Klasse halten, aber Gartner übersiedelte in die Mozartstadt zum nächsten Staatsliga-Aufsteiger Austria Salzburg. Gartner war hier aber nur mehr die Nr.2 hinter Sükrü und die Violetten aus Salzburg mussten nach einem Jahr auch wieder in die Westliga zurück.