Johann Scharmann kam vom UFC Graz zum GAK-Nachwuchs. Bei den Grazer Athletikern brachte er es bis in die Kampfmannschaft. 1968 stand er mit dem GAK im Cupfinale, das gegen Rapid Wien mit 0:2 verloren ging. 1973 wechselte er nach Südafrika zu Helenic Kapstadt und kehrte wenig später zurück nach Österreich zu Vöest Linz. Mit den Linzer Werksportlern wurde er 1974 Meister.
Im Winter 1977/78 holte ihn Wacker Innsbruck nach Tirol, da Gombasch und P.Koncilia angeschlagen waren. Auch im Herbst 1978 war Scharmann eine fixe Größe bei den Innsbruckern, aber mit Trainer Eigenstiller kam er nicht ganz so zurecht und Innsbruck steckte mitten im Abstiegskampf.
Scharmann wechselte in die US-Profiliga und kehrte später nach Österreich zurück und spielte für den Kapfenberger SV.