Geboren wurde Horvath in Nikitsch im Burgenland, seine Karriere begann Rudi Horvath aber beim ASK Erlaa, wo er bereits mit 14 Jahren in der Kampfmannschaft spielte, bevor er 1966 von Ferdl Smetana nach Schwechat geholt wurde. Damals spielte Horvath noch Stürmer und wurde Vereinstorschützenkönig sowie Zweiter in der Torschützenliste der Regionalliga Ost. In einem Cupspiel fiel er den Salzburgern auf, denen er drei Treffer in die Maschen setzte. Schließlich endete das Spiel 5:0 und der Regionalligaverein warf den Erstligaklub aus dem Bewerb.
Nach einem Jahr wechselte er 1967 in die Nationalliga zu Austria Salzburg. Bei den Salzburgern wurde er defensiver eingesetzt und landete schließlich am Liberoposten, wo er sich mit starken Leistungen auch für die Nationalmannschaft empfehlen konnte. Im Sommer 1970 verpflichtete VÖEST Linz den Burgenländer. Bei den Linzern blieb er bis 1973, ehe er zu Beginn der Saison 1973/74 zu SSW Innsbruck wechselte.

In den ersten beiden Jahren in Innsbruck zählte er regelmäßig zur Stammformation, und konnte im Jahr 1975 endlich seine ersten Titel in seiner langen Karriere erobern. Es waren deren gleich drei. Neben Meisterschaft und Cupsieg holten die Tiroler auch noch den Sieg im Mitropacup. In der Nationalmannschaft musste er aber eine große Enttäuschung hinnehmen. Er stand in dem Team, dem die Qualifikation für die 74er-WM versagt blieb. Im Herbst 1975 verletzte er sich am Knie. Neben einem Meniskusschaden war auch noch ein defekter Knorpel die Folge.
In der Folge kam er zwar noch in der Meisterschaft zum Einsatz, aber nach verpasster EM-Qualifikation 1976 und dem folgenden Umbau im ÖFB-Team, neigte sich seine Teamkarriere dem Ende zu. Mit Wacker holte er noch einmal im Jahre 1977 die Meisterschaft. Dann wechselte ins Burgenland nach Kittsee, 1978 nach Dornbirn, und ließ schließlich seine Karriere mit 2 Jahren bei Feldkirch ausklingen.

Bei BW Feldkirch war er zudem auch später als sportl. Leiter tätig.