Jozef Konečný je popri Ferdinandovi Danišovi jediným športovým gymnastom slovenskej histórie, ktorý vybojoval medailu v individuálnej súťaži na majstrovstvách Európy.
Bratislavský rodák začínal s gymnastikou u Ladislava Kornoša na ZDŠ Teplická. Pod vedením Stanislava Fialu sa stal stabilným členom československej reprezentácie.
Na OH 1980 v Moskve obsadil v družstvách 6. miesto. Na svojich prvých majstrovstvách sveta v Štrasburgu 1978 bol s tímom 9. Vrcholom jeho kariéry bol štart na majstrovstvách Európy 1979 v Essene, kde získal v preskoku historickú striebornú medailu.
V roku 1981 sa stal aj absolútnym majstrom ČSSR, len druhým Slovákom po Ferdinandovi Danišovi. Po majstrovstvách sveta v Moskve ukončil kariéru a ako absolvent trénerstva FTVŠ sa venoval, a dodnes venuje, mládeži v Slávii UK.
Od roku 1993 bol šéftrénerom slovenskej reprezentácie až do roku 2002, kedy to po ňom prevzal Martin Zvalo.