Narodil sa 18. februára 1936 v Ružomberku. V rodnom meste začal s futbalom a vďaka veľkej pracovitosti a talentu sa už v dorasteneckom veku stal súčasťou seniorského mužstva. Bol úspešný aj vo viacerých iných športoch.
Po príchode do Bratislavy na univerzitné štúdiá prestúpil do Slovana Bratislava a v roku 1955 s ním získal ako najmladší člen kádra majstrovský titul. Na Tehelnom poli strávil deväť rokov, teda takmer celú aktívnu hráčsku kariéru, a okrem majstrovského titulu získal aj dvakrát Čs. pohár.
V roku 1966 odišiel do Austrálie, kde začal svoju veľkú trénerskú kariéru a zdokonalil sa v angličtine, čo mu neskôr otvorilo dvere do sveta veľkého futbalu. Viedol austrálsku reprezentáciu, intenzívne študoval najnovšie odborné práce z oblasti metodiky tréningu a domov sa tak vrátil ako vzdelaný tréner. Zaviedol napríklad prípravu vo vysokých nadmorských výškach.
Keď následne po návrate prevzal priemerný klub VSS ošice, stal sa s ním vicemajstrom ČSSR a zároveň reprezentáciu do 23 rokov priviedol na ME 1972 k zlatým medailám. Najväčšie klubové úspechy dosiahol so ,,svojím“ Slovanom Bratislava, ktorý v polovici 70. rokov kraľoval čs. futbalu a jeho hráči tvorili základ zlatého mužstva z ME 1976. K titulu majstrov Európy doviedol seniorskú reprezentáciu aj Jozef Vengloš, vtedy asistent Václava Ježka. Popritom všetkom neustále pôsobil ako vysokoškolský pedagóg.
Jozef Vengloš prevzal v roku 1978 po svojom staršom kolegovi post hlavného trénera reprezentácie a o dva roky neskôr získal bronz na ME 1980 v Taliansku. S reprezentačným mužstvom sa zúčastnil aj MS 1982 v Španielsku, ale po neúspešnom vystúpení musel vo funkcii skončiť. Stal sa trénerom Sportingu Lisabon, následne FC Kuala Lumpur a reprezentácie Malajzie.
Ďalšie úspešné obdobie jeho trénerskej kariéry nastáva koncom 80. rokov, kedy je znovu hlavným trénerom reprezentačného mužstva ČSSR. Reprezentáciu priviedol na MS 1990, kde sa jeho zverenci prebojovali až do štvrťfinále. Následne dostáva ponuku viesť anglický klub Aston Villa a stáva sa tak prvým nebritským trénerom v anglickej najvyššej súťaži. Tým otvoril dvere ďalším trénerom z kontinentálnej Európy. Okrem toho zavádzal nové metódy pri tréningovom procese a životospráve.
Nasledovalo pôsobenie v ďalšom veľkoklube Fenerbahce Istanbul a potom znovu návrat na reprezentačnú lavičku, tentokrát už samostatného Slovenska. Slovenskú reprezentáciu musel vybudovať od základov. Pôsobil aj pri reprezentácii Ománu a koncom 90. rokov v Celticu Glasgow, kam priviedol napríklad aj Ľubomíra Moravčíka. Do pamäti fanúšikov Celticu sa Vengloš zapísal slávnym víťazstvom v derby nad Rangers. Jeho posledným pôsobiskom bola japonská JEF United Ičihara.
Majster športu (1965), Vzorný tréner (1972), Zaslúžilý tréner (1976), Rad práce (1976), Cena Fair-play UNESCO (1993), Cena Fair-play SOV (1993), Cena Fair-play MUDr. Ivana Chodáka (1997), 1. miesto v ankete slovenský „Tréner 20. storočia“ (2000), Krištáľové krídlo v kategórii šport (2001), Strieborné kruhy SOV (2003), Zlatý odznak SFZ (2006), Medaila FIFA za zásluhy (2006), Diamantový rad UEFA za zásluhy (2007), Zlatý odznak SOV (2011), čestný člen SFZ (2012), čestný člen SOV, najvyššie vyznamenanie FIFA „Order Of Merit“ (2014), člen Siene slávy slovenského futbalu (2016).
