Kubelík se narodil v Michli jako syn krejčího Josefa Matěje Kubelíka. Na konzervatoř byl přijat ve dvanácti letech Otakarem Ševčíkem dříve, než to dovoloval řád školy. Jeho profesor na něm aplikoval svou novou metodu a během šesti let se z něho stal dokonalý umělec. Při absolventském koncertě v roce 1898 v Praze vyvolala úžas jeho interpretace Paganiniho houslového koncertu D dur. Po koncertech ve Vídni o něm hudební kritikové psali, že by ho ve středověku „upálili jako čaroděje“.

Ve svých dvaadvaceti letech byl považován za schopnějšího houslistu, než jeho kolegové, jako např. Fritz Kreisler, Pablo de Sarasate, Jenö Hubay, August Wilhelmj, Joseph Joachim či František Ondříček. Vládl brilantní technikou, vzdušnosti a lehkosti výrazu dosahoval vahou silně napjatého smyčce. Hrál na světově proslulé Stradivariho housle „Emperor“ z roku 1715.

V roce 1901 se vydal do USA, kde absolvoval 78 koncertů za klavírního doprovodu světoznámého operetního skladatele českého původu Rudolfa Frimla. Jeho vánoční koncert na náměstí v San Franciscu poslouchalo 100 tisíc posluchačů. Z honorářů si koupil roku 1904 zámek Býchory u Kolína, kde žil do roku 1916 se svou manželkou, hraběnkou Marianna Czáky-Széllovou. Měli spolu osm dětí. Ameriku navštívil Kubelík desetkrát. Skvělých úspěchů však dosáhl i v Argentině, Uruguayi, Chile a Brazílii. Hrál několikrát i v Austrálii, na Novém Zélandu absolvoval 40 koncertů, koncertoval v Turecku, Palestině, Indii, Číně, Japonsku, na Filipínách, Cejlonu (Srí Lance), hrál ve všech státech severní Afriky atd. Později, v roce 1928, jako první český umělec vůbec, koncertoval i v sovětském Rusku.

Své další nové sídlo si Kubelík zařídil na zámku Orlové na Slovensku; posléze koupil vilu v jugoslávské (chorvatské) Opatiji blízko Jaderského moře, kam se rád vracel z koncertních cest. Zakoupením nové rezidence, vodního hradu Rotenturm v Burgenlandu v roce 1930, přišel o veškerý majetek. Znovu bojoval o přízeň světa, ale doba romantického uctívání virtuosů už byla pryč.

Domů se vrátil natrvalo v roce 1938. Za okupace připravil s Českou filharmonií deset koncertů s padesáti díly světové literatury, které hrál zpaměti na důkaz svého nestárnoucího umění. 11. května 1940 měl koncert v sále sokolovny v Neveklově, v milovaném kraji svých předků. Bylo to jeho poslední veřejné vystoupení. Zemřel v Praze na rakovinu, kterou operace již neodstranila. Místem jeho posledního odpočinku se stal Slavín na Vyšehradském hřbitově.

Celý život neúnavně propagoval českou hudbu a pomáhal českým umělcům – nejen váhou své autority, ale značné příjmy mu dovolovaly poskytovat i finanční podporu tělesům, jakým byla Česká filharmonie, kterou finančně podporoval zprvu jako veřejný, později jako skrytý mecenáš. V jejích začátcích ji vytáhl z krize tím, že ji na vlastní náklady zaměstnal jako doprovodný orchestr na svém anglickém turné, i když na to pak vydělával dva roky. Svým postojem i vynikajícím mistrovstvím se stal Kubelík vzorem dalším generacím českých hudebních umělců.