Urodził się 4 października 1894 r. w Warszawie.

W 1912 r. uzyskał maturę w Wyższej Szkole Realnej w Krakowie. Następnie rozpoczął studia  na Politechnice Lwowskiej. W 1913 r. przeniósł się do Akademii Eksportowej w Wiedniu.

Po wybuchu I wojny światowej przerwał studia i wstąpił do Legionów Polskich. Przydzielony został do artylerii w I Brygadzie.

Biorąc udział w walkach odznaczył się m.in. w trakcie działań na froncie rosyjskim w bitwie pod Kostiuchnówką w lipcu 1916 r., podczas której został ranny.

Po kryzysie przysięgowym we wrześniu 1917 r. został zwolniony z Legionów i wcielony do armii austriackiej.

W czasie urlopu uzyskanego dla kontynuowania studiów na Politechnice Lwowskiej nawiązał kontakt z Polską Organizacją Wojskową (POW). Jako jej członek realizował tajne misje na Ukrainie i w Rosji.

Od listopada 1918 r. w Wojsku Polskim. Stojąc na czele baterii konnej do lutego 1919 r. walczył z wojskami ukraińskimi.

Uczestnik wojennego kursu Szkoły Sztabu Generalnego w Warszawie - od czerwca do listopada 1919 r.

W roku 1920 r. został szefem wydziału w Oddziale II Sztabu Generalnego.

W latach 1922-1923 pełnił funkcję attache wojskowego przy poselstwie polskim w Paryżu i Brukseli.

W 1925 r. ukończył Wyższą Szkołę Wojenną w Warszawie i został mianowany szefem wydziału w Biurze Ścisłej Rady Wojennej.

Podczas zamachu majowego w 1926 r. poparł marszałka Józefa Piłsudskiego, będąc szefem sztabu jego głównych sił - Grupy Operacyjnej gen. Gustawa Orlicza-Dreszera. Wkrótce po przewrocie - w czerwcu 1926 r. - został szefem Gabinetu Ministra Spraw Wojskowych J. Piłsudskiego.

Od sierpnia do grudnia 1930 r. był wicepremierem w rządzie J. Piłsudskiego. W grudniu tego roku został wiceministrem spraw zagranicznych.

Od listopada 1932 r. do końca września 1939 r. pełnił urząd szefa MSZ, zastępując na tym stanowisku Augusta Zaleskiego.

W latach 1935-1939 zasiadał również w Senacie.

Jako minister pozostawał wierny przekonaniu marszałka J. Piłsudskiego, iż Polska powinna utrzymywać równowagę w stosunkach z Moskwą i Berlinem. Podobnie jak on był przeciwnikiem udziału Rzeczypospolitej w układach zbiorowych, które ograniczały według niego swobodę polskiej polityki. Kierując dyplomacją podpisał m.in. w 1934 r. polsko-niemiecką deklarację o niestosowaniu przemocy.

W sytuacji narastającego zagrożenia ze strony III Rzeszy przyjął gwarancje brytyjskie ogłoszone 31 marca 1939 r. Na początku kwietnia tego roku, w czasie jego wizyty w Londynie, zostały one przekształcone w obustronne zobowiązania (polsko-brytyjski układ sojuszniczy zawarto w Londynie 25 sierpnia 1939 r.). Wkrótce do brytyjskich gwarancji przyłączyła się również Francja.

5 maja 1939 r. minister J. Beck wygłosił w Sejmie słynne przemówienie będące reakcją na wypowiedzenie przez Adolfa Hitlera niemiecko-polskiego paktu o nieagresji. Odnosząc się w nim do kwestii niemieckich żądań pytał: "(...) z chwilą, kiedy po tylokrotnych wypowiedzeniach się niemieckich mężów stanu, którzy respektowali nasze stanowisko i wyrażali opinie, że +to prowincjonalne miasto nie będzie przedmiotem sporu między Polską a Niemcami+, słyszę żądanie aneksji Gdańska do Rzeszy, z chwilą, kiedy na naszą propozycję, złożoną dnia 26 marca, wspólnego gwarantowania istnienia i praw Wolnego Miasta nie otrzymuję odpowiedzi, a natomiast dowiaduję się następnie, że została ona uznana za odrzucenie rokowań - to muszę sobie postawić pytanie, o co właściwie chodzi? Czy o swobodę ludności niemieckiej w Gdańsku, która nie jest zagrożona, czy o sprawy prestiżowe - czy też o odepchnięcie Polski od Bałtyku, od którego Polska odepchnąć się nie da!".
Swoje wystąpienie zakończył słowami: "Pokój jest rzeczą cenną i pożądaną. Nasza generacja, skrwawiona w wojnach, na pewno na okres pokoju zasługuje. Ale pokój, jak prawie wszystkie sprawy tego świata, ma swoją cenę wysoką, ale wymierną. My w Polsce nie znamy pojęcia pokoju za wszelką cenę. Jest jedna tylko rzecz w życiu ludzi, narodów i państw, która jest bezcenna: tą rzeczą jest honor".

Przemówienie wywołało długotrwałą owację posłów. Entuzjastycznie przyjęło je również polskie społeczeństwo.

Prof. Andrzej Garlicki w książce "Historia 1815-1939. Polska i świat" podkreślał, iż minister J. Beck przyjmował to podniecenie społecznych nastrojów z dystansem: "Walił się bowiem oto jeden z filarów jego polityki zagranicznej - poprawne stosunki z Niemcami. Otrzymywał wprawdzie poparcie brytyjskie dla stanowczej wobec III Rzeszy polityki, ale Wielka Brytania była daleko, a Niemcy blisko. Beck wciąż jeszcze miał nadzieję, że Hitler nie zdecyduje się na rozpętanie wojny.(...) Nie wiedział, że decyzje już zapadły. 3 kwietnia Hitler wydał rozkaz, że przygotowania do ataku na Polskę, czyli plan noszący kryptonim +Fall Weiss+, mają być zakończone do 1 września".

Po napaści Niemiec na Polskę oraz sowieckiej agresji, w nocy z 17 na 18 września 1939 r. minister J. Beck wraz z rządem przekroczył granicę Rumunii. Internowany przez władze rumuńskie, przebywał w Slanic Moldovana, Braszov oraz we wsi Snagor pod Bukaresztem.

W październiku 1940 r. podjął nieudaną próbę ucieczki. Następnie od listopada 1940 r. do kwietnia 1943 r. przetrzymywany był w Bukareszcie.

Ostanie trzy miesiące życia spędził we wsi Stanesti- Chirulesti położonej niedaleko rumuńskiej stolicy.

Chory na gruźlicę zmarł 5 czerwca 1944 r. Pochowany został w wojskowej części cmentarza prawosławnego w Bukareszcie.

W 1991 r. jego prochy sprowadzone zostały do Polski i złożone na Cmentarzu Wojskowym na Powązkach w Warszawie.

Józef Beck odznaczony był m.in.: Orderem Orła Białego, Virtuti Militari V kl., Polonia Restituta I i IV kl., Krzyżem Niepodległości z Mieczami, trzykrotnie Krzyżem Walecznych oraz Złotym Krzyżem Zasługi.