Józef Piłsudski urodził się 5 grudnia 1867 roku w Zułowie, niewielkim majątku położonym 60 km na północ od Wilna. Ojciec (Józef Wincenty Piłsudski) był komisarzem powstania styczniowego na Żmudzi, zaś matka (Maria z Billewiczów) wywodziła się ze znakomitego rodu litewsko-polskiego. Trudności gospodarcze i pożary w majątku sprawiły, że cała rodzina przeniosła się w końcu do Wilna, gdzie przyszły Marszałek uczęszczał do gimnazjum. W 1885 roku Piłsudski rozpoczął w Charkowie studia medyczne, tam też po raz pierwszy zaangażował się w działalność socjalistyczną, choć na razie uczestniczył tylko w demonstracjach studenckich. Był za to kilkakrotnie aresztowany, co sprawiło, że nie udało mu się przejść po roku na studia medyczne w Charkowie. Za to młody student, mieszkający znów w Wilnie, bliżej zaangażował się w pracę kręgów rosyjskiej „Narodnej Woli”.

     Bardzo ważną datą w życiu młodego Piłsudskiego stał się 13 marca 1887 roku, kiedy został przypadkowo aresztowany razem z grupą spiskowców przygotowujących zamach na cara Aleksandra III. Brat przyszłego Marszałka Bronisław został skazany na 15 lat katorgi na Syberii, zaś on sam na 5 lat zesłania do wschodniej Syberii. Najpierw przebywał w Kireńsku, miejscowości położonej na północ od Irkucka, a po 2,5 roku został przeniesiony do Tunki (ok. 200 km na południowy zachód od Irkucka). Tam nawiązał kontakty z zesłańcami – uczestnikami powstania styczniowego, zapoznał się też z polską i rosyjską literaturą socjalistyczną, a także pracował jako prywatny nauczyciel.

     Z zesłania wrócił do Wilna w lipcu 1892 roku. Od razu konsekwentnie zaangażował się w działalność miejscowych socjalistów, poznał też swą przyszłą żonę – Marię z Koplewskich Juszkiewiczową, możliwe, że również Romana Dmowskiego. Po utworzeniu w listopadzie 1892 roku Polskiej Partii Socjalistycznej Piłsudski wszedł w skład sekcji litewskiej tej organizacji. Zaczął pisać – pod pseudonimem – korespondencje wileńskie do ukazującego się w Londynie pisma „Przedświt”. Latem uczestniczył w zjeździe PPS, który odbył się w Wilnie, ale nie zaakceptował wysuwanego tam hasła pierwszeństwa interesu klasowego ponad niepodległościowym.
W październiku 1893 roku został przedstawicielem sekcji litewskiej w nowo utworzonym przez Stanisława Wojciechowskiego Komitecie Robotniczym PPS.

     W lipcu 1894 roku Piłsudski został redaktorem, wydawcą, a początkowo też zecerem pisma „Robotnik”, które publikowane było najpierw w Lipniszkach koło Wilna, a potem w samym Wilnie. Zaczął też prowadzić życie konspiracyjne, używając pseudonimu Wiktor. W grudniu 1894 roku uczestniczył w zjeździe socjalistów w Genewie, pisał ulotki i materiały programowe. Z czasem stanął konsekwentnie na gruncie PPS-owskiej koncepcji niepodległości Polski, preferując – odmiennie niż SDKPiL – stanowisko klasowe. Podobne stanowisko prezentował w 1896 roku, gdy przez sześć miesięcy przebywał w Londynie, m.in. na kongresie II Międzynarodówki. Po powrocie do Wilna kontynuował dotychczasową działalność w „Robotniku”, coraz wyraźniej też zaczęły się ujawniać jego zdolności przywódcze. Po powrocie z kolejnego wyjazdu do Londynu (1899) ożenił się z Marią Juszkiewiczową, a wkrótce państwo Piłsudscy przenieśli się do Łodzi, gdzie ulokowano drukarnię „Robotnika”. Tam też w lutym 1900 roku nastąpiła dekonspiracja redakcji i aresztowanie obydwojga. Osadzony w X Pawilonie warszawskiej Cytadeli J. Piłsudski zaczął symulować chorobę psychiczną i w rezultacie w grudniu został przewieziony do szpitala więziennego w Petersburgu, skąd w maju 1901 roku udało mu się zorganizować ucieczkę i przedostać do Kijowa. Ponieważ państwo Piłsudscy nie mogli w tej sytuacji przebywać ani zaborze rosyjskim, ani w Rosji, zatem w czerwcu 1901 roku przekroczyli granicę Galicji i zamieszkali we Lwowie, a następnie w Krakowie. W listopadzie J. Piłsudski przebywał w Londynie, a następnego roku, posługując się fałszywym paszportem, na krótko zagościł w Wilnie, gdzie likwidował sprawy zmarłego ojca. Jeździł po całym Królestwie Polskim (już pod nowym pseudonimem – Mieczysław), bywał też w Rydze – organizował wtedy trasy przerzutu literatury konspiracyjnej – a w Krakowie zajmował się redagowaniem nowego pisma, „Przedświt”. Właśnie wtedy powstały dwie jego ważne prace: „Jak stałem się socjalistą” oraz „Bibuła”.

     Po wybuchu wojny rosyjsko-japońskiej w 1904 roku Piłsudski coraz bardziej zaczął się skłaniać ku zorganizowaniu polskich zakonspirowanych oddziałów bojowych. Drogą przez Londyn i Stany Zjednoczone dotarł do Tokio, gdzie przeprowadził rozmowy w sprawie utworzenia – w zamian za informacje wywiadowcze o armii rosyjskiej – polskiego legionu u boku wojsk japońskich. Tam też nieoczekiwanie spotkał się z Romanem Dmowskim, który prowadził podobne rozmowy. Ostatecznie pertraktacje tokijskie nie doprowadziły do konkretnych ustaleń i w 1905 roku powołano Organizację Bojową PPS, zaś rok później – PPS Frakcję Rewolucyjną. Sam Piłsudski rozpoczął intensywne samokształcenie w problematyce wojskowej, by z czasem stać się doskonałym znawcą dziejów wojen napoleońskich, powstania styczniowego i wojny rosyjsko-japońskiej. W czerwcu 1908 roku powołano tajny Związek Walki Czynnej, kierowany przez studenta politechniki lwowskiej Kazimierza Sosnkowskiego, coraz silniej związanego z kręgami towarzysza Mieczysława. Dnia 26 września 1908 roku Piłsudski kierował akcją zdobycia wagonu pocztowego na stacji w Bezdanach koło Wilna. Zdobyte wtedy pieniądze zostały przeznaczone na polską działalność wojskową w Galicji. Dwa lata wcześniej przyszły Marszałek poznał dzielną współtowarzyszkę konspiracji PPS-owskiej Aleksandrę Szczerbińską – swą przyszłą drugą żonę.