Jak nazwisko samo wskazuje, pochodził Kremer ze spolszczonej rodziny niemieckiej, i sam zrazu podpisywał się: Kraemer. Ojciec jego, rękodzielnik, dorobił się sumienną pracą, rzetelnością i oszczędnością dość znacznego majątku, posiadał bowiem w Krakowie dwie kamienice i znaczny ogród, zwany Kremerowskim, a z którego dzisiaj w Wielkim Mieście Krakowie ani śladu nie zostało. Matka, Anna z Erbów, była nabożną, szczerze do swej wiary katolickiej przywiązaną mieszczanką, i usilnie też starała się o to, aby swe uczucia religijne głęboko wpoić w dusze swych dziatek. Najstarszem z nich był właśnie Józef, który przyszedł na świat dnia 22 lutego 1806 r. Dwaj jego bracia młodsi: Karol i Aleksander, zajęli poczesne miejsce w społeczeństwie, bo pierwszy uzyskał doktorat filozofii i długie lata był dyrektorem budownictwa miejskiego, a drugi, Aleksander, był lekarzem zawołanym i zmarł jako członek Akademii Umiejętności.

Józef był bardzo słabowitem dzieckiem, gdyż, jak sam o sobie pisze, przeszedł do 7-go roku życia niemal wszystkie choroby wieku dziecięcego. Przezacna jego matka otaczała go najczulszą i najtroskliwszą opieką macierzyńską [...]. Chociaż ojciec Józefa sam nie posiadał wyższego wykształcenia, rozumiał jednak dobrze wielką jego wartość i znaczenie, i dlatego usilnie starał się o to, aby ono stało się udziałem jego synów. Józef nie pojmował zrazu wartości nauki i nie przykładał się do niej tak, że nieparzyste klasy aż do piątej włącznie musiał powtarzać. Na szczęście zaszła w nim w drugim roku piątej klasy gruntowna odmiana, postanowił dołożyć wszelkich starań, aby więcej nie martwić rodziców i stać się dobrym uczniem między pierwszymi w klasie. Pierwszy zauważył tę zmianę nauczyciel matematyki, bardzo dobry pedagog, Augustyn Frączkiewicz; odebrał od Józia uroczyste przyrzeczenie, że już odtąd nie będzie się zaniedbywał w naukach. Kremer dotrzymał przyrzeczenia, i w r. 1823, t.j. w 17-tej wiośnie życia złożył egzamin dojrzałości w liceum św. Anny, poczem zapisał się na wydział prawniczy w uniwersytecie Jagiellońskim, nie tyle może przez pociąg wrodzony do tego rodzaju studyów, ile raczej przez wzgląd na to, że w ówczesnych stosunkach ukończenie prawa dawało rękojmię dalszej pomyślnej karyery. Przed studyum prawa musiał on odbyć kurs dwuletni nauk humanistycznych, do których wchodziły języki starożytne, literatura ojczysta, historya i filozofia, którą nieszczególnie wykładał Józef Emanuel Jankowski, z zawodu adwokat. Lecz i grono profesorów prawa nie posiadało ludzi wybitnych pod względem naukowym [...].

Po roku studyów uniwersyteckich odbył Kremer w towarzystwie teologa Feliksa Leopolda i prawnika Michała Rostafińskiego swą pierwszą podróż do Włoch. Ponieważ kolei wówczas jeszcze nie było na południe Austryi, więc ojciec Kremera urządził podróż w ten sposób, że kupił konika oraz wózek góralski płótnem kryty, zaopatrzył młodych podróżnych należycie w prowianty i pieniądze, i wysłał ich w świat. Młodzieńcy podążyli do Wiednia, a stamtąd przez Semmering do Brucku nad Murem, gdzie swój ekwipaż pozostawili, a pieszo wybrali się za Alpy do Włoch. Widok tej ziemi klasycznej wywarł na Kremera, jak sam opisuje, wielkie wrażenie [...].