Pest város főbírája 1847–1848 között és 1861-ben, a Lipót Rend lovagja, országgyűlési képviselő, 1886-ban a főrendiház tagja, Szabolcs vármegye főispánja 1881--1889 között.

Graefl József 1862-ben feleségül vette Losádi Győrffy Rozália (Róza) bárónőt. Magyar énekesnő felesége az 1870-es években Ótzátrafüred látogatója volt. Nagy érdeme volt a Magyarországi Kárpátegyesület (MKE) Tarajkához közeli Szószéken 1875-ben megépített első menedékházához szügséges összeg összegyűjtésében. A menedékházat róla nevezték el Róza-menháznak. Ez egy néhány szobás kis faház volt, a mai Bilík-menedékház helyén. Férje, Graefl József az MKE választmányi tagja volt 1874--1883 között.