Krzew niski [do 1,5 metra], rozrastający się szeroko. Gałęzie krótkie, miotełkowate, wyprostowane.  Najdrobniejsze gałązki bardzo cienkie, wałeczkowate, gęsto pokryte łuskowatymi, drobnymi, silnie przylegającymi igłami o tępym wierzchołku. Igły pod spodem gruczołowate. Roztarte gałązki wydają silny zapach, który pochodzi od eterycznego olejku - sawinolu. Igły szpilowate występują na ocienionych gałązkach wewnątrz krzewu. Mają one długość do 4 mm, są ostre, z wierzchu sinozielone, z bruzdowatym zagłębieniem, po 3 w okółku. Szyszkojagody kuliste, średnicy 5-7 mm, granatowoczarne z sinym nalotem, zwisające na krótkich szypułkach. dojrzewają jesienią lub wiosną przyszłego roku i zawierają zwykle po 2 nasiona.
Występowanie jałowca sabińskiego obejmuje swoim zasięgiem zarówno Europę, Azję jak i Afrykę. W Polsce występuje tylko na kilku stanowiskach w Pieninach. Uważa się go za relikt okresu przedlodowcowego.
Od dawna w uprawie w wielu krajach. Jako roślina lecznicza sadzony był już w średniowiecznych ogrodach klasztornych. Obecnie uprawiany często w parkach i ogrodach. rośnie dobrze na suchych, piaszczystych i kamienistych glebach, na stanowiskach silnie nasłonecznionych. Jest jednak dosyć wrażliwy na wszelkie zanieczyszczenia powietrza. Używany do obsadzania i umacniania skarp. Łatwo rozmnaża się wegetatywnie z sadzonek i jest często produkowany w szkółkach.