Der Süllberg ist Teil des Blankeneser Elbhangs und liegt rund 250 m nördlich des Elbstrands. Benachbarte Erhebung im Nordwesten ist der Waseberg (87 m ü. NHN. Das Gipfelplateau und der Elbstrand sind durch das aus knapp 5000 Stufen bestehende sogenannte Treppenviertel verbunden. Es ist baulich über mehrere Jahrhunderte gewachsen mit Gebäuden aus unterschiedlichen Stilepochen. Die Bebauung besteht überwiegend aus weißen Villen und Häusern mit meist ein bis drei Vollgeschossen.

Der Blankeneser Elbhang einschließlich des Süllbergs ist eines der ältesten Siedlungsgebiete im Hamburger Raum. Seine Besiedlung begann im 16. Jahrhundert. Noch heute stehen im Treppenviertel, das sich über den Hang erstreckt, denkmalgeschützte Häuser aus dem 18. und 19. Jahrhundert. Die ältesten erhaltenen Häuser stammen aus der ersten Hälfte des 18. Jahrhunderts. Es sind Backsteinfachwerkbauten mit Reetdach, insbesondere Doppelhäuser für zwei Familien („Tweehuus“) oder Dreifachhäuser für drei Familien („Dreehuus“). Wohnhäuser im biedermeierlichen Stil vom Anfang des 19. Jahrhunderts verdeutlichen den wirtschaftlichen Aufschwung durch die Seeschifffahrt.

