1862 hatte die jüdische Gemeinde aus privater Hand einen an die Berliner Straße angrenzenden Geländestreifen erworben. 1863 begannen die Arbeiten zur Anlegung eines Begräbnisplatzes. Dazu gehörten neben der Leichenhalle rituell notwendige Räumlichkeiten und die Wohnung des Friedhofsverwalters.
Das 400 Meter lange Gelände reicht von der Berliner Straße bis zur später angelegten Theresienstraße und ist weniger als 50 Meter breit. Es wird durch einen mittigen Hauptweg erschlossen. Von den fünf Abteilungen werden die ersten vier jeweils durch Trennmauern gegliedert. An diesen und an den Seitenmauern befinden sich Wandstellen von Familien- und Erbbegräbnissen, die für jüdische Friedhöfe eher untypisch sind und hier vor allem die Bankhäuser wie Ariowitsch, Kroch und Breslauer repräsentieren. Ein Wandgrabmal ist auch das des Rabbiners Abraham Meyer Goldschmidt und seiner Frau, der Pädagogin und Frauenrechtlerin Henriette Goldschmidt. Ein Ehrenmal verewigt die Namen von 121 jüdischen Kriegstoten des Ersten Weltkriegs.
Durch Vandalismus während der NS-Zeit und den Zweiten Weltkrieg nahm der Friedhof Schaden. Kleine Nummernsteine in den Gräberreihen markieren verlorengegangene Grabmäler sowie Grabstätten, die nie ein Grabmal besessen haben, darunter auch KZ-Opfer.
Eine Bodenplatte in der Kinderabteilung weist darauf hin, dass jüdische Kinder während der NS-Zeit hier spielten, weil ihnen dies in öffentlichen Anlagen verboten war.
Ende der 1920er Jahre gingen die Bestattungen auf den Neuen Israelitischen Friedhof über, lebten aber nach dessen Verwüstung 1938 nochmals auf. Der Friedhof beherbergt über 5000 Grabstellen. Die Gebäude im Eingangsbereich sind abgerissen. Der Alte Israelitische Friedhof steht heute unter Denkmalschutz und wird von der Friedhofsabteilung beim Amt für Stadtgrün und Gewässer der Stadt Leipzig betreut.