فتحعلیشاه قاجار درسال۱۱۷۷ ه.ش درسال دوم سلطنت خودفرمان داد تابیرون از تهران قصری برایش بسازند. محل قصر در جایی انتخاب شد که در آن زمان به اراضی خرم آبادمعروف بود. در آن جا یک عمارت بزرگ شامل بیرونی، اندرونی،کلاه فرنگی واستخر بنا کردند.
این قصر به تدریج از دوره ناصرالدین شاه باکم توجهی ازرونق اولیه افتاد.ناصرالدین شاه امرکرد که فوج قزاق اردوی سالیانه خودرا در این محوطه برپا سازد که این شروع کاربری نظامی این منطقه بود. دردوره مظفرالدین شاه باغ قصرقجر به دست اداره ژاندارمری افتاد، باغ به تدریج کاربری خود را از دست داد و قصر نیز متروکه و به ویرانه تبدیل شد. بخشهای زیادی از قصرقاجار در سال۱۲۸۴ ه.ش براثر بارش شدید باران و وقوع سیل، تخریب شد.با این حال بقایای ساختمان قصرقاجار تا ۱۳۳۷ هجری شمسی باقی بود .
حدود یکصد و سی سال بعد از ساخته شدن قصر قاجار شالودههای اولین زندان نوین ایران بر پای ویرانههای قصر و زمینهای پایین دست آن بنا نهاده شد تا از آبان ماه سال ۱۳۰۸ هجری شمسی نام «زندان قصر» را به خود گیرد.
زندان قصر در تاریخ ۱۱ آذرماه ۱۳۰۸ به دست رضا شاه افتتاح گردید. فاز اولیه زندان که در آن زمان افتتاح شد ۱۹۲ اتاق بود با گنجایش ۸۰۰ زندانی. بعدها و تا زمان ساخت زندان اوین در دهه چهل، این زندان تنها زندان پایتخت بود. در این دوران زندان قصر توسعه زیادی پیدا کرد.
این مجموعه با پیروزی انقلاب اسلامی، بر اساس برنامههای توسعه فرهنگی شهر تهران در آبان ماه ۱۳۹۱ به نام «باغ موزه قصر» گشوده شد تا روایتگر بخشی از تاریخ و فرهنگ دو سده گذشته این سرزمین باشد.