فتحعلیشاه قاجار درسال1177 ه.ش درسال دوم سلطنت خودفرمان داد تابيرون از تهران قصري برايش بسازند. محل قصر در جايی انتخاب شد که در آن زمان به اراضي خرم آبادمعروف بود. آن محل درآن هنگام در دره ماهور بود،لذا ناگزيرشدند بعضی از قسمت هارا بتراشند وقسمت های ديگررا پرکنند. آن گاه در آن جا يک عمارت بزرگ شامل بيرونی، اندرونی،کلاه فرنگی واستخر بنا کردند. این قصر به تدریج از دوره ناصرالدین شاه باکم توجهی ازرونق اولیه افتاد.ناصرالدین شاه امرکرد که فوج قزاق اردوی سالیانه خودرا در این محوطه برپا سازد که این شروع کاربری نظامی این منطقه بود. دردوره مظفرالدین شاه باغ قصرقجر به دست اداره ژاندارمری افتاد، باغ به تدریج کاربری خودرااز دست دادو قصر نیزمتروکه و به ویرانه تبدیل شد. بخش های زیادی از قصرقاجار در سال1284 ه.ش براثر بارش شديد باران و وقوع سيل، تخریب شد.با این حال بقایای ساختمان قصرقاجار تا 1337 هجری شمسی باقی بود . حدود یکصد و سی سال بعد از ساخته شدن قصر قاجار  شالوده های اولین زندان نوین ایران بر پای ویرانه های قصر و زمین های پایین دست آن بنا نهاده شد.  تا از آبان ماه سال 1308 هجری  شمسی  نام "زندان قصر" را به خود گیرد.  با پیروزی انقلاب اسلامی و دستاورد های درخشان جمهوری اسلامی ایران، بر اساس برنامه های توسعه فرهنگی شهر تهران در زمان مدیریت جناب آقای دکتر محمد باقر قالیباف، شهردار محترم تهران، در آبان ماه 1391 به نام "باغ موزه قصر" گشوده شد تا روایتگر بخشی از تاریخ و فرهنگ دو سده گذشته این سرزمین باشد.