ساخت این قصر دو سال زمان برد و بهترین معمارهای تهران در آن زمان روی آن کار کردند و نقاشی‌هایش نیز اثر سر قلم کسانی چون مهرعلی، نقاش مشهور دوره فتحعلی‌شاه است. تصاویر به دست آمده از شکل ابتدایی این عمارت آن قدر کم و محدود است که کسی که علاقه‌مند به تصور کردن این قصر دارد باید از نقاشی‌های نقاشانی چون دوبو و طرح‌های اوژون فلاندن فرانسوی کمک بگیرد.

هیچ کس نمی‌داند چرا قصری که خشت اولش را دومین شاه قاجار به زمین گذاشت و جوانان اصیل ایل قاجار مصالحش را با دست‌های خودشان از تپه نسبتا رفیع به بالا بردند، تبدیل به نخستین زندان نظمیۀ رضاشاه پهلوی شد؟ قصری که به همراه عمارت بادگیر مبلغ ۴۰۰ هزار تومان از هزینه جاری مملکتی صرف ساخت آن شد. اما این را می‌دانیم که فتحعلی‌شاه خودش دستور ساخت این قصر را در خارج از باروهای تهران داد و چنانچه معیرالممالک در کتاب «یادداشت‌هایی از زندگی خصوصی ناصرالدین شاه قاجار» نقل می‌کند به همین دلیل نیز نامش قصر قاجار گذاشته شد. در ذیل وقایع سال ۱۲۱۳ قمری در کتاب «ماثر السطانیه» آمده است: «... [در این سال] رای جهان آرای پادشاه اقتضای آن کرد که قطعه زمینی عبیرآگین را که در نیم فرسنگی شهر طهران واقع بود، باغی چون باغ خلد برین، مشحون به انواع اشجار و ریاحین ساخته و بر ذروه تلی، چون توده عنبرسارا که در آنجا واقع بود، سرائی دلگشا سازند، حکم قضا، امضاء نافذ گشت...»
در کتاب «گزیده تاریخ تهران» نقل شده است که: «عمارت قصر بالای تپه بود و به رسم آن زمان اتاق‌های تنگ و تاریک داشته؛ در پایین تپه استخر و باغ بوده است.» شاید همین اتاق‌های تنگ و تاریک فراوان و دیوارهای بلند این عمارت بود که در نظر کسانی چون محمد درگاهی می‌توان آن را به عنوان زندان تغییر کاربری داد.
 ساخت این قصر دو سال زمان برد و بهترین معمارهای تهران در آن زمان روی آن کار کردند و نقاشی‌هایش نیز اثر سر قلم کسانی چون مهرعلی، نقاش مشهور دوره فتحعلی‌شاه است. تصاویر به دست آمده از شکل ابتدایی این عمارت آن قدر کم و محدود است که کسی که علاقه‌مند به تصور کردن این قصر دارد باید از نقاشی‌های نقاشانی چون دوبو و طرح‌های اوژون فلاندن فرانسوی کمک بگیرد. در آلبوم‌خانه سلطنتی نیز تعدادی از عکس‌های این عمارت پیش از تخریب آن به چشم می‌خورد. بر اساس همین تصاویر است که می‌دانیم بر دیوارهای جایگاه مخصوصی که در بالاخانه این بنا قرار داشته، تصاویری از شاهزادگان قاجار نقاشی شده بود. همچنین بر اساس طرح‌های فلاندن و نقل قول کسانی که این بنا را دیده‌اند، در میان این نقوش نقش چهار زن سراپا مسلح نیز حجاری شده است که با توجه به سبک معماری غالب این دوره که متاثر از دوران صفویه و زندیه است به نظر می‌رسد این چهار زن پهلوانان شاهنامه احتمالا گردآفرید و یارانش باشند. ناصر نجمی اما در کتاب «دارالخلافه تهران»، تزئین داخلی اتاق‌ها را نظیر اغلب ساختمان‌های مجلل ایرانی دانسته و نوشته است که این تزئینات عبارت بودند از: آینه‌کاری، گچکاری، اکلیل‌کاری، نقاشی‌های عجیب و ساده و بی‌پیرایه‌ای از صحنه‌های حماسی ایران که با تصاویری از زندگی چنگیزخان و تیمورلنگ به هم آمیخته بود. نقوشی که در ساختمان‌های دوره ابتدای قاجار بسیار به چشم می‌خورد.
 معیرالممالک که در زمان پدربزرگش ناصرالدین شاه قاجار بار‌ها به مناسبت‌های گوناگون در مراسم‌ قصر قاجار شرکت کرده بود، بنا را چنین توصیف می‌کند: «بنای قصر سه طبقه و نمای اصلی آن رو به جنوب بود. در طبقه دوم تالار بزرگ آیینه واقع بود و بالای آن اتاقی که از چهار سمت به مناظر اطراف نگاه می‌کرد، قرار داشت که تنها بنای طبقه سوم به شمار می‌رفت. سقف و دیوارهای این اطاق از گچ‌بری‌های زیبا زینت یافته به طلا و لاجورد و شنگرف رنگ‌آمیزی و در میان هر بدنه دیوار مناظر شکار و مجالس بزم درون قاب‌هایی با گل‌های برجسته از گچ نقاشی شده بود. ازاره تالار بزرگ آیینه از سنگ مرمر، ورودی درهای آن از بر متن طلا به شیوه سرلوح و حواشی کتاب‌های مصور قدیمی و رنگ‌آمیزی شده بود.»
 چهار برج زیبا در چهار طرف قصر قاجار ساخته شده بود که به نوشته معیرالممالک: «هر یک دارای اطاقی بود آیینه‌کاری با سقف مقرنس در طبقه اول و اطاقی دیگر مزین به گچ‌کاری‌های ظریف و نقش و نگارهای رنگارنگ در طبقه دوم.» نمای شمالی قصر ساده‌تر از نمای داخلی و مشرف به حیاطی بود که در وسط آن حوضی مربع از مرمر سفید تعریف شده بود. این حوض بعد‌ها تبدیل به استخری وسیع شد که به اعتقاد معیرالممالک همیشه پر از آب زلالی بود که نمای قصر در آن خودنمایی می‌کرد. یکی از موضوعات جالب که دوستعلی‌خان معیرالممالک به آن اشاره می‌کند نحوه رساندن آب به این قصر و استخر میانی آن بود: «برای بردن آب به بالای تپه معماران میله‌هایی در امتداد تقریبی دو هزار قدم به فواصل معین ساخته بودند، تا میله‌ها آخر که هم‌سطح تپه رفته بود که اروپاییان و به خصوص مهندسان خارجی مقیم تهران برای تماشا رفته بودند، دقت و تحسین بسیار می‌کردند و از آن‌ها عکس می‌گرفتند.»
نکته شاخص قصر قاجار در این بود که شکل ساختمان به گونه طراحی شده بود که فضای بیرونی با داخل ارتباطی نداشته باشد به همین دلیل هم این ساختمان از معدود بناهای فاقد پنجره‌های بیرونی بود و از این جهت بیشتر از آنکه به یک کاخ پادشاهی شبیه باشد، به یک قلعه نظامی شباهت داشت. شاید این‌ها دلایلی بود که ناصرالدین شاه که به کاخ‌هایی با دیوارهای کوتاه و تزیینی علاقه داشت قصر قاجار را دوست نداشت و آن را به دست نظامیان داد. باغ‌های بسیار بزرگی در اطراف این بنا واقع بود که به وسیله استخر‌ها و نهرهای زلال و پُرآبی از یکدیگر مجزا می‌شدند. ورودی قصر دارای بالاخانه‌ای بود که چشم‌انداز زیبایی از صحرا، شمیران، تهران، خرابه‌های ری و نجف‌آباد، کاخ‌های اشرف‌آباد و دوشان تپه داشت و اطراف و بنا‌ها از آن بالا به خوبی دیده می‌شدند. یکی از اجزای زیبا و منحصر به فرد قصر قاجار که هنوز هم در بخشی از این مجموعه بنا وجود دارد، عمارت کلاه فرنگی است که در میانه این مجموعه قرار داشت. این بنا دارای یک پلان هشت ضلعی منتظم با مساحتی در حدود ۱۰۰ مترمربع و یک زیرزمین است که از جهت عملکردی شامل استراحتگاهی موقت در میان درختان باغ بوده و کاربردی انتزاعی داشته است. عمارت کلاه فرنگی شامل یک اتاق چند وجهی کوچک با ایوانی در دور تا دور آن است. پیرامون بنا و در جلوی ایوان ۸ ستون با گچ‌بری و سرستون‌های کرنتی به چشم می‌خورد. نمای خارجی بنا و در سطوح پشتی و بغل بنای ایوان با کاشی و نمای داخلی پوشش ایوان نیز با قاب‌بندی چوبی تزیین شده است.
 قصر قاجار از نگاه فرنگی‌ها
 قصر قاجار یکی از مهم‌ترین بناهای دوران ابتدای قاجاریه به شمار می‌رفت که از بسیاری از مهمانان خارجی پذیرایی کردند. بسیاری چون مادام کالاسرنا در خاطرات خود از این قصر آن را ستودند. مسیو ژوبر فرستاده ناپلئون به دربار فتحعلی شاه که گفت‌وگوی عباس میرزا نایب‌السلطنه فتحعلی‌شاه با او یکی از ماندگار‌ترین کلیدهای حرکت ایران به سوی مدرنیته بود و در طی آن عباس‌میرزا می‌گوید: «نمی‌دانم این قدرتی که شما را بر ما مسلط کرده چیست؟ و موجب ضعف ما و ترقی شما چه؟»، در سال ۱۲۲۱ قمری نیز از این قصر دیدن کرده و از نقاشی‌هایش در کتاب مسافرت به ایران و ارمنستان یاد کرده است و می‌نویسد: «قصر قاجار بر فراز تپه‌ای واقع و بنایی است بسیار زیبا که با آجر ساخته شده و باغ بسیار بزرگی بر آن احاطه دارد. نهر آبی نیز از وسط باغ جاری است که پس از تشکیل حوض‌ها و فواره‌ها، در جایگاه زیردست گم می‌شود. عمارت قصر در ‌‌نهایت جلال و شکوه تزئین شده و نقاشی‌هایی در کمال ظرافت و دقت در آن انجام شده است که زینت‌افزای آن است. اعلیحضرت سه ماه اول سال ایرانی که با مارس و آوریل و مه سال ۱۸۰۶ مسیحی مطابقت داشت، در این قصر گذرانیدند.»
 گاسپار دروویل، افسر فرانسوی که در اواسط سلطنت فتحعلی‌شاه برای ماموریت نظامی به تهران آمده بود نیز با توصیف این قصر می‌نویسد: «پادشاه مقداری از اوقات خود را در فصل خوش هوا در خانه تفریحی که در یک فرسنگ و نیمی تهران ساخته می‌گذراند. این خانه که بیشتر به سبک اروپایی است، چون بر روی تپه‌ای مشرف به شهر واقع شده کاملا نمودار است. این خانه و باغ‌های پلکانی وسیع و درختان زیادشان، بسیار فرحبخش‌اند... پادشاه به سبب دلبستگی فراوانش به تهران، این قصر را تخت قاجار نامیده.»
 همچنین بنجامین، سفیر آمریکا در ایران نیز که از قصر قاجار دیدن کرده بود، می‌نویسد: «قصر دیگر که در شمال تهران واقع است قصر قاجار نامیده می‌شود که از نقاط خوش منظره و بسیار زیبای تهران به شمار می‌رود. شاه کنونی ایران که مانند اسلاف خود علاقه زیادی به شکار دارد همیشه قبل از شکار به این قصر می‌رود و پس از استراحت کوتاهی عازم شکار می‌شود.»
مادام کارلاسرنا که جزو معدود زنانی بوده است که در عصر قاجار، به تنهایی ایرانگردی کرده، این قصر را از نزدیک دیده بود و درباره آن نوشته است: «... به صورت آمفی‌تئا‌تر بر فراز جایگاه بلندی ساخته شده و بر قصرهای مرتفع دیگری که بعد از آن قرار دارند، تسلط دارد. مقابل آن باغی است به وسعت ۶۰۰ متر درازا و ۴۰۰ متر پهنا که خیابان‌های مشجر بزرگی به موازات هم از میان آن می‌گذرد. تعداد زیادی بوته‌های گل سرخ و گل یاس و درختان مختلف مانند هلو که این میوه در ایران بسیار مرغوب است و میوه‌های مختلف دیگر، منظره دلپذیر و چشم‌نوازی به آن باغ داده است. شاخه‌های مو یا انگورهای درشت بی‌دانه، تا پشت بام رفته و دور تا دور باغ را فرا گرفته‌اند. چندین حوض و فواره به همه چیز در این محیط، زندگی و شادابی می‌بخشد و گل باغچه‌ها را همیشه ‌تر و تازه نگه می‌دارد. در وسط باغ، بر بالای چهار ستون مرمری ظریف کوشک زیبایی ساخته و با گنبد مطبق، روی آن را پوشانده‌اند. داخل قصر به سبک خالص ایرانی و با وسایل گران‌بها تزیین یافته است. آیینه‌های بسیار بزرگ و نقاشی‌ها، وسایل اصلی تزیینات داخلی قصر را تشکیل می‌دهند. با وجود زیبایی‌هایی که در قصر قاجار مشهود است و با آنکه اولین کاخ تفریحی و ییلاقی شاهزادگان قاجار بوده است ولی بیشتر اوقات متروک افتاده و ناصرالدین‌شاه، زیاد از آن خوشش نمی‌آید و خیلی کم به آنجا می‌رود....» اما همه فرنگی‌هایی که از این قصر دیدن کرده‌اند، آن را زیبا توصیف نکرده‌اند و لرد کرزن انگلیسی در کتاب «ایران و قضیه ایران» آن را کاخی زشت و فاقد هر نوع زیبایی توصیف کرده‌ است.
 از روزهای اوج تا سکوت سرد
 رونق قصر قاجار تا زمانی که فتحعلی‌شاه زنده بود به لطف سکونت دایم او در حرمسرا برقرار بود. گفته می‌شود فتحعلی‌شاه سه ماه نخست سال ۱۸۰۶ میلادی را در این قصر گذرانده است. علاقه شاه به شکار و نزدیکی این قصر به شکارگاه‌های آن روز سبب اقامت او در این قصر می‌شد. اما بعد از مرگ فتحعلی‌شاه جانشین او یعنی محمد شاه که زیر نفوذ ساعت سعد و نحس مرادش حاج میرزای آقاسی بود، ترجیح داد قصر محمدیه را محل ییلاق خود کرده و کمتر به قصر قاجار سر می‌زد. همین باعث شد که قصر قاجار فراموش شود. به نظر می‌رسد با آنکه معیرالممالک به طور تفصیلی از مراسم‌هایی که در قصر قاجار رخ می‌داد صحبت کرده است، اما این قصر در دوره ناصرالدین شاه قاجار از رونق افتاد و ناصرالدین شاه معمولا ایام نزدیک عید که کاخ گلستان و ساختمان‌های ایوانخانه گردگیری و آرایش می‌شد، در قصر قاجار مستقر می‌شد. اعتمادالسلطنه در یادداشت‌های روزانه خود می‌نویسد: «...و دیگر اضافات عمده در قصر قاجار، نگارستان، دولت‌آباد و لاله‌زار است اگرچه این باغات در دولت‌های پیش انشا شد، اما در عهد همایون متجاوز از سی هزار تومان در تغییر وضع و اضافات ابنیه آن‌ها مصروف افتاده است... پارسال که قزل‌قلعه خراب شده بود اسباب آنجا را حمل به قصر قاجار کرده بودند. در بین راه که زیاده از دو سه هزار ذرع نیست، هشت هزار فشنگ تفنگ را دزدیده‌اند. تا امروز به شاه عرض نکرده بودند.» شرحی که اعتمادالسلطنه نوشته نشان می‌دهد که برخلاف رفت و آمدهای مختصر قصر قاجار که کم‌کم در حریم تهران قرار می‌گرفت، در اواخر سلطنت ناصرالدین شاه کارآیی اصلی خود را از دست داده و تبدیل به یک مرکز نظامی شده بود و هنوز پنجاه سال کامل از ساخت آن نگذشته بود که متروک و برای استقرار نیروی قزاق در اختیار کلنل کاساکوفسکی گذاشته و تبدیل به محل قزاقخانه شد که سالی یک‌بار شاه برای سان دیدن به آنجا می‌رفت. در سال ۱۲۹۹ قمری محل قزاقخانه از داوودیه به قصر منتقل می‌شود. در زمان احمدشاه تیپ تیرانداز عراق مرکب از دو فوج احمدی و نادری در قصر قاجار تشکیل شد که فرماندهی فوج احمدی بر عهده احمدشاه بود. ویرانی قصر قاجار از زمانی آغاز شد که دیگر این قصر تاریخی مورد توجه شاهان بعد از فتحعلی‌شاه قرار نگرفت. کنت دوسرسی که در سال ۱۲۵۵ قمری از این قصر دیدن کرده، نوشته است: «دیگر کسی در قصر سکونت نداشته و تابلوهای روی دیوار‌ها به این سبب لانه پرندگان شده و رو به خرابی رفته است.» دکتر پولاک نیز در سفرنامه خود به سال ۱۲۸۲ قمری از بی‌توجهی به باغ و خشک شدن چنارهای تناور آن سخن می‌گوید. دونالد ویلبر در کتاب «باغ‌های ایرانی» گزارش داده است که در سال ۱۹۵۰ میلادی آجر‌ها و سنگ‌های عمارت اصلی را برای بناهای مجاور به غارت بردند.
 خلوتگاهی برای معترضان
اینکه داستان تبدیل قصر قاجار به زندان از کی آغاز شد شاید خیلی مهم نباشد. همه‌اش از آنجایی شروع شد که پهلوی مست از حکم چهارم آبان ۱۳۰۴ به سرکوب مخالفان دست زد و از همین جا بود که فهمید زندان نظمیه کفایت این همه مخالف را ندارد؛ پس به سرتیپ محمد درگاهی، رئیس نظمیه دستور داد تا جایی را برای ساخت زندان در نظر بگیرد، زندانی برای خفه کردن صداهای مخالف. درگاهی برای پیدا کردن محل زندان وقت زیادی نداشت و دست به دامن نیکولا مارکوف شد. نیکولای مارکوف، گرجی بود و فارغ‌التحصیل دانشکده هنرهای زیبای آکادمی سلطنتی سن‌پترزبورگ و پیش از این کاخ شهربانی را طراحی کرده بود و در بازسازی مدرسه دارالفنون سرمهندس بود. پیشنهاد مارکف ساختمانی آماده روی تپه بود که دیوارهای بی‌پنجره داشته باشد و اتاق‌های تنگ و کوچک و چه جایی بهتر از محل قزاقخانه قصر که درگاهی نیز مدتی در آنجا بود. ساختمان زندان قصر با تغییراتی بلافاصله آماده شد و در ۱۱ آذر ۱۳۰۸ با ۱۹۲ اتاق و ظرفیت ۸۰۰ نفر زندانی با حضور پهلوی اول در حالی افتتاح شد که نخستین زندانی‌اش سرتیپ درگاهی بود. شاید این هم بخشی از نفرین‌های قصر قاجار بود که عبدالحسین‌خان تیمورتاش دست راست پهلوی اول که در مراسم افتتاحیه تخم شک به درگاهی را به دل شاه افکنده بود، خود در میان دیوارهای همین زندان نفس آخرش را کشید.