عمویی اواخر سال ۳۷ همراه با سایر محبوسین زندان شمارۀ دو به زندان شماره سه منتقل شد؛ ساختمانی قدیمی با دیوارهایی بلند که بیشتر به چاه عمیقی می‌مانست که حفره‌هایی بر دیواره‌اش به چشم می‌خورد (پنجره اتاق‌ها). زندان شماره سه با دو در مشخص می‌شد: یک در برای اتاق ملاقات و در دیگر برای ورود و خروج به زندان.

ستوان یکم محمدعلی عمویی، روز نهم آذر ۱۳۳۳ همراه با ۴ عضو سازمان افسران حزب توده ایران، سروان محقق‌زاده، سروان رزم‌پور، سرگرد خیرخواه و ستوان یکم سلطانی محکوم به اعدام شد . او را از زندان قصر برای اجرای حکم به پادگان عشرت‌آباد بردند اما شب اجرای حکم، شاه که عازم آمریکا بود هنگام پرواز دستور داد احکام اعدام فعلا اجرا نشوند. اواخر دی ماه بود که عمویی به زندان شماره دو برگشت. برای نخستین بار به بند عمومی و پیش زندانیانی رفت که همگی مراحل بازجویی و دادگاه را پشت سر گذاشته بودند. عمویی ماند تا حکمش با یک درجه تخفیف به حبس ابد تبدیل شد. تغییر دیگر تحویل زندان شماره دو به شهربانی بود که در‌ها باز شد، آمد و رفت آزادانه بین بند‌ها و اختلاط نامحدود زندانیان کار ارتباط و گسترش تماس‌های سیاسی را آسان کرد.
 عمویی اواخر سال ۳۷ همراه با سایر محبوسین زندان شمارۀ دو به زندان شماره سه منتقل شد؛ ساختمانی قدیمی با دیوارهایی بلند که بیشتر به چاه عمیقی می‌مانست که حفره‌هایی بر دیواره‌اش به چشم می‌خورد (پنجره اتاق‌ها). زندان شماره سه با دو در مشخص می‌شد: یک در برای اتاق ملاقات و در دیگر برای ورود و خروج به زندان. عمویی در سال ۳۹ بار دیگر به زندان شماره دو برگشت، اما آذر ۴۲ برای سه سال از آنجا تبعید شد به دژ برازجان و نیمه خرداد ۴۵ بود که با اعضای نهضت آزادی به زندان قصر بازگشت و حالا نوبت زندان شماره چهار بود که به آنجا برود و روحانی باوقار و خوش اخلاق و بدون عبا و عمامه‌ای در مدخل بند به استقبالشان برود و مسافران را به طرف حیاط و آلاچیق هدایت کند؛ آیت‌الله طالقانی. زندان شماره چهار، راهروی تنگی داشت با سه اتاق بزرگ و چهار اتاق کوچک و یک انبار. پنجرۀ اتاق‌ها، بزرگ و رو به حیاط بود و باغچه‌هایی دیده می‌شد که یکی‌شان برای ورزش باستانی و پارالل بود و چند جفت میل، یکی دو تخته شنا و دمبل‌های مختلف در آن گذاشته بودند و در کنارش زمین والیبال مرمت شده بود و تور و توپ مناسب. این بود و ماند تا نیمه سال ۵۱ که عمویی به زندان عادل‌آباد شیراز تبعید شد و تا سال ۵۷ در آنجا ماند.
 عمویی ۸۴ ساله در هفتمین روز آذر ۹۱، وقتی به بازدید خانه ۱۵ ساله‌اش رفت، سراغ دو زندان شماره سه و چهار را گرفت که ۶ سال پیش در بازدیدی از زندان متروکه و مخروبه قصر نشانی از آن‌ها دیده بود اما حالا که موزه شده هیچ اثری از آن‌ها نبود. دو زندانی که یادگاران شیرین دوران حبس او بودند؛ زندانی که عمویی می‌گوید «در آن زندگی می‌کردیم و خوش بودیم.» وقتی به زندان شماره دو رفت و سری به اتاق ملاقات زد و از آن خارج شد، به اولین سلول که رسید، ایستاد و گفت: «من دو سال در این سلول بودم، با رضا شلتوکی پسر خاله‌ام و پوردولت». با لبخندی که نشانه گذر سریع خاطرات از پیش دیدگان و پس ذهنش بود، به داخل سلول تاریک رفت و با‌‌ همان لبخند بیرون آمد. اولین مقصدش در زندان قصر سلول ۱۱، بند ۱ زندان شماره دو بود؛ سلولی که عمویی را بعد از دو هفته بازداشت در دژبانی بردند آنجا که سرگرد رحیم بهزاد هم‌بندش بود.
 حیاط زندان خاطرات زیادی برای عمویی زنده کرد؛ از بازی‌های والیبال تا عکس یادگاری که در یکی از حوض‌های حیاط با دوربینی که یکی از زندانیان بطور مخفیانه از اتاق ملاقات آورد گرفته بودند. در سلول‌های زندان باز بود و رفت و آمد و هواخوری آزاد. عمویی یاد سالن‌های بزرگ زندان می‌افتاد و اجرای مراسم و رقص شالاخو و آوازهای دسته جمعی. یاد سفره پهن کردن در راهروی زندان و نشستن مذهبی‌ها و توده‌ای‌ها دور یک سفره، سفارش به چلوکباب شمشیری یا دعوت ناهار زندانیان عضو حزب توده . سال ۵۷ که روزنامه کیهان خبر داد آیت‌الله طالقانی ، منتظری، و عمویی آزاد می‌شوند، هم‌بندهای عمویی در زندان عادل‌آباد شیراز به شوخی به او می‌گفتند «شما هم آیت‌الله شدید!» سال‌ها بعد یکی از نخستین افرادی که عمویی پس از آزادی به دیدارش رفت منتظری بود، در مجلس قدیم تشک انداخته و نشسته بود، عمویی پرسید چرا تخت نمی‌گذارید و ایشان پاسخ داده بود: «تخت برای چی؟ مگر در زندان تخت داشتیم؟» عمویی از دیگر روحانی هم‌بندش نیز خاطرات خوب و شیرینی دارد: «مرد شریفی بود آقای طالقانی.»
 تا نام زندان قصر و حزب توده به میان می‌آید، بسیاری یاد اتفاق روز ۲۴ آذر ۱۳۲۹ می‌افتند؛ فرار نورالدین کیانوری، مرتضی یزدی، جودت، نوشین و قاسمی، سران زندانی حزب توده. عمویی که آن زمان عضو سازمان افسران حزب توده ایران بود، این فرار بزرگ را چنین روایت می‌کند: «شاخه شهربانی سازمان افسران حزب دو افسر در زندان قصر داشت که نگهبانی این دو با یکدیگر همزمان شده بود؛ یکی افسر در خروجی زندان بود و دیگری افسر نگهبان زندان شماره دو. برگه‌ای توسط رفقا (مبشری و فضل‌اللهی) که در سازمان قضایی ارتش بودند، نوشته شد که فرم رسمی احضار سران زندانی حزب جهت پاره‌ای اقدامات دادرسی بود. آن‌ها با ماشین دژبانی شاهنشاهی همراه با تعدادی گروهبان و سرباز و رفقای حزبی با یکی که لباس افسری پوشیده بود، وارد زندان قصر شدند. در دست آن‌ها سلاح قلابی (اسلحه چوبی) بود تا در صورت ناکام ماندن عملیات و بازداشت، حکم سنگینی نگیرند. این نامه را به افسر نگهبانی زندان دادند و افسر بند ۳ هم می‌رود و اعلام می‌کند که زندانیان کیانوری، نوشین و... احضار شده‌اند. قرار بود فقط دو سه نفر مسوول از عملیات اطلاع داشته باشند، حتی وقتی اسامی اعلام شد برخی هم‌بند‌ها فریاد کشیدند ما نمی‌گذاریم، آن‌ها را کجا می‌خواهید ببرید و... کسانی که از موضوع اطلاع داشتند آن‌ها را آرام کردند و گفتند صبر کنید ببینیم چه می‌شود. آن‌ها به همین طریق از زندان قصر خارج شدند و در سه‌راهی زندان هر کدام سوار یک ماشین شدند و به مخفیگاه‌هایشان رفتند. فردای آن روز این خبر مثل توپ صدا کرد، این یکی از شاهکارهای سازمان افسران حزب بود.»
 هر گوشه این زندان برای عمویی یادآور خاطره‌ای است؛ گرچه دو بار در طول دوران زندان خاطراتش را نوشته بود. بار اول هنگام تبعید به دژ برازجان مجبور شد یادداشت‌هایش را از بین ببرد تا مدرک جرمی علیه او نشود و بار دیگر پیش از تبعید به زندان عادل‌آباد شیراز بود که یادداشت‌هایش را به دوستی داد تا به خانواده‌اش برساند. اتفاقی در زندان پیش آمد و پیش از بازرسی سلول‌ها، آن دوست مجبور شد یادداشت‌ها را در مجرای آب نگه دارد. این یادداشت‌ها یک روز بیرون زد و هر برگه‌اش دست کسی افتاد. خاطرات عمویی جایی جز ذهنش نداشت تا سال‌ها بعد که در کتاب «درد زمانه» ثبت شد.
 با گشت و گذار در سلول‌های تنگ و تاریک زندان قصر بیشترین کلمه‌ای که از عمویی شنیده شد «خوشی» بود. براستی در زندان شماره دو، سه و چهار قصر بر عمویی و دیگر هم‌بندانش چه گذشت که تا سال‌ها وقتی به هم می‌رسیدند، یادش را زنده نگه می‌داشتند؟ آن سلول‌ها و حیاط زندان قصر چه داشتند که سال‌ها بعد عزت‌الله سحابی از عمویی پرسید «پیش آمده دلت برای زندان تنگ شود؟»؛ شاید هم توصیه محی‌الدین انواری، زندانی موتلفه‌ای بود که زولبیا بامیه را داد به عمویی و گفت: «بخورید کامتان شیرین شود. من بر این باورم که زندان را باید مثل زولبیا خورد!» و تا امروز هم عمویی می‌گوید: «انواری زندان را شیرین می‌کشید.»
 حالا زندان، موزه شده و عمویی نه یک زندانی که یک «بازدیدکننده» است؛ بازدیدکننده‌ای که انبانی از خاطرات زنده شده را با خود به خانه می‌برد. عکس عمویی در یکی از سلول‌های بازسازی شده در زندان شماره یک –گرچه هرگز آنجا نبوده- در کنار عکس صفرخان (۱۳۵۷-۱۳۲۷)، عباس شیبانی (۱۳۵۷-۱۳۳۵) و مهدی عراقی (۱۳۵۵-۱۳۴۳) است که سال‌های حبس‌اش (۱۳۵۷-۱۳۳۳) زیر عکس نوشته شده است. او اینجا حق آب و گل دارد، زندگی کرده و خوش بوده است.