این بنا در زمان پهلوی اول ساخته شده بود که در سال 1349 جایش را به آرامگاه تازه داد. بابا طاهر عریان، عارف و شاعر اواخر سده چهارم و اوایل سده پنجم هجری قمری ایران است که دوبیتی‌های او که با لهجه لری سروده شده‌اند، از قرن‌ها پیش ورد زبان مردم بوده است.

بابا طاهر در یکی از دوبیتی‌های مشهورش سال تولدش را به حروف ابجد گنجانیده که نشان دهنده سال ۳۲۶ هجری قمری است. او پس از ۸۵ سال زندگی وفات یافته و در همدان دفن شده است.

قدمت نخستین آرامگاه مزار بابا طاهر به دوره سلجوقیان می‌رسد که یک برج 8 ضلعی آجری بوده است. در دوره رضا شاه شهرداری همدان اقدام به ساخت بنای جدیدی روی مزار این شاعر و عارف می‌نماید که نیمه کاره می‌ماند. در سال 1329 خورشیدی این بنای نیمه‌کاره مرمت می‌شود تا آن که در سال 1349 آرامگاه تازه‌ای جای آن را می‌گیرد.