شاید باورش سخت باشد که عمارت زیبا و دلربای موزه تماشاگه زمان که امروز صدها ساعت تاریخی و منحصربه‌فرد را در دل خود جای داده است، یک روز بنایی خشت و گلی و فرسوده بود. پیشینه این عمارت به دوران محمدشاه قاجار برمی‌گردد؛ یعنی به همان دوران که این عمارت زیبا، بنایی خشت و گلی در یک باغ وسیع قرار داشت.
داستان بازسازی این عمارت و نونوار شدن آن با تاجری معروف به نام «حسین خداداد» صنعت‌گر و مالک میدان بار مرکزی تهران گره خورده است. خداداد سال ۱۳۴۶ باغی ۶ هزار مترمربعی از اراضی باغ فردوس را از «معیرالممالک» داماد ناصرالدین‌شاه خرید. و با بهره‌گیری از بهترین استادان گچ‌بری و کاشی‌کاری عمارت خشت و گلی میان باغ را که قدمتش به دوران محمدشاه می‌رسید در طی بیش از ۱۰ سال مرمت کرد.
پس از یک دهه تلاش معماران زبردست ایرانی، عمارت حسین خداداد در سال ۱۳۵۶ با ترکیبی از معماری ایرانی دوره قاجار و معماری مدرن تکمیل و به محل زندگی خانواده‌اش تبدیل شد. این عمارت پس از پیروزی انقلاب اسلامی در اختیار بنیاد مستضعفان قرار گرفت و از سال ۱۳۷۸ به نخستین موزه ساعت ایران تبدیل شد. اکنون در این ساختمان زیبا در محله زعفرانیه، از ساعت‌های مچی و مکانیکی تا ساعت خاص مثل ساعت کشتی و حتی ساعت‌های متعلق به چهره‌های مشهور هنری و تاریخی نگهداری می‌شود.
