قلعه خویدک در زمان های قدیم که راهزنان به روستا ها حمله می کردند روستاییان برای حفظ جان خود به درون قلعه خویدک میرفتند. این قلعه بسیار گسترده است به طوری که گویااین قلعه خود یک روستای بزرگ بوده است .

در چهار طرف این قلعه چهار برج قرار دارد که در این برج ها سوراخ هایی تعبیه شده به طوری که وقتی راهزنان به قلعه نزدیک میشدند افرادی که در برج بودند بر انها تسلط کافی داشته اند و انها به وسیله تیر کمان های سنگی(منظور تیر وکمان هایی که به وسیله ان سنگ پرتاب میکردند) راهزنان را مورد حمله قرار می دادند. قلعه خويدک يزد که به شماره 13029 در مرداد سال 84 در فهرست آثار ملي کشور به ثبت رسيده از جمله شاهکارهاي کوير ايران است که با مصالح کاملا بومي و با استفاده از روش‌ها و متد معماري سنتي کوير ساخته شده است. ساخت و ساز فعلي بنا مربوط به دوران آل مظفر(قرن هشتم هجری) مي‌باشد که در چندين مرحله نيز پس از آن تعميراتي بر روي بنا انجام شده و در بعضي نقاط از جمله سقف يکي از اتاق‌ها خشت‌هايي با ابعاد معمول پيش از اسلام ديده شده که به احتمال قوي مصالحي است که در ساخت و ساز اوليه بنا در پيش از اسلام به کار برده شده و بعد از تخريب مجدد از همان مصالح براي تعميرات دوباره بنا استفاده شده است.

در کتب تاريخ يزد متعلق به قرن 9 و 10 هجري به اين قلعه اشاره شده که مي توان از"تاريخ جديد يزد و جامع مفيدي" نام برد. ديواره اطراف قلعه با ترکيب و چينه با ارتفاعي بيش از 8 متر و با تزييناتي در نماي بيروني ساخته شده است. ضمن آنکه درب ورودي قلعه با طاق هلالي بلند در ضلع جنوبي قلعه واقع شده است.

فضاي داخلي قلعه به صورت چهار رديف اتاقک‌هايي است که سه کوچه در امتداد شمالي – جنوبي، آنها را از هم مجزا مي‌کند و سقف اين اتاق‌ها به صورت آهنگ و اکثرا با قوس هلالي است و بر روي بخشي از کوچه‌ها ساباط‌هايي ديده مي‌شود.

اتاق‌هاي ضلع جنوبي و شرقي به صورت دو طبقه بوده‌اند که سقف طبقه سوم در اکثر موارد فرو ريخته است و در چهار گوشه قلعه برج‌هاي ديدباني تعبيه شده است؛ در اطراف ديوار دو جداره قلعه خندقي به عرض 10 متر وجود داشته است که در حال حاضر پر شده است.بقاياي يک آسياب آبي در جوار قلعه ديده مي‌شود که در مسير قنات بوده و نشان دهنده وجود سيستم آبرساني در قلعه نيز مي باشد و نام بنا برگرفته از نام روستاي محل ساخت است.

بناي اين قلعه باستاني با مساحت تقريبا 2252 متر مربع با خشت و گل احداث شده است و به عنوان قلعه مسکوني و تدافعي در طول سده‌هاي متوالي مورد استفاده بوده است.

با توجه به قدمت بسيار طولاني بنا، تعميراتي که در مراحل مختلف بر روي بنا انجام شده منجر به تغييراتي در بنا نيز شده است. در دهه‌هاي اخير لوله آب شهري تا آستانه ورودي قلعه کشيده است و خندق اطراف قلعه نيز در خيابان سازي دهه‌هاي اخير پر شده است. بناي ياد شده از معدود قلاع باستاني ايران در استان يزد به شمار مي‌رود و به لحاظ اهميت با ارگ بم قابل مقايسه است.