Мирский замок начали строить в 1520-х годах по приказу Юрия Ильинича — маршалка надворного литовского. Замок должен был подчеркнуть его статус и обеспечить защиту от крымских татар. Кроме того, каменное укрепление было обязательным условием для получения графского титула Священной Римской империи.
Для строительства использовали местные материалы: валуны, известь из Сверженя и кирпич, который производили на специально созданных заводах. Однако Ильинич не дожил до завершения работ, а его род вскоре пресёкся.
Во второй половине XVI века замок перешёл к Радзивиллам. Николай Христофор Радзивилл по прозвищу Сиротка сделал его родовой резиденцией: перепланировал башни, возвёл жилые постройки, обнёс территорию валами и рвом. Позже, с постройкой Несвижского дворца, Мир стал «дачей» и был оштукатурен, окрашен в розовый цвет, украшен черепицей и коваными элементами. Рядом разбили итальянский сад.
Замок пережил множество разрушений. В 1655 году его разорили казаки, в 1706 — шведы. Лишь в XVIII веке князь Михаил Казимир Радзивилл («Рыбонька») восстановил дворец: появились дубовый паркет, шпалеры, роскошная мебель.
В 1812 году один из Радзивиллов поддержал Наполеона, за что замок оказался втянут в боевые действия и частично разрушен. В конце XIX века восстановили башни и создали английский парк с прудом.
В XX веке замок сменил множество функций: служил гетто во время войны, временным жильём, а с 1939 года был национализирован. Последняя масштабная реставрация длилась с 1983 по 2010 год. Сегодня Мирский замок — памятник ЮНЕСКО и одно из самых посещаемых мест Беларуси.