Osmanlı Devleti'nin siyasi açıdan zayıfladığı dönemlerde Aydın'da hakimiyet kurmuş iki aileden biri olan Arpaz ailesi'nin konağı günümüzde şehrin tarihi yapıları arasında gösteriliyor.
Arpaz Beyler Konağı, Esenköy'ün (Arpaz Köyü) sınırları içerisinde bulunuyor. Konağın sahip olduğu ahşap işçiliği ve tavanlarda yer alan çarkıfelek motifleri oldukça dikkat çekici. Konağın tüm bölümleri erzak depoları, fırın ve hamamdan oluşuyor. Arpaz Kalesi de konağın önemli bir parçası.
19. yüzyıl mimari özelliklerini taşıyan Arpaz Beyler Konağı, Nazilli'nin önemli yapıtları arasında gösterilmekte.