Det blev Martin själv varse när hans ansökan om att bygga ut sin bostad med ett åtta meter högt sjusidigt torn avsett för att rymma författarens ansenliga boksamling nekades bygglov.
Enligt den beslutsfattande instansen i delstaten New Mexico är det "uppenbart" att utbyggnaden är menad att likna ett medeltida slott, och därmed inte går i linje med den typiska Santa Fe-arkitekturen som vanligtvis inte sträcker sig lika långt mot skyn, skriver The New York Times.
Men det är inte den enda anledningen. Enligt en granne handlar det också om att George RR Martin är för känd.
– Vi fruktar för att grannskapet ska bli föremål för en skattjakt, att hans fans ska anlända i stora flockar för att leta efter slottet i Santa Fe, säger grannen Mark Graham.
Det är andra gången i år Martins försök att bygga det slottsliknande biblioteket nekas.