賴清德位於新北市萬里的老家，在谷歌（Google）地圖上一度被標示為“賴皮寮”，已成為民眾打卡的新觀光景點；經人檢舉下架後，再被標示為“賴功德祠堂”。
賴清德幼年失怙，母親獨立撫養他們六個兄弟姐妹長大。故賴清德對萬里礦區老家感情深厚，近來談及老家違建爭議，多次哽咽掉淚。
新北市工務局認定賴清德老家的建築物，屬於2009年前的“既存違建”，雖非優先拆除對象，日後仍應依法排定順序拆除。賴清德則強調，老家過去都有繳房屋稅。新北市政府後來證實，賴家繳交的是“田賦”，而政府停徵田賦已35年。
在野的民眾黨不分區立委候選人黃國昌上星期出示照片，指賴的老家已非昔日工寮，目前這棟兩層樓的老家是2003年興建完成。換言之，賴清德老家恐怕未申請房屋稅籍，涉嫌逃漏稅。故民眾黨總統候選人柯文哲稱，此事已涉及賴清德的誠信問題。
在野黨猛轟賴清德過去主政臺南時，為執行臺南市鐵路地下化計劃，不顧鐵道沿線300多戶居民跪地懇求而強行拆除建物，卻對自己違建的老家格外寬容，顯然是雙重標準。
國民黨副總統候選人趙少康也抨擊賴清德說，包括柯文哲母親等人的違建早已拆除，“若賴清德願意拆除本來就應拆除的違建，我就願意辭去本來不該辭的中廣董事長（依法當選就職再辭即可）”。
賴清德星期天（12月17日）接受年代電視臺《數字臺灣》專訪時，再提萬里老家其實就是偏鄉的一個礦區，礦區的每一個房子都沒有特權，只有滿屋子的辛酸，因為在採礦時被禁限建。礦權廢止後，政府沒有妥善處理居住正義。
他認為，他們是過去被政府遺忘的一群人，如今反而被指為特權，這是難以承受之重。他的態度就是坦然面對，依法該怎麼辦就怎麼辦，“不必給予我們特殊待遇，但也不要特別針對我們，依法公平就好了，這是普遍礦區民眾的想法”。
在野黨人士和一些網紅近來常到賴清德老家前直播，外界才赫然發現賴清德所稱的“工寮”，不僅是兩層樓房屋，後方更有花園造景，花木扶疏。且該房屋早已轉移至賴清德兒子名下，卻有國安憲警人員站崗、協助清掃維安，社會觀感不佳。
賴清德競選總部發言人郭雅慧表示，此為典型選舉抹黑，事實是萬里老宅家戶周邊的灑掃清潔等事務，長久以來皆由賴家親友與委託友人打理，未曾委由國安特勤協助。至於國安單位設置崗哨，一切依照特種勤務等相關規範，候選人及總部尊重國安單位依法專業辦理。
臺灣國安局表示，當天是協助該寓所工人移除清潔工具，特勤人員從未被派遣清理工作。