吴万为加强防御，南垒海南堤（现十四里长渠处，东至南岗岭遗址），东掘航道河，西开港河，汇于三岔、立码、设埠。与桃花墩、北大墩、后墩、百花墩相通呼应。兵营纵横交错，使敌望风丧胆，不敢来犯，保疆安民。刘綎领兵赴东北后，历经大小数十战，后因军饷不继兵败，全军覆没，总兵刘綎战死疆场，恶耗传来，吴万痛不欲生，一忧民不聊生，二痛刘綎之亡，深痛国弱民危，骤然病倒军中。后经多方延医治疗，稍得痊可，再也无心功名，便将军中事务略作安排后，回府继续养病，待病愈后，便弃戎从农，带领子孙，耕织读书，安居下来，后多有旧部前来相投，吴万待之如亲人。他以忠厚友善，亲睦友邻，闻名乡里，处处为人表率，深得乡民们的爱戴。
数年后，吴万思念与刘綎情谊，亦缅怀当年抗倭诸将，在原北大墩东侧军营旧址处，建“刘綎读书院”，当地人称“刘綎院”，并建有寺庙一座，内塑抗倭诸将之像，由群僧诵经念佛，以求超度英灵，又于每年农历四月初八日自己出资，以赈济形式开始，举行祭祀庙会，让乡亲们前往焚香祭拜，洒酒供果，以寄托对英灵们的哀思。此风世代延续，经久不息，寺中僧众生活用度，香资修缮，世代由吴氏族人供给，后刘綎院与寺庙不幸毁于日寇的轰炸之中，再无人重建。
为使乡民安居乐业，促进地方繁荣，吴万首倡兴集市促贸易，他和所归旧部分头联络，网罗能人开辟南北近二里长的大街和数条东西爬头街，取名“吴家集”，力邀诸亲好友，百姓人等到集市经商贸易。在市上，由有技能的人开办如酒坊、油坊、食品坊（糖果之类数十品种），铁器坊，木工坊，纺织坊，金银首饰坊、印染坊，粉丝坊，酱醋坊，面粉坊等，另有百货店、杂货店、布摊布店、面店、药铺、饮食之类饭店、旅社、烤烧、馓子、挂面、大饼、烤饼等店堂开设；为确保集镇商民的安全经营，防止倭寇的突然骚扰，吴万与旧部诸人带领人众在吴家街四围挖掘圩河，圩内筑起围墙，只留东、南、西、北四个圩门，并在圩内筑成六个大炮台（分别为东北炮台、西北炮台、东炮台、西炮台、东南炮台、西南炮台），致使吴家街的商贸得到迅速发展，市场日益繁荣。
为弘扬地方文化，乡土风情，他筹资在街南东侧建“观音庙”，街北东侧筑有“彤华宫”（俗称“火星庙”），此毁于抗日战争时期，观音庙于民*国期间改为“吴集洋学堂”，解放后为吴集区政府驻地，彤华宫于人民公社时拆除。
为方便乡民们的生活，于大街东南、西南各掘一口大圆井，以解决附近居民用水，即大旱之年，大井之水仍不干涸，另在吴庄掘一大沟，大沟有双泉眼，又称双龙井，时有挑水去集市叫卖，俗称吃水井，现存在。为了进一步解决商贸问题，他出资带人修建从吴集街北头沿经刘綎院可接东圩通往陡沟、龙苴直达海州的路道，数百年来，大大地方便了商贸的往来（此路于解放后因其规模小，弯道多，兴修水利时已废除），此间，小道路沟依稀可见。
吴万故后，亲朋旧部与亲族人等为其择地安葬，为纪念他抗倭战功及辛勤劳作，造福乡里，将其墓葬于吴集大街北首百余丈处，在街南对称处，筑有三丈多长双石板桥，取名“落星桥”（位于现吴集供销社商场处），沿吴集南北轴线，桥南端有通往直南的汤涧、马厂、塘沟至淮阴延伸道，向西南通往马屯、七雄至沭阳道路，向东南通往汤沟向灌南等地。桥南端的三条通道间排列着“丁、陶、郝、龙”庄，吴万墓北有塔桥、铁羊（旧为铁马后生锈便戏称铁羊，延续至今），再向北去有车头、前车、后车，寓意“车水马龙”，旨在希望吴万遗愿得以实现，吴家集永远车水马龙，市场繁荣，乡民殷实，福荫后人。
为彰显吴万对乡里贡献，后人在吴庄为其立祠（祠堂位于现北京路处），此祠堂被红卫兵破四旧拆除砸毁，此地时隶属大清海洲府治下，海洲知府悉知他是抗倭名将，追溯其抗倭战功。亲笔题写“民族英雄，流芳百世”塑以金字大牌匾，背面记载吴万生平并供有牌位，牌位两边悬挂挽幛挽联，为“抗倭寇树华夏正气，兴吴集为一方造福”，祠堂大门楹联“至德家声远，延陵世泽长”，横批为“和谐温馨”，祠堂门前有旗杆石盘座（现被搬放在原镇政府院内）。
数百年来，吴万旧部和其族人为了生计外出，不乏落户外地，散居近地的华冲、湖东、汤涧、悦来、涟水、盐城、海洲、淮安、宝应、泗阳、泗洪等地，有的甚至远赴青岛，大连，更有闯关东者，但若干年前，每逢清明节外出之人均尽量赶回聚首，集体祭扫此墓。
吴万墓占地三亩八分，以前墓基上从无人耕作，人民公社时被吴集大队八个生产队拖土垫社场，九七年被吴集村再度平坟取土，用于三个小砖窑制砖，致使墓壁裸露，后经宿迁市博物馆、沭阳图书馆闻知后，前来实地考察，编入沭阳文化志。
300余年来，吴万后代已繁衍成吴集镇大族，目前已知字辈为....必、有、宗、兆、瑞、洪.......
| 
