当时，这支葡萄牙船队有八艘船，到屯门岛修整一日后，就准备再北上。因为此时葡萄牙人在广东已经是劣迹斑斑，这支船队便遭到了明军水师阻拦。
葡萄牙人却仗着船坚炮利，逼开明军水师，强行闯入珠江（内河），到达怀远驿（今十八甫一带）。
他们也知道被大明官民皆憎恶，于是假扮成穆斯林，宣称是来向大明进贡的。
因为彼时南洋多穆斯林国家，且小国众多，旋起忽灭的也有不少，广东官员拿不准，就先让他们在怀远驿住下。
后来接触下，发现他们并非穆斯林，也没有使节文书，弗朗机也不在非朝贡国家之列，于是安排他们到光孝寺学习礼仪，同时向朝廷上奏此事。
大明朝廷答复，把葡萄牙人带来的特产折算成银两交还，使者进京，其余船只则返回（离开广东）。
葡萄牙人的使者留在广州学习礼仪，剩余船只却并没有按要求离开，而是退出广州，企图霸占南山半岛，因大明在此有驻军，其未能得逞。
于是退至屯门岛，又霸占附近的葵涌海澳（今香港青衣岛、葵涌一带），探查四方，意图扩大据点。
至1521年（正德十六年），葡萄牙使者皮来资及其翻译火者亚三（实为汉人）终于在北京见到了正德皇帝。
之后，火者亚三通过教授正德皇帝学习葡萄牙语颇受宠幸，再加上皮来资与江彬等佞臣交好，火者亚三自觉一步登天，不将大明官员放在眼中，常有无礼之事发生。
广东这边葡萄牙人，得此消息，自然是更加的猖狂了。
然而“好景不长”，1621年四月，正德皇帝便病逝了。
之后张皇后根据群臣意见，处死江彬及火者亚三，并下诏弗朗机不许再来进贡。
七月，广东官员便依朝廷之意，不再准许葡萄牙人上岸进行贸易。
及至嘉靖继位，朝廷才正式下令驱逐葡萄牙人，不许其入境。
葡萄牙人不甘心，于是“屯门岛之战”爆发了。
表面上是大明以绝对的兵力优势获得此战胜利，成功驱逐葡萄牙人。实际却是葡萄牙人依仗船坚炮利，在兵力处于绝对劣势的情况下没有被明军全歼，少数人逃了出去。
此战后，大明才真正认识到弗朗机炮及火绳枪等武器的厉害，由是走上购买彷造之路···
从屯门岛被驱逐后，葡萄牙人并不甘心，之后数十年间又不断侵扰福建、浙江沿海，与倭寇（海盗）相勾结，不断尝试在大明沿海建立新的据点。
但因为此时大明因倭寇之乱开始重视海防，葡萄牙人建立的据点都被大明官军拔除，无一能存。
徒劳数十年，依旧不能在福建、浙江沿海建立稳定据点，葡萄牙人便在1553年（嘉靖三十二年），再次将目光投向了广东。
这一年，葡萄牙船队谎称遇到风暴，船只损伤，货物浸润，向广东官府请求借用壕镜之地晾晒货物。
最初此请求并不被广东官府允许，但葡萄牙人向时任海运副使汪柏承诺每年给予其500两白银后，这事便成了。
从此壕镜实际成为葡萄牙人的租地。
不久，葡萄牙人便私自扩充营地、居住地，乃至修建围墙、炮台等军备设施，并设置官员进行管理。
至1572年，葡萄牙人不知是有意还是无意，如往年一般给予海运副使500两银子，却挑在了有多位其他官员在场的时候。
为了逃避受贿罪责，当时的海运副使便称这五百两是葡萄牙人租用壕镜的租金，将其上交国库。
因为经过葡萄牙人近二十年的半公开贸易及经营，其在壕镜租地已犹如小城，颇为繁华。
再加上大明内部其他一些因素影响，大明朝廷便顺势正式准许葡萄牙人在澳门开展贸易。由此，葡萄牙人才正式获得了在壕镜的租借居住权。
但壕镜领土主权仍属于大明。
故当时大明朝廷为了有效管理越来越繁华的壕镜，逐步在壕镜设置衙门、官员，驻扎军队，对澳门事实军事、政治上的控制。
其在行政上，将壕镜划归广州府香山县管辖。
由香山县派驻官吏，设置提调、备倭、巡缉三个行署，负责壕镜治安，不论是明人还是葡萄牙人，在壕镜犯罪皆由大明官吏按大明律法条规处置。
又指派海防同知进驻壕镜，负责壕镜防务。
后来更是将市舶司移到壕镜，方便收税，并对澳门的商业进行一定管控。
上述各个衙署官员，被统称为守澳官（壕镜当时又被称为壕镜澳）。
如果大明制定的这些针对壕镜的措施规制都能切实执行，葡萄牙人就真的只是壕镜租客而已，跟后清朝时的租界本质完全不同。
可惜，再好的规制，执行的人不行，国家实力衰弱，它便会如同一纸空文。
又过数十年，到了万历后期，葡萄牙人眼见大明国力、军势由盛转衰，野心便再次膨胀。
为了获取壕镜的统治权，他们开始私下招募日本浪人作为打手，建筑城垣，重新假设炮台。
同时还接纳大明朝廷明令禁止来贸易的日本商船，展开对日贸易。
此时期，大明这边也有官员注意到壕镜葡萄牙人的野心及异动，针对性地进行打压、管控。
如香山县县令蔡善继曾在万历三十六年（1608）趁壕镜葡萄牙人内乱，派兵进入平乱，并制定了《制澳十条》，对违法葡萄牙人严厉惩处。
万历四十一年（1613），广东巡海佥事喻安性驱逐了葡萄牙人蓄养的倭奴、日本浪人，并警告葡萄牙人不得再如此做。
之后又请两广总督张鸣冈、巡按周应期制定了《海道禁约》，责令葡萄牙人必须遵守，以维护大明在壕镜的主权及正当