市。由于这一次的罢市，市面贸易立时停顿，秩序大乱。当时港英警察力量还比较单薄，只有欧籍警官33人，华人老更39人，主要的力量是靠“大头绿衣”（即印度差），有166人。全部合起来也不过238人。华人罢市，港府要出动警察镇压，但是警察力量捉襟见肘，还要同时维持出巡和站岗，已经无法兼顾，惟有出动英军。威廉·坚召集当时驻防香港的英军第59团，进入市区，分别驻扎在最繁华的歌赋街和上环，实行武装镇压。还颁布特别法令，征调了四十几个外国商人为“特务警察”，来帮助维持市面秩序。
英国占领香港，开埠之初，曾明文规定，尊重中国人的生活风俗习惯，一切按照“大清律例”，现在竟突然毁诺，对于华人居屋的门窗间隔也一律要按照外国规定办理，违反了中国人自己的传统生活习惯，因此华人居民表示非常不满，屡次要求改善或是暂缓执行这种苛刻条例，官方却执意严厉执行，凡不遵守者一律拘捕，并且加重罚款，逼得香港的中国人忍无可忍。因此当时香港华人团体就在11月20日下午召集全港华人大会，议决要求当局暂缓执行或者放宽处罚。第二天实行罢市，逼迫港府答应这一要求，于是在英帝侵入香港十余年之后，就发生了这次华人商店全体大罢市的风波。
当时总督宝灵不在香港，护督就是威廉·坚。他大为慌张，连忙出示“安民告示”，又接纳了全体华人居民所提出的改善管理七项意见，这才结束了开埠第一次罢市风波。
总督吃闷棍
1855年1月10日，港府正式公布西环至铜锣湾填海计划，声明港督宝灵有权处理一切，凡有损失的业权所有人士，可用延长租地权来抵偿他们的损失。
当年大部分中国籍业权人，都有意接受这项办法。但是外国籍业权人反对港府这一决定，认为港督所提出的计划，损害海上业权人的利益。这个反对意见，由宝顺洋行东主邓脱提出，获得立法局一些非官守议员的支持，并报送伦敦殖民地部。
宝灵总督认为，海旁业权所有人，擅自填海获得土地298685英尺，比较原来向政府租赁的土地面积大出一倍。他们私自填海所得土地，应该属于政府物业，政府有权将这些土地重新估价开投。
1857年，伦敦殖民地部批复，对于邓脱向该部所提出的抗议不予接纳，指令宝灵说，如果有经费的话，可由政府推行填海计划。
中国籍的海旁业权所有人，答允缴纳占用海堤的租金，迫使大部分外籍商人也作同样答允。这样一来，沿海堤岸的业权重归港府所有。只有毕打码头与练兵场之间的一小部分地方的原有业权人英商宝顺洋行和林德赛公司继续反对。
根据英国殖民地部的批复，港府首期填海筑堤工程费用14000英镑，宝灵总督动用两万镑公款，并且于1858年12月23日在立法局提出一个预算案，第一次宣读时，只有邓脱议员投反对票，提案终于首读通过。
由于宝灵离港，前往菲律宾公干，填海筑堤预算案二读会，推延到1859年2月4日才举行。事前，港督和官守议员认为二读通过该预算案不成问题，但到表决时，这个填海筑堤预算案，竟以3票对6票而被否决。官方议员中只有3人投赞成票，辅政司和按察司投了反对票，宝灵万万没有想到，临到任期届满，却吃了狠狠的一闷棍，而且这一棍来自他的左右臂部门，因此，极为愤怒。
爱女长留香港为尼
历任港督中，一般离职后，眷属都随之返回英国，家人留在香港的，并不多见。宝灵的女儿爱米莱却久居香港不走，并且削发为尼。
宝灵任职期间，香港的外国大商行，主要业务仍是鸦片。其中有一个鸦片商人英利斯，他的太太出身低微，以致受到其他鸦片商夫人的歧视，一切社交活动都不愿邀请她参加。英利斯太太的一些往事，成为当年香港上流社会中“耳语”话题。英利斯太太因受到不平等待遇，心理不平衡。后来她灵机一动，辗转托人关照，终于巴结上了宝灵总督的爱女爱米莱。
宝灵总督女儿爱米莱与英利斯太太一见如故，两人来往逐渐密切，成为闺中好友。
爱米莱经常邀请英利斯太太到督辕来喝下午茶；爱米莱有时还乘坐八人抬的皇冠徵号总督座轿，前往英利斯家中，与英利斯太太喝茶谈天，这成为当时上流社会太太圈里的大新闻。上流社会的太太们咬牙切齿，妒忌英利斯太太，但另一方面，又不得不改变了对待英利斯太太的态度，因为宝灵总督爱女爱米莱与她关系如此亲密，巴结还唯恐不能，就更是得罪不起了。
1859年，宝灵总督任满，离港返回英国时，爱米莱却不愿跟随父亲返英，一方面她喜欢上了香港，另一方面有好友英利斯太太在香港为伴。
后来，宝灵·爱米莱终于到香港一个意大利教派的尼庵去修行。最后在香港病逝。这是香港开埠之后的港督罕有家事。
第五任 罗便臣HErculEs RoBinson
罗便臣1859年9月至1865年3月在港任总督，任期6年，是第五任港督。
1859年9月9日，罗便臣接替宝灵遗缺，上任时35岁。
罗便臣（1824～1897），也作罗士敏。爱尔兰人，军人出身，曾任西印度殖民地总督。后又供职于英属殖民地澳大利亚、新西兰、南非等地。被封为爵士。1897年去世。
罗便臣在任期间，英法联军进攻北京，火烧了我国历史上最著名的园林圆明园，又凭着《北京条约》，割去九龙半岛。
任内要事
罗便臣在任期间，做了几件前任没有做过的事，被史家们称为香港的“首次”。
一，1860年香港邮政局脱离英国邮政局独立。1862年12月8日，邮务司密辙尔正式发行香港邮票。是香港邮政局发行的第一套邮票。全套7枚，以维多利亚女王像为图案。后来发展为：2分、8分、12分、18分、24分、48分等16种。香港邮政局的独立，为以后香港邮政业的发展创造了条件。1876年，香港邮局加入万国邮政协会。
二，1862年起，港英当局开始实行官学生制度。就是从英国考选官学生来港，接受3年中国语文训练，然后分派各部门做翻译及其他重要公职。第一批官学生有甸尼、史笏夫和汤隆荃3人，于1862年9月抵港。从罗便臣之后，香港开埠初期以军人、冒险家和水手出任港英政府政务官的办法，逐渐变成历史陈迹。
第五任罗便臣三，修水塘供应自来水到市区。罗便臣上任不久，就遇上一次干旱，遂计划自薄扶林水塘引水。该工程1863年竣工，是香港历史上修建的第一个水塘。从此，香港才有自来水供应。
四是，改革香港币制，1862年7月1日起，改用银元为记帐单位，放弃英镑单位。向伦敦订铸香港银元，作为香港通用货币，并铸造铜元作为辅币，开办银行，组织成立香港商会。
割占南九龙
九龙半岛的地理位置十分重要，1840年春，林则徐曾经在一份奏折中指出，“尖沙咀一带，东北负山，西则有急水门、鸡踏门，东则有鲤鱼门、佛堂门，而大屿巨岛，又即山其西南。四面环山，藏风聚气，波恬浪静，水势深广。英夷船只，久欲依为巢穴。而就粤省海道而论，则凡东赴惠、潮，北往闽、浙之船，均不能不由该处经过，万一中途梗阻，则为患匪轻。”林则徐针对英军挑衅的情况，奏请朝廷在九龙半岛的尖沙咀与官涌各修炮台一座。炮台修成以后，被分别命名为“惩膺”与“临冲”。林则徐为这两座炮台购置了56门大炮，并派兵八百余名驻守炮台附近山梁。
尖沙咀在香港岛对岸，水深港宽，可泊轮船，地势平展，宜于居住。英国人早就看上了这块地方。义律曾一度要求清政府割让。1841年7月9日的澳门新闻报纸说：关于城市建设，香港对面的九龙，条件比香港岛更为优越。义律被召回国后，大鸦片贩子马地臣担心，英国政府听信一些人关于香港不适宜欧洲人居住的言论，放弃香港岛而要求舟山、厦门等地，他要伦敦的查顿运用他的影响，说服政府，保留香港岛。他说，好些人愿要九龙，但我们应该两者都要。1848年，英国远东舰队司令西马糜各厘主张占领南九龙半岛，说它在季风季节里是安全的避风港，如被别国占领，将会构成对香港岛的威胁。
1860年3月初，英国派克灵顿率海陆军万余人来华作战。这批英军陆续到达香港岛，找不到营地住宿，3月18日，在罗便臣和克灵顿策划下，英军四十四团就在尖沙咀登陆。罗便臣兴奋地说，占据了尖沙咀，就为最终割占南九龙铺平了道路。
巴夏礼向香港总督罗便臣提出，要求广东当局租借尖沙咀的一片土地，作为来华英军的驻地。罗便臣于是命令巴夏礼、克灵顿赶往广州，同劳崇光交涉。巴夏礼于3月20日起草了一份租借尖沙咀的文件，经克灵顿同意，交给劳崇光。巴夏礼等人的借口是九龙半岛坏人出没，秩序混乱，英国利益受到损害。彻底改变这种局面的办法有两个：一是用武力驱逐坏人，在那里驻守一支得力部队；二是广东地方当局划出一条界线，线南的地方像香港岛一样，割让给英国。巴夏礼还说，如果地方官员未请准以前，不便割让土地，可采用租借办法，将这块地方移交给英国。他还说这个办法虽不完善，但在永久解决以前，它是控制或者驱逐歹徒的有效措施，希望劳崇光接受这个移交办法。巴夏礼是英法联军管广州的三人委员会的头头，广东清朝官吏实际上是为他们维持秩序的工具。劳崇光屈服于巴夏礼的淫威，第二天双方签字，并立即互换文件。按照巴夏礼提出的方案，在九龙半岛上划出一条界线，自九龙炮台以南附近地方的一点起，包括石匠岛在内，线南的地方租给了英国，完全满足了罗便臣的要求。巴夏礼迅速办完租借手续，得意忘形地说，解决了九龙问题，毫不怀疑，这个半岛将来一定会完全割让给英国。原先，罗便臣对租借的办法还表示犹豫，原因是英国颁给他的特许状，没有规定香港可以租借土地。这时写信给巴夏礼表示感谢，说他“对九龙成功地作出十分圆满的安排，除了没有割让，我们现在处于能够做到的最好的地步。当我向纽卡斯尔公爵（当时英国殖民大臣）呈送正式公文时，我不会忘记指出这件事我们有赖于你进行交涉时的机智和技能。”
英国政府一直蓄意侵占南九龙，对于租借不会满足。1860年4月，英国侵华全权代表、曾强订《天津条约》的额尔金再度来中国前，外交大臣罗素给他一个训令说：“殖民大臣表示了这种意见，在对中国的任何新条约中，应该努力作出割让九龙半岛的规定。根据他的请求，兹特训令阁下：任何将出现有利于获得这个割让的机会，都不要让他错过。”
额尔金担心英国割占领土，会引出法国的欲望，威胁英国的在华利益，因为法国曾经提出过类似的要求，因此有些顾虑。罗素于是授权额尔金相机行事。他说：“女王陛下政府乐于获得九龙半岛，但什么是最好的办法，必须由你考虑。”由于当时通讯不便，关于巴夏礼租借南九龙的报告隔了一些日子才到伦敦。英国政府接到报告后，于7月初，密令额尔金割占九龙。密令说：“巴夏礼