岳阳城东南有个康王乡，是因为那里有座康王桥而得名，据《巴陵县志》载：“城东南有桥一，坚石构就，古朴苍然，康熙二十八年（1689年），昭章明理，感帝恩而筑……”

该桥长10米，宽4米，高5米，大青石砌就，坚牢可耐风雨，桥两头各蹲石狮一对，面目狰然……原来，这座康王桥的来历有如下故事：

传说，清朝康熙皇帝微服私访来到岳州东乡一带，见这里山清水秀、风景宜人，很是高兴，便在这里小住了几天。有一天，他来到黄茆山下面的一条小港边，正与随从边走边闲聊，忽然听见不远处闹哄哄的，走上前一看，只见一个中年汉子呼天抢地要投水自尽，幸亏旁边有人把他给拦住了。康熙皇帝上前问道：“你这汉子，身强力壮的，为何自寻短见呢？”那汉子见他操外地口音，又见他有了一把年纪，就伤心诉说起来。原来，当地有个姓张的恶霸仗势欺人，借讨债为名，强占了他的妻子，又把他女儿也抢去了。他孤身一人斗不过，气又没地方出，便想一死了之。说完他又朝港里跳，幸亏旁人看得紧，才没跳下水去。

康熙皇帝气愤地说：“光天化日之下，竟敢如此霸道，你就该去告他嘛！”汉子长叹了一口气说：“我的天哪！衙门里跟他穿的是连裆裤，我一个穷老百姓，无钱又无势，如何能告得赢他啰！”康熙皇帝听了没做声，过了一阵才开口说：“汉子，你莫灰心，我写个字，你拿这个字再到县衙里去告，包你能告赢。”汉子虽然不认得字，但看到面前这个老者气派不凡，很像有些来头，心想莫不是遇到了贵人吧！这时，旁边的人也都催促着，要他去试试看。

第二天，汉子拿着那个字条，到县衙门里去告状，心里想，看是不是有点希望。县官看见又是这个穷汉子，蛮不耐烦，要手下把他赶走，汉子慌了，一边喊冤一边赶快把字条递上去。那县官不看则已，一看字条，满脸刹地变成了白色，连忙叫手下传那姓张的恶霸。不久，那姓张的到了县府堂上，开始仍然满不在乎的样子。可是，当县官把康熙皇帝的御批给他一看，顿时蔫了，一身瘫软，只得伏法。

汉子像做梦一样领回妻子和女儿，一家人又重新团聚了。他心里总想，为什么那个老者的字就这么灵？后来，经打听才知道，他就是当今圣上康熙皇帝！这汉子心存感激，为了广传圣德，他勤劳苦作、省吃俭用，用他的积蓄和四处募捐的钱，打算在他投水的地方修一座桥，来纪念康熙皇帝。

又过了几年，各地洪水泛滥，老百姓无法生活，黄茆山地区更是灾情严重，百姓只好去外地逃荒讨米。当地一个姓胡的恶霸，为人凶狠，一贯横行乡里、无恶不作。他见自己的佃户外逃，觉得以后的收租就无着落了，心怀鬼胎，遂将两岸码头封锁，不许百姓上船外逃，并且强行敲诈勒索，致使沿河两岸怨声载道，敢怒不敢言。正在这时，康熙皇帝再一次下江南，微服私访，察看民情。行至岳州黄茆山地段，见这里田地绝收、哀鸿遍野、哭声不断、怨天恨地。康熙问其原因？老百姓一五一十慢慢说来，其根源都是当地姓胡的恶霸胡作非为所造成的。康熙皇帝顿时大发雷霆，就命令手下缉拿姓胡的恶霸。通过审讯，姓胡的只得认罪伏法，当天胡被斩首，抛尸河滩示众，附近数十里的百姓前来观看，无不拍手称快。

第二年，风调雨顺，五谷丰登。此地百姓为感谢康熙这位明君圣主的大恩大德，便四处募集资金，与两年前要感谢皇帝的那汉子一起在此渡口修一座石桥，命名为：“康王桥”。从此，黄茆山下南北畅通，繁若闹市，有钱有势者，也不敢胡作非为，欺压百姓了。

与此同时，有好心者，在桥南村边搭建凉棚，供来往行人休息。老妪村姑烧煮茶水供行人解渴，休息的凉棚成了茶亭，这茶亭直至解放后还兴盛了一段时间，行人可免费喝到热茶、冷茶与温茶。