每一年，江南的商品经洞庭湖、湘水、灵渠，下漓江、郁江，进入右江河道，船运到横山寨，再从横山寨渡河，经德保、靖西、那坡，云南的富宁、昆明到达大理，再延伸到丽江，出缅甸、印度直到西亚。作为中转站的横山寨，每一天的热闹可想而知了。商船进进出出，马队来来往往，挑夫们从早到黑，排着长长的队伍，搬卸货物；铺面排列成行，商贾云集于市；那边马匹攘攘，嘶鸣不绝，这边锻锤之声连连，响彻街坊。到了黄昏，买卖声才渐渐小了下去，炊烟却在屋顶一柱一柱的多了起来，浓了起来……
史书有载：大理“每贾人至横山，多市《史记》、《汉书》、《三国志》、《资治通鉴》、《本草》、《王叔和脉诀》、《千金方》等书”。由此可以知道，横山寨在南宋不仅是一个茶马大集市，还是一个文化中转站。那些商人，做完了买卖，空暇之余就到市场里买些所需的书籍。这也说明横山寨还是一个重要的书市。近百年的文化产品在横山寨的流通，无形中已将中原的先进文化沿着茶马古道这条文化走廊源源不绝地传播到西南各地。可以说，那时的横山寨不仅是一个重要的经济中心，也是一个重要的文化之都。
但是，横山寨的辉煌没有得到延续。1234年，强悍的蒙古族在成吉思汗的率领下，灭了金国，又南下攻打南宋。横山寨尽管地处偏僻，但也逃脱不了陷落的境遇。一场灭顶之灾的大火，将横山寨夷为平地。元朝统一中国之后，原来的丝绸之路又重新恢复，加上战火的平息，马匹的需求减少了。昌盛一时的茶马古道失去意义，最终中断了。作为茶马古道东线的第一城，横山寨从此陷入衰落。