山水沟是老济南南圩子墙至内城南城墙间的南北向排洪沟。每年夏秋雨季，南部山区洪水暴发，经南圩子壕分洪，由山水沟导入老城护城河。枯水期间，山水没有了，集市冒出来。因为此地连接南部贫困山区，集市所买卖的均为价廉的生活必需品及杂物，所以又被称为“山水沟破烂市”。

    1945年，山水沟改造成了道路，快车道宽12米，兼具排洪与交通双重功能，两侧为2至4米宽的人行道。

    1957年10月，为了改善城市交通和居民居住条件，济南市政府对山水沟进行了大规模改造，改造后山水沟变成了地下暗渠，中间和两边的路面一样高了。

    1962年下了一场大雨，因为山水沟排水不畅，洪水冲塌了不少民房，还殃及到趵突泉景区。次年，有关部门又重修了山水沟，路面比人行道低了1米多，恢复了行洪功能。

    山水沟下雨时行洪、不下雨时行人的情况一直持续至今年改造前。多年来，告别山水沟成为附近居民的期盼。