以原胡村、桃源二乡各取一字而得名。位于县城东南部14.4公里处。位于东经120°08′40.53″～120°16′37.84″，北纬28°32′00.51″～28°38′00.86″。东界大源镇，西邻方溪乡、东渡镇，西北、东北与舒洪镇、溶江乡毗连。在县城东南部14.4公里处。乡政府驻地章村。电话区号0578，邮政编码321407。乡政府驻地章村。东界大源镇，西邻方溪乡和东渡镇，西北、东北与舒洪镇、溶江乡毗连。面积44.5平方公里。1949年10月，经缙云县行政区域重新调整划定，胡源乡属盘溪区章村乡、胡村乡。1950年6月，胡源乡属盘溪区。1958年9月，撤销区、乡、镇建制，建立政社合一的人民公社，胡源乡属英雄人民公社。1961年6月~10月，撤销“大公社”，恢复区建置，该地为胡源公社。1982年12月，撤销胡源公社，建立胡村、桃源两公社。1984年6月，完成政社分设，撤销公社建制，恢复乡镇建制，合并桃源乡与胡村乡为胡源乡。为革命老区乡，有革命老区村7个。2010年11月，由原22个行政村合并为7个，为章村、胡村、上坪、柘岙口、茶源、榧树根、蛟坑行政村。

 地形以丘陵为主，间有低山、中山分布。地势南部高，北部低。东部古方山海拔1216米，为境内最高峰。与舒洪镇、东渡镇交界的大学山海拔1005米。山势陡峭，沟壑纵横。山地面积大，植被以松为主。

 盘溪自东南西向北流经境内，落差690米，水力资源丰富，沿溪形成狭长山谷，景色幽雅。上游的大洋水库使溪流长年稳定，农田灌溉条件得到改善。古方山水库，在三国时期筑的古方塘遗址建成，海拔千米，正常库容128万立方米。

 境内气候属中亚热带季风气候，温暖湿润，四季分明，冬暖春早。处于括苍山脉中段，光照较短，属典型山地，气候垂直差异明显。年平均气温17.7摄氏度，夏季最高40.3度，冬季最低—6.1度。无霜期216天以上，年平均降水量1600毫米。