Trước năm 1965, xã Hương Sơn, huyện Mỹ Đức thuộc tỉnh Hà Đông, sau đó thuộc các tỉnh: Hà Tây (1965 - 1975), Hà Sơn Bình (1976 - 1991) và trở lại Hà Tây (1991 - 2008). Từ ngày 1 - 8 - 2008, xã Hương Sơn cùng với các địa phương trong huyện thuộc vùng ngọai thành, thành phố Hà Nội.

Xã Hương Sơn có 6 thôn gồm: Đục Khê, Hội Xá, Yến Vỹ, Tiên Mai, Phú Yên và Hà Đoạn. Diện tích tự nhiên của Hương Sơn có 4.283 ha. Dân số chủ yếu là dân tộc Kinh. Đồng bào công giáo cư trú ở thôn Hà Đoạn. Thời điểm năm 1969, Hương Sơn có 9.705 người. Đến tháng 6 - 2019, dân số xã Hương Sơn có 6.394 hộ, với 23.500 nhân khẩu, trong đó có 11.863 nữ giới và 11.637 nhân khẩu nam giới.

Hương Sơn là một xã lớn, đông dân của huyện Mỹ Đức. Địa giới hành chính xã Hương Sơn hình thành, gắn với quá trình tạo lập xóm làng và hợp nhất các làng xã liền kề, cư trú lâu đời trên vùng đất cao ráo bên dòng sông Đáy và ven dãy núi Hương Sơn. Quá trình các thế hệ dân cư dựng xây làng xóm, tạo lập quê hương bắt nguồn từ sự di chuyển cuộc sống của những người Việt cổ trong các hang động ở dãy núi đá Hương Sơn xuống chinh phục dải đồng bằng trù phú, mở mang gieo trồng lúa nước, xây dựng quê hương mà Đục Khê, Yến Vỹ, Hội Xá là những nơi người Việt cổ sớm tạo lập. Điều đó được minh chứng bởi sự khám phá, nghiên cứu của các nhà khoa học vào đầu những năm 1970. Các nhà khảo cổ đã khai quật, tìm thấy ở hang Sũng Sàm, hang mái đá Sập Bon thôn Đục Khê các công cụ lao động bằng đá, cùng những dấu tích khác của người Việt cổ (thời đại đồ đá). Tiếp theo đó là tìm thấy những công cụ bằng đồng ở Thung Vương, đầu Cành Giát (thời đại đồ Đồng) thuộc nền văn hóa Đông Sơn. Đặc biệt là, khi nhân dân Hương Sơn làm thủy lợi (1986) ở cạnh khu đền Ngũ Nhạc phát hiện các công cụ bằng đồng như lưỡi rừu, mũi tên, mũi xéo, tiền đồng, hạt trang sức bằng đá và một bộ phận xương người Việt cổ. Các hiện vật tìm thấy qua khai quật và làm thủy lợi đã minh chứng về cuộc sống của con người trên địa bàn xã Hương Sơn ở “thời đại đồ đá mới” và “thời đại đồ đồng”. Đó là cơ sở, là nền tảng minh chứng con người đến tạo lập các xóm làng để khai phá vùng đồng bằng, mưu sinh cuộc sống. Các nhà nghiên cứu còn đi sâu tìm hiểu những câu chuyện truyền lại, qua tên gọi ban đầu của các địa danh và sinh hoạt văn hóa làng xã để thấy được tiến trình gian nan kiến tạo quê hương của các thế hệ dân cư. Trong số câu chuyện còn truyền lại về tạo lập quê hương ở xã Hương Sơn, đáng chú ý là những câu chuyện phản ánh về sự quấy đảo của các loại thú rừng như: “Khu Sao Sa lắm cụ” (hổ báo), “Mô đất trụ lắm hùm tinh”, “Nền đình lắm chó sói” cho thấy trong buổi bình minh tạo dựng làng xóm nơi rừng xanh, đầm lầy, nhiều muông thú phá hoại, cư dân các làng sớm chung sức, đồng lòng chống trọi với thú dữ, thiên tai để xây dựng quê hương.

Quá trình tạo lập làng xã, các làng Đục Khê, Hội Xá, Yến Vỹ, Phú Yên, Tiên Mai đều có những đặc trưng tên gọi khác nhau và dựng xây những ngôi đình, chùa mang bản sắc riêng có về văn hóa làng xã. Làng Đục Khê địa phương khởi đầu ở Hương Sơn trong tiến trình tạo lập làng xã, với tên gọi ban đầu là Độc Khê. Tên gọi này như để minh chứng, gắn với cách gọi của cư dân trong vùng về địa danh: bến Độc, chợ Độc, đền Độc, thánh Độc. Đục Khê, một làng sớm được tạo lập bên bờ khe suối nối liền từ sông Đáy vào bến Trò chùa Hương cùng thờ chung “Thánh Đục” ở “đình Độc” ngày trước, đất làng Yến Vỹ, giống như hình con chim Én. Phía Bắc làng là đầu Én. Đuôi Én là ở phía Nam. Hai mắt Én là hai giếng ở phía Bắc làng. Dòng suối lớn nhất của dãy Hương Sơn chảy qua khu chùa Trò (Thiên Trù) về tới làng Yến Vỹ được gọi là suối Yến. Làng Hội Xá có thế núi, thế sông, thế đồng, thế bãi. Dòng sông Dáy chạy dọc theo làng từ phía Bắc về phía Đông Nam hình thành ba bến sông, gồm: bến sông Đứt, bến sông Đào và bến sông Cái. Các bến được xây ghép bởi các phiến đá xanh và 3 cổng làng ở 3 phía, đến nay vẫn còn lưu lại. Làng Tiên Mai bắt đầu hình thành từ xóm May. Tiên Mai có núi Tiên hung vĩ soi bóng xuống dòng sông Đáy như dáng “long châu - hổ phục”. Đình làng Tiên Mai mới bắt đầu dựng xây ở khu đồng Mả, sau mới chuyển về địa điểm hiện nay. Làng Phú Yên xưa còn gọi là Khúc Vỹ. Cư dân trong làng đã nhiều lần di chuyển nơi ở, đến lần thứ năm mới tính tại nơi định cư như hiện nay. Phú Yên có tên gọi ban đầu là Đường An.

Năm Minh Mạng thứ 12 (1831), nhà vua phân lại địa giới, đổi trấn thành tỉnh. Trấn Sơn Nam Thượng đổi gọi là tỉnh Hà Nội, Phủ Ứng Thiên trong đó có huyện Hoài An thuộc tỉnh Hà Nội. Năm 1880, vua Tự Đức lập đạo Mỹ Đức. Năm Đồng Khánh thứ 3 (1888), triều đình bỏ đạo, lập phủ Mỹ Đức với 7 tổng, trong đó có tổng Phù Lưu Thượng. Trong việc lập phủ Mỹ Đức, tổng Phù Lưu Thượng - phủ Ứng Thiên trước đây được tách làm hai và cùng mang tên gọi là tổng Phù Lưu Thượng. Ở phủ Ứng Hòa, tổng Phù Lưu Thượng gồm 8 thôn, xã. Với phủ Mỹ Đức, tổng Phù Lưu Thượng có 7 thôn xã là: Bạch Độc, Độc Khê, Yến Vỹ, Hội Xá, Đường An, thôn Thượng, Chợ Bến và phường Hà Đoạn. Cùng thời điểm này, tên gọi các thôn ở tổng Phù Lưu Thượng, phủ Mỹ Đức có sự thay đổi. Thôn Độc Khê đổi gọi là Đục Khê, Đường An là Phú Yên. Bạch Độc gọi là Bạch Tuyết. Thôn Thượng đổi gọi là Tiên Mai. Thời điểm năm 1945, dân số tổng Phù Lưu Thượng phủ Mỹ Đức có 6.532 người.

Trong cuộc khởi nghĩa giành chính quyền tháng 8-1945, mỗi thôn thuộc tổng Phù Lưu Thượng lập một bộ máy hành chính cấp xã. Phường Hà Đoạn thuộc xã Yến vỹ. Tháng 9-1948, các xã: Đục Khê, Hội Xá, Yến Vỹ, Tiên Mai, Phú Yên, Bạch Tuyết hợp nhất thành một xã lấy tên là xã Hương Sơn. Tháng 5-1953, xã Hương Sơn tách thành 2 xã: Hương Sơn và Tiên Sơn. Mỗi xã có 3 thôn. Xã Hương Sơn gồm có: Bạch Tuyết, Hội Xá, Yến Vỹ. Xã Tiên Sơn có 3 thôn: Đục Khê, Tiên Mai và Phú Yên. Thời điểm diễn ra cải cách ruộng đất từ tháng 1 đến tháng 6-1956, các hộ thuộc phường Hà Đoạn trước đây chuyên đánh bắt cá trên sông Đáy lên bờ sinh sống lạp thôn Hà Đoạn. Tháng 9-1959, thôn Bạch Tuyết chuyển về xã Hùng Tiến. Hai xã Hương Sơn và Tiên Sơn hợp nhất tái lập xã Hương Sơn, với 6 thôn: Đục Khê, Hội Xá, Yến Vỹ, Tiên Mai, Phú Yên và Hà Đoạn. Từ đó, địa giới hành chính xã Hương Sơn ổn định cho tới ngày nay. Toàn xã có 19 xóm, trong đó Đục Khê là thôn lớn nhất có 6 xóm. Hai thôn Hội Xá, Yến Vỹ mỗi thôn có 4 xóm. Tiên Mai và Phú Yên mỗi nơi có 2 xóm, thôn Hà Đoạn là 1 xóm.