Trước đây, Sơn Tây là vùng rừng núi rộng lớn, hoang sơ, xa trung tâm huyện lỵ nên con người đến đây lập nghiệp ít. Khi thực dân Pháp xâm lược và đặt ách cai trị trên đất nước ta, chúng nhận thấy đây là vùng đất màu mỡ, phù hợp để trồng các loại cây nguyên liệu phục vụ cho ngành công nghiệp nên đã quy hoạch vùng này thành 3 đồn điền: Sông Con, Hà Tân, Voi Bổ 4 1) và huy động nguồn lao động từ nhiều nơi đến đây làm công nhân, phu đồn điên, lập nên các điểm tụ cư: Nhâm Lang (Cây Tắt ), Mòn Hòn (nay gọi là Tân Thủy), Xóm Bàu (nay gọi là Hồ Sen), Cây Thị, Trung Lưu; phía tả ngạn sông Ngàn Phố có Xóm Chuối (nay gọi là Nam Nhe), Sa Hoàng (nay gọi là Hoàng Nam), Bồng Phài, Voi Bổ, Hà Chua. Dân cư sống thưa thớt, khoảng 500 - 600 người, chủ yếu là người các nơi về đây làm phu đồn điên, công nhân còn có một số hộ dân tự nguyện đến đây khai hoang sinh sống. Theo gia phả các dòng họ trên địa bàn xã hiện nay, họ Trịnh ở làng Hà Tân có nguồn gốc từ Thanh Hóa, là dòng họ đến đây lập nghiệp đầu tiên vào thời thuộc Pháp, nay đã trải qua 13 đời. Tiếp đến là dòng họ Phan, có ông Phan Liêm từng đi lính cho nghĩa quân Cao Thắng và tham gia phong trào Cần Vương. Khi phong trào thất bại, ông Liêm trở về quê đưa họ hàng, anh em, bạn bè đến khai phá vùng đất Sa Hoàng - Nam Nhe, trở thành ông tổ họ Phan ở Sơn Tây. Họ Từ gốc ở Đức Thọ đến làm phu cho đồn điền và khai phá ruộng đất làm nhà định cư sinh sống. Đến nay, trên địa bàn xã có các dòng họ: họ Trịnh, Phạm, Nguyễn, Phan, Lê, Trần, Lương từ nhiều nơi đến sinh sống với 2.342 hộ dân, 8.437 nhân khẩu, trong đó có 60 hộ theo đạo Thiên Chúa với 258 nhân khẩu (năm 2015).
Trong quá trình hình thành và phát triển, trên mảnh đất Sơn Tây ngày nay có nhiều địa danh gắn liền với phong trào Cần Vương như Rú Giặc: là đồn bốt mà tướng Cao Thắng và Nguyễn Hữu Tạo - một trong những vị tướng của nghĩa quân Phan Đình Phùng đóng quân chốt chặn từ Lào về (từ giặc là dùng để chỉ ta). Khi Cao Thắng đúc thành công khẩu súng đầu tiên, ông đã dùng súng bắn chết Voi tại vùng rừng núi nay gọi là Voi Bổ. Tuy nhiên, cụ nhanh trí đưa tin đồn là Voi bị sụp lầy chết để đánh lạc hướng cũng như che mắt thực dân Pháp. Ngoài ra, mương Khe Mít ở vùng Nam Nhe cũng do Cao Thắng và quân lính khai phá thời kỳ này.
Về địa giới hành chính, trước năm 1945, xã Sơn Tây ngày nay là vùng đất của 3 đồn điền Sông Con, Voi Bổ, Hà Tân thuộc tổng Hữu Bằng. Sau khi giành được chính quyền, 3 đồn điền trở thành các đơn vị hành chính trực thuộc huyện Hương Sơn. Đến năm 1948, xã Kim Cương, Cẩm Lĩnh và 3 đồn điền (Sông Con, Voi Bổ, Hà Tân), Nhồng và một phần của Sơn Quang sáp nhập thành xã Tây Sơn. Năm 1954, chia Tây Sơn thành 4 xã: Sơn Kim, Sơn Lĩnh, Sơn Tây, Sơn Hồng. Xã Sơn Tây khi thành lập gồm 4 vùng: Hà Tân, Xóm Chuối, Sa Hoàng, Voi Bổ với 12 đội (từ đội 1 đến đội 12). Đến năm 1993, ranh giới hành chính của xã có sự thay đổi: Phía Đông giáp phân thủy Rú Lim, cắt 600 ha gồm 2 xóm Tiền Phong và Dũng Cảm sáp nhập xã Sơn Kim. Địa giới của xã phía Đông đến xóm Phố Tây. Lúc bấy giờ cả xã có 14 xóm gồm: xóm Cây Tắt, Tân Thủy, Hồ Sen, Cây Thị, Nam Nhe, Cây Chanh, Hoàng Nam, Bồng Phài, Kim Thành, Hà Chua, Khí Tượng, Hồ Vậy, Trung Lưu, Phố Tây. Đến năm 2008, địa giới Sơn Tây lại có sự thay đổi khi cắt 600 ha theo bản đồ 364 chuyển về cho xã Sơn Kim 2, nông trường chè Tây Sơn quản lý.