Le village de Valfin-sur-Valouse est caché dans une gorge profonde qui s'ouvre sur la rive droite de la Valouse. Les maisons de pierre, disposées par groupes, bordent le ruisseau de la Balme. Sur la pointe d'une montagne escarpée, au sud du village, se dresse le château de Valfin (privé), monument curieux de l'âge féodal, composé à l'origine d'un lourd donjon carré aux angles duquel se trouvaient 4 tours avec mâchicoulis. Ce château a subi des modifications importantes au fil des ans (donjon du 13ème, bâtiments du 16ème ...) puis converti ces dernières années en une colonie de vacances.
L'église actuelle, dédiée à Sainte Marie Madeleine, fut construite vers 1843, époque à laquelle la chapelle castrale fut démolie.