Pastoor Felix Cuijpers heeft zich ingezet in Udenhout een liefdesgesticht te krijgen annex school. Die gedachte ontstond omdat men een nieuwe pastorie wou bouwen naast de in 1841 nieuw gebouwde Sint-Labertuskerk. Daarmee kwam in 1862 de oude pastorie aan de Kreitenmolenstraat vrij, die een goede bestemming moest krijgen. Een school en een liefdesgesticht waren in die tijd vrome voor-de-hand-liggende ideeën. Men vond de zusters van Liefde bereid om naar Udenhout te komen. Er kwamen in eerste instantie, op 22 oktober 1862, drie zusters: zuster Wilhelma als overste en hoofd van de school, zuster Fintana als tweede onderwijzeres en zuster Lidwine voor de huishoudelijke werkzaamheden. De zusters begonnen met katholiek onderwijs voor meisjes. Enkele jaren later werd het liefdesgesticht voor zieken en ouden van dagen geopend. Het klooster is vernoemd naar de patroonheilige van pastoor Felix Cuijpers: Felix van Valois. In 1871 werkten er al 11 zusters in Udenhout. In de periode van 1884 tot 1902 zijn nieuwe schoollokalen gebouwd. In 1903 kwam er een naaischool en een bewaarschool.
Tussen 1903 en 1911 is er een speelplaats aangelegd en is een nieuwe boerderij gebouwd. In 1911 begon men met de bouw van een nieuw ziekenhuis voor het onderbrengen van vrouwelijke ouden van dagen en kostdames. De nieuwe grote linkervleugel werd in gebruik genomen in 1912, het jaar van het gouden jubileum. Toen kreeg Sint-Felix de vorm zoals veel Udenhouters dat tientallen jaren hebben gekend. Links en rechts grote vleugels, de linker voor zieken- en bejaardenzorg en de rechter vanaf 1928 als de meisjesschool. Na 1945 werd het onderwijs bij gebrek aan religieuze leerkrachten overgenomen door lekenonderwijzeressen. Met de nieuwbouw van de Achthoevenschool in 1973 verdwenen de zusters geleidelijk van het Udenhoutse onderwijstoneel. In 1974 is de schoolvleugel van het klooster gesloopt. De zorg voor bejaarden werd met de bouw van de Eikelaar, begin jaren zestig, steeds minder een taak van de Zusters van Liefde. Wel heeft Huize Felix nog gediend als kloosterbejaardenoord voor de eigen zusters. Na de verkoop in 1991 heeft het gebouw nog van 1991 tot 1994 gediend als asielzoekerscentrum, waarna de sloop van het oude klooster onafwendbaar bleek. Op de plaats van Huize Felix is een wooncomplex gebouwd. De herinnering aan het klooster wordt levend gehouden in de straatnaam Felixhof en in het Felixmonument, een ontwerp van de Udenhouter Frank van der Loo, die enige authentieke delen van Huize Felix in het monument heeft verwerkt, met name het beeld van Sint-Felix dat altijd boven de ingang heeft gestaan, de naam van Sint-Felix en het luidklokje.
