Yhdistyksen aktiivisina perustajina olivat Viipurista muuttaneet evakot. Noin 50 vuoden ajan Harjulassa toimivatkin Itä- ja Länsi-Toukolan keskusteluryhmät, jotka toimivat ennen sotia setlementteinä Viipurissa.

Vuonna 1941 mukaan toimintaan tuli nuorisotyö ja tyttö- ja poikakerhot Niemen ja Tornatorin alueella. Vuonna 1942 yhdistys osti Lounaan kartanon ja tällöin setlementin toiminnassa aloitettiin toimintamuotoina päiväkotitoiminta (Lounaan päiväkoti), kansalaisopistotoiminta sekä vaatturi- ja ompelukoulu.

Vuonna 1945 toimintamuotoihin tuli mukaan Perhetyö ja äiti- ja isäkerhot. Myöhemmin perhetyö kulki toiminnassa mukana nimellä Lapsiperhekeskus. Vuonna 2007 ryhmätoiminta siirrettiin kansalaisopiston toiminnan alle.

Tammikuussa 1949 aloitti toimintansa Niemen lastentalo, joka nykyisin tunnetaan Niemen päiväkotina. Niemen päiväkoti on pohjoismaiden vanhin edelleen alkuperäisessä käytössään oleva rakennus. Varat Niemeen rakennettavaa seimi- ja kerhotaloa varten saatiin lahjoituksena, jonka teki vuorineuvos J.Th. Lindroos perheensä ja Fennia Faneri Oy:n puolesta. Tontti seimitaloa varten saatiin Lahden kaupungilta.

Vuonna 1952 setlementtiyhdistyksen varainhankinnan hoitamista varten perustettiin uusi toimintayksikkö, Harjula-Mainos, joka edelleen vuokraa yrityksille ulkomainospaikkoja Lahden, Nastolan ja Hollolan alueella ja kerää tätä kautta varoja yhdistyksen toimintaa varten.

Vuonna 1958 aloitettiin toimintamuotona Eläkeläisten päivätoiminta, joka nykyisin kulkee nimellä "kansalaistoiminta". Kansalaistoiminnan piiriin kuuluu Harjulan vapaaehtoistoiminta sekä monipuolinen ikäihmisille suunnattu kaikille avoin virkistystoiminta tapahtumineen, tansseineen, konsertteineen ja kerhoineen.

Vuonna 1979 Harjulan kannatusyhdistys (nyk. Harjulan Setlementti ry) perusti Lahden Harjulan Setlementtisäätiön, jonka tehtävänä on rakentaa ja hallinnoida kiinteistöjä/toimitiloja, jotka ovat Harjulan Setlementti ry:n käytössä vuokralla. Harjula-keskus (Harjulankatu 7), jossa suurin osa Harjulan toiminnasta tapahtuu, on rakennettu vuonna 1985.

Vuonna 2001 Setlementtisäätiö osti Lahden kaupungilta Lounaankadulla sijaitsevan Puu- Harjula -rakennuksen, joka rakennettiin vuonna 1929 asunnottomien asuntolaksi. Myöhemmin rakennus toimi lasten neuvolan tiloina ja päiväkotina. 1980-luvulta vuoteen 2001 asti rakennuksessa toimi lasten ja nuorten kuvataideoppilaitos Taika. Puu-Harjula on Lahden vanhimpia puurakennuksia ja ulkoasultaan suojeltu.