Nació en Amiens, Francia, el 12 de julio de 1881, siendo sus padres Don Gustave Houiller y Doña Aurelié Cavillon.
Fue admitido en la Congregación de la Misión el 29 de julio de 1898, emitió el Buen Propósito el 30 de julio de 1899 y los Votos el 25 de marzo de 1903. Fue ordenado sacerdote el 17 de junio de 1905.
Apenas ordenado fue enviado a la entonces Provincia del Pacífico y desde aquí se lo destinó a trabajar en La Paz, Bolivia. Después de dos años, en 1907 regresa a Chile y trabaja en Santiago hasta 1912, cuando es destinado a la naciente Parroquia de Playa Ancha. En nuestra parroquia se desempeña como vicario. En 1915 debe regresar a Francia, durante la Primera Guerra Mundial, para ir al frente de batalla y servir como enfermero.
Terminada la guerra, vuelve a Chile. En 1919 asume como segundo párroco de nuestra parroquia, hasta 1921, en que es nombrado Superior de la Casa de Ñuñoa, a la sazón casa de formación o seminario de la Provincia del Pacífico. En ese tiempo, además, es miembro del Consejo Provincial.
El 1 de julio de 1924, al morir el Visitador, P. Mario Fargués, al P. Gustavo Houllier, que era el primer consejero de la Provincia, le corresponde asumir interinamente ese oficio. El 19 de agosto siguiente, el Superior General, P. François Verdier, confirma al propio P. Houllier, como Visitador de la Provincia. Asume también como Director de las Hijas de la Caridad. Ejerce esos oficios hasta junio de 1926, cuando presentó su renuncia ante el superior General.
Luego de su renuncia es trasladado a Ecuador, donde asume como superior del Seminario Menor de Quito. En 1928 es nombrado Visitador de Ecuador y Director de las Hijas de la caridad en ese país.
En 1931 regresa definitivamente a Francia, donde es destinado a la ciudad de Lyon, donde es nombrado superior de la Comunidad. Entre 1934 y 1962 es superior en Mousinens. En 1962 es trasladado a Dax, donde fallece al año siguiente, es decir, en 1963.