1849年江南地区洪水泛滥，来徐家汇的难童很多，徐家汇本地居民无力食养，便将难童送至徐家汇天主教堂，请求徐家汇司铎设法收容并施教育。教士们见他们俊秀可教，时任徐家汇耶稣会院长的晁德莅慨然允诺，即拨茅屋数间，以充教室。
1850年改临时收容为有组织的教导，成立学校取名徐汇公学，由此形成了徐汇公学的雏形。
1878年旧校舍不敷应用，决定建三层大厦一所，后加高一层，即今之老校舍，接着又建西校舍二层上层为教员宿舍，下层为教室。
1905年，学校为提倡体育，又新辟运动场，即今之大操场。1904年2月，学校因教外学生急增，故设上、中、下三院，实行分院管理。上院、下院授内生，中院课教外生。上院生有宗教活动，修养身心；教外生亦组织讲学会，后改“规勉社”。学校因而实行分层次的宗教教育与学校文化教育。学生毕业后，送震旦学院或外洋大学进修深造。
徐汇公学因奉耶稣会祖圣依纳爵为主保，亦称圣依纳爵公学。这是法国天主教在中国创办最早的教会学校。历年主持校务的，大多为法意两国的神父，学校的内部组织及其管理方法，除具有耶稣会学校的风格外，还带有浓厚的法意两国教育制度的色彩，这是与当时国内学校不同的.徐汇公学使用耶稣会公学章程，学校专收男生，为寄宿制男子学校。
1931年教会向中国政府教育部门办理立案，易名徐汇中学。
1949年上海解放后，实行学校教育和宗教分离的政策，并取消分院制。
1953年改为市立并开始招收女生，现校址为虹桥路68号。