上海平民女校关闭后，为了培养更多的干部，陈独秀等决定创办一所高等学校。这时，正值私立东南高等师范学校爆发风潮，校长灰溜溜地离开学校，学生们为继续求学，要求改造学校。
时任靖国军总司令的于右任在革命失败后从甘肃到上海，在《民国日报》发表文章，提出“欲建设新民国，当先建设新教育”。私立东南高等师范学校的学生们读了，非常赞同，请《民国日报》总编邵力子代为请求于右任为校长。
于右任考虑到办学经费及教员等问题，有些踌躇。后经邵力子、柳亚子、杨杏佛、叶楚伧等人促劝，于右任同意担任校长之职，并将学校命名为“上海大学”。由于上海大学没有在北京政府立案，贵族大学看不起它，称它为“野鸡大学”。
当时孙中山从广东蒙难脱险，对上海大学颇为关注。1923年春，他亲自批准拨万元资助上大。国民党明令上海大学为党立学校，经费由国民党中央党部补助。五卅运动时，上海大学学生进行募捐支援罢工工人，当局开枪打死了学生黄仁，公共租界当局下令上海大学停办。
“高语罕是共产党领袖陈独秀的乡亲。正如江亢虎所说的，安庆是出人才的地方。独秀常对人说，语罕是一个忠实的热烈的勇敢的精干的战士。1925年秋末冬初的时候，他从德国匆匆回到上海来。这是因为上海五卅惨案起后，各地民族运动高涨，中国共产党需要增加干部人才，所以才从德国把他找回来。因为他是独秀的乡亲，可是共产党最初成立时就加入的。所以他一到上海，立刻就被派在共产党中央宣传委员会工作。那时宣传委员会指挥下，有一个上海大学，所以老高也就在上海大学担任教授。”【注释1】
语罕初到上海大学时，学校刚刚迁至闸北青云路师寿坊临时校舍复校，成为弄堂大学。弄堂口挂着于右任书写的“上海大学临时校舍”的牌子。语罕担任政治学的讲演，并在上海大学附属平民学校任课。
由于国共合作已经实现，上海大学也就成了共产党办的学校。这时的上海大学副校长邵力子、总务主任韩觉民、社会学系主任施存统都是共产党员，中国文学系主任陈望道过去是共产党员。社会学系教授李季、蒋光赤（光慈）、尹宽、王一飞、萧朴生、彭述之、郑超麟等也是共产党员。李季是语罕在德国的老朋友，光赤和尹宽是语罕在芜湖时的学生。
上海大学共有学生800多人，来自全国各地，以四川、广东、安徽等省居多，黑龙江、辽宁、吉林等省的学生也不少。加上附设的平民学校和青云学校，一共仅有15幢民房，校舍严重不足。大部分学生参加勤工俭学，到报社、书店、青年会和中小学去做兼职工作。
语罕眼睛近视，一遇到接近他的人，十之八九都是人家先打招呼。一天教好了书，语罕正要走出去，好像丢失了一个什么东西，从教室找到休息室，从休息室找到图书馆，从图书馆再找到教室，忙个不停。
“高先生，你找什么东西呀？”有个学生问语罕。
“我找我的帽子。”
“你头上戴的不是帽子吗？”
语罕向自己头上摸了一摸：“该死！该死！帽子在自己头上，还要去找，真活见鬼！”【注释2】
语罕在上海大学时间不长，就准备到广州参加国民党第二次全国代表大会。于右任校长请民国日报社社长叶楚伧作陪，在同兴楼请语罕吃饭送行。
语罕非常珍惜同于右任的交往，高度评价上海大学：
“五卅运动是中国民族革命的前哨战，而担任这个前哨战之领导使命的，就是上海大学。上海大学是中国第一个民族革命大学，它的许多学生都进了黄埔，在北伐战役中露头角，此后在十年的内战中也发生了伟大的作用。”
于先生一生的革命历史自然是很多，但是上海大学却是他的革命事业中最光辉最蓬勃最灿烂的一页。据说他在莫斯科曾自豪地对人说道：我办上海大学，是对压迫者放的一颗炸弹。
诚然诚然。希望于先生这样的炸弹，比它更大的炸弹，再多放几个，因为现在是万分需要，但不知于先生究竟有余勇可贾否？【注释3】
【注释1】荣祖：《现代史料：高语罕之荣枯得失》，载上海《社会新闻》1933年第2卷第20期。
【注释2】杨甫：《高语罕在上海》，载《上海周报》1932年第3期。
【注释3】高语罕：《烽火归来》，华盛顿印刷出版公司1939年版，第76页。
