澳大利亚的反华情绪仍在继续：谴责中国划定东海防空识别区、指责“孔子学院”、批评中国对澳大利亚进行“政治干预”，就连学术圈也出现了质疑中国的声音。

1978年，经中央批示，中国文联和中国作协正式恢复。林绍纲被负责筹备的秘书长张僖从北京图书馆要了回来，进入新成立的作协对外联络部。不久后，对外联络部设欧美和亚非分部，林绍纲分管亚非部。

《我自主研发“三层仿生”人工血管完成首例置换术》“文革”中受到批判的刘白羽1978年获平反，回到军队担任了总政文化部部长。80年代初，作协的一些外事活动也常邀请他参加。他变得很谦虚，不见了过去居高临下的官气，平易近人了很多，林绍纲和他相处得很融洽。