温济泽的荆棘路没有这么复杂，但也是够揪心的。当他被补为“右派”时，他也是对党忠贞不贰，认为党总是对的。至于广播事业局党组说自己“右”，只能先承认下来，以后再慢慢去“认识”吧。如有“罪名”与事实不符、处理过分的地方，日后有机会总能说清楚的——延安“抢救运动”不就是很快甄别了吗?
作为一个共产党人，想总该这样想，头抬得高高地向前看；但是每日扑面而来的生活景象，总不是那么令人舒心畅气的。首先，家里的电话被撤掉了，有事想拨个电话、节省时间少跑腿，完全不可能了。他所有出版过的书都成了禁书，就是摆在新华书店书架上的，也都全被撤下来扔进准备化做纸浆的废纸堆里。在北京图书馆陈列架上的也被严禁借阅。发表文章的权利自然也被剥夺。就是他出于崇敬而苦心搜集的瞿秋白文稿与史料，他也感到继续放在自己家里不安全，而交给瞿秋白的遗孀杨之华大姐了。
尽管他一直身躯瘦弱又有肺痨病，还是被发配到渤海之滨的一个农场去劳动。劳动了一年多之后，被调到北京广播学院工作。因为头上还戴着“右”帽，他只能搞点资料；1960年10月脱了帽子之后，才开始讲些课，并得以在不公开的《广播业务》上发表点文章。
在广播学院教书教到第六年，“文革”浩劫开始，他再次遭受劫难。他所写的文稿和出版的书籍，多半都被烧毁，罪名是“四旧”，是“修正主义”；甚至连建国之初在中共中央高级党校新闻班和北京大学新闻专业讲授新闻广播学的讲义，以及刚刚出版的《马恩列斯论报刊·列宁论广播》，也都被付之一炬。
1966年“文化大革命”一开始，全国即笼罩在恐怖气氛中。他也在广播学院接受“群众专政”。一次他坐14路汽车去医院看病，车到一站门打开，一眼瞅见胡乔木上车，他十分欣喜，连忙点头致意，并起身让座。但胡乔木只无言地用眼神向他示意，叫他不要跟他打招呼。两个人只好都相互陌生人似的，都把着扶手摇摇晃晃地站着，偶尔目光碰到一起，也一句话都不说。最后胡乔木用眼神示意要下车，温济泽用注目礼送他，这时才注意到一个跟他上车的人也紧跟着下了车。“噢，原来有‘尾巴’!”
“文革”开始不久，温济泽从红卫兵小报上看到邮电学院揪斗胡乔木的消息，就非常惦念他。没想到这次车上意外相遇，却连一句话都不能说，“我们的国家究竟要变成什么样子呢?”
1972年，温济泽听说廖承志得了心肌梗塞，住院治疗后回到家里休养，他急于想去探望。因为自从他被定为“右派”之后，已整整十四年没见过廖公了。他说去就去，到廖公家里一看，廖公虽然消瘦一点，但仍然保持着乐观、热情、豪爽、幽默。此后有一段时间，他常常去看他。
从谈话中得知，“文革”开始不久，廖公也受到了“四人帮”的迫害。周总理为了保护他，让他住进了中南海，一直住到1972年。在与外界隔绝的那些年，他学会了做饭做菜。看书绘画之余也写诗。他向温济泽背诵过一首自己写的诗，那后几句是：“自悟残生日渐促，尚拼余力渡江潮；梦中忘却‘靠边站’，带向旌旗笑手招。”这表明他在孤寂苦恼中，仍充满了对未来的希望。他说：“乌云终不会长久遮蔽着天空，总有一天会重见天日的。”