一九七八年，媒体爆料郑少秋陪赵雅芝去看妇科，沈殿霞得知后非常不爽，直接跑到剧组，甩了赵雅芝两个耳光。此后，赵雅芝结了婚，再次与有家族的黄元申谈起了地下恋，当时她的名声真的很差。
由于工作变动，赵雅芝于一九七五年被无线电视台请去担任节目主持人。赵雅芝收到邀请后辞职，就这样进入到演艺圈发展。随后，她的形象大放异彩，被公司发掘出来拍摄电视剧，她的演艺生涯就此开始。
一九六六年，赵雅芝与郑少秋相识，郑少秋第一眼看到赵雅芝就被她深深吸引。那时郑少秋想以自己的魅力迷住她，但后来得知赵雅芝已结婚，便放弃追求她的念头。而且赵雅芝和黄元申在这一年也相识。
当时沈殿霞是郑少秋的同居女友，她很爱郑少秋，所以听到这样的消息她根本就坐不住了。但流言并未因此停顿，后来更是传出郑少秋带赵雅芝去看妇科的新闻。这次沈殿霞忍无可忍，直接冲到剧组，要教训赵雅芝。剧组沈殿霞一见赵雅芝就甩了她一巴掌，让她以后离郑少秋远一点，否则就不把她放在眼里。
当时沈殿霞在娱乐圈的地位很高，再加上人脉也很广，赵雅芝根本就不敢惹她。事实上，那时赵雅芝和郑少秋并没有什么关系，都是人家传的消息，她反而是和黄元申关系很不一般。那时，赵雅芝和黄元申都已成家，彼此产生感情后也不敢公开，只好谈地下恋。
本来两人的地下恋也是不欢而散，但是有一次黄元申写给赵雅芝的情书被丈夫发现了。在媒体上，黄汉伟一怒之下将此事曝光，黄元申和赵雅芝的关系也就此结束。那个时候，有关赵雅芝的丑闻铺天盖地，她的事业也受到了一定的影响，但是她的婚姻却稳若盘石。
