果然如公主所言，他们二人快乐的日子只维持了10年的时光。1799年，和珅被诛。对于丰绅殷德一家人来说，艰难的日子来临了。
丰绅殷德的后半生和艰难是分不开的。
和珅被杀以后，嘉庆皇帝看着丰绅殷德就眼晕，于是免除了他的一切职务，削职为民了。但毕竟那是自己的妹夫，削职为民，但是生活衣食无忧。削职为民，对于丰绅殷德来讲，已经是天大的幸福了。要不是固伦和孝公主到自己的哥哥嘉庆皇帝那里几番哭求，恐怕丰绅殷德早就与他的父亲到阴间做伴儿去了。
在被削职为民的几年里，丰绅殷德可是充分地体验到了世态炎凉。
嘉庆四年（1799年）正月，和珅伏法，丰绅殷德以公主故，免连坐，仍给伯爵。同年二月，因和珅“有谋为不轨之意”，其虽不知情，“加恩免其追问，但不应仍叨世袭伯爵”，遂“革去伯爵，停其世袭。赏给散秩大臣衔，当差行走”。
嘉庆八年（1803年），固伦和孝公主府的长史奎福向内务大臣温布控告丰绅殷德“演习武艺，谋为不轨，并欲害公主，将妾带至坟园于国服内生女”三项罪状。嘉庆一审，才发现丰绅殷德与固伦和孝公主关系非常融洽，前两项罪状纯属诬告，不过丰绅殷德在国服内生女确有其事，丰绅殷德也供认不讳。故嘉庆帝谕示道：“……实系奎福因革去长史心怀怨恨，捏词诬控，今爰书已定，丰绅殷德并无谋为不轨之事。其罪状在和将侍妾带至坟园，于国服一年内生女，实属丧心无耻，令其闭门思过，如此惩办已是敬幸，其他俱属轻罪不议。”
嘉庆十年（1806年），嘉庆皇帝下令，将丰绅殷德升官。升到哪儿啊？升到今天的外蒙古，让他上那儿干活去。外蒙古，那时候叫乌里雅苏台。嘉庆皇帝让他上那儿当一个小官。丰绅殷德的妻子不能上那儿去。丰绅殷德在北京还有房子，还有住宅，总得有人给你看房子，你妻子在这儿看房子吧，你自己走。结果丰绅殷德在那儿待了4年就死了，年仅36岁。丰绅殷德死了，他的后事有人给办吗？结果是“赏银五千两治丧，照公爵衔赐恤”。
丰绅殷德死亡的原因，一方面是因为生活抑郁，工作不得志；另一方面是因为色气太重，伤了身体。
固伦和孝公主没死，还活着，固伦和孝公主给丰绅殷德生了一个儿子，也是没几天死了，又生了两个女儿，都活着。但后来女儿嫁给别人，就不算是和珅家的后代了。所以丰绅殷德或者说是和珅家，没有嫡系后代。
好在，丰绅殷德的小妾给丰绅殷德生了一个孩子，名叫福恩。还好嘉庆、道光两代对福恩很不错，让他承袭了和珅的父亲常保所留下的三等轻车都尉世职。固伦和孝公主本人死于道光三年（1823年），她死的时候49岁（虚岁），跟她的公公和珅死时同龄。不过，这就很不错了，她已经是乾隆皇帝的10个女儿当中最为长寿的两个人中的一个了。此后，福恩被道光皇帝没收所有府第，命令福恩住回驴肉胡同。直至义和团运动爆发，八国联军入侵，和珅六世孙恪仁北上东三省以逃离战乱，自始，驴肉胡同逐渐成为民居。恪仁的后代，现居住在黑龙江省五常市。
和珅的次子是和珅40多岁的时候才生的，生下来没过多久就死了，所以也没有留下什么名字。这对于爱子如命的和珅不啻晴天霹雳，“七夕节得家信，闻幼儿病势增剧，不意竟以是日夭折，悼惜之余感而成什”，于是提笔写下了《忆悼亡儿绝句十首以当挽词》，其中的5首如下：
其一：
河汉盈盈两泪倾，都关离别恨难平。
双星既有夫妻爱，应视人间父子情。
其二：
老来惜子俗皆然，半百生男溺爱偏。
今竟无情抛我去，几回搔首问青天。