安東尼奧在巴貝利尼宮殿的家庭全部由惡棍組成，“因瀆神而聲名狼藉，為其不道德和放蕩而受到懲罰”，但是這位高級教士的保護可以使法律的武器無法懲罰公然的犯罪行為，那是在他的屋頂下或在羅馬大街上由他的仆人或狐朋狗友做出的司空見慣的行為。這個世故的安東尼奧主教，被當時的人描述為具有冷酷的野心和自戀的傲慢，據(jù)傳，他在私生活的丑聞上可與西皮奧內相媲美。但是在安東尼奧的身上，更難以建立起真相：他被文獻的含糊所保護（迄今為止）。那些關于他的饒舌是否有真實成分呢？只要有煙霧的地方，就一定也有巴貝利尼宅邸的火嗎？安東尼奧眼中的蘋果之一為提埃羅·瓜爾蒂耶里（Gualtiero Gualtieri），一個具有較高社會地位的英俊年輕人（他的母親是潘菲利家族的一員），他在安東尼奧的宮廷里服務。但是這種迷戀顯然不完全是雙方相互的，因為據(jù)當時的一位消息靈通人士的日記記錄，瓜爾蒂耶里一次粗魯?shù)乇г惯@位主教的強求說：“我讓他整晚待在我的屁股上，好讓他白天允許我自己待著。”

從那以后安東尼奧跟瓜爾蒂耶里很快就痛苦地鬧翻了，這個紅衣主教突然開除了這個年輕人。在為其魅力和天分尋找新的競技場而漫游了一段時間之后，瓜爾蒂耶里最后死在了神圣羅馬帝國旗幟下與信仰新教的瑞典人交戰(zhàn)的戰(zhàn)役中。然而很快開始傳出一個流言，瓜爾蒂耶里的死并非戰(zhàn)爭引起的普通傷亡，而是安東尼奧紅衣主教涉入了這個年輕人的死。此說法過于簡單，以至于讓人不能相信是他策劃除掉了一個麻煩的現(xiàn)在已經(jīng)敵對的前至交。對安東尼奧而言不幸的是，甚至瓜爾蒂耶里的舅舅，詹巴蒂斯塔·潘菲利（Giambattista Pamphilj）紅衣主教也完全相信這個傳言，當他1644年成為教皇因諾森特十世時，仍在心中保持著對于此事燃燒的怒火。我們將看到，在因諾森特當選之后不久，安東尼奧主教和他的哥哥弗朗西斯科和塔代奧就被迫逃到巴黎尋求安全，而不愿面對在羅馬的法律指控（針對對教會國庫犯下的財政腐?。?，相信教皇已決定要挫敗他們。但是在因諾森特的腦海里，安東尼奧的罪行可不只是財政上的，這就是為什么3個兄弟中安東尼奧要被迫在外流放待得時間最長。