潘若迪從健身教學走上舞台，靠著自創的「funty dance」成為有氧運動代表人物。只是他的感情與家庭故事，也曾多次因傳聞被推上話題。
多年前，他與張瓊姿被傳在車內進行封閉式運動長達80分鐘，車身晃動等細節也被反覆討論。潘若迪當時回應只是「教運動」，郭泰源則傳出相當震怒、甚至揚言離婚；張瓊姿後來仍被拍到繼續上課，讓傳聞一直沒有真正平息。
這段往事至今仍有人拿來討論，但車內究竟發生什麼，並沒有被完整證實。對潘若迪來說，這場風波也成了演藝生涯中最難擺脫的標籤之一。
他的童年同樣帶著壓力。父親是軍界將領，對成績要求嚴格；他曾回憶，數學只考2分時被父親以「不槍斃你，我對不起國家」嚇唬，家中還用半隻雞腿、半個蘋果作為獎懲。
在這樣的成長環境裡，他甚至曾偷拿同學便當。後來他把身體與舞蹈變成自己的道路，將運動、節奏和表演結合，慢慢走出「亞洲有氧天王」的定位。
2011年，潘若迪在峇里島與小他15歲的邱怡寧Kiki結婚，兩人育有女兒潘朵拉。2025年外界再傳婚姻生變，甚至有人把Kiki稱為「前妻」，他則親自出面否認，婚姻現況仍成為外界關注焦點。
比起被討論的感情風波，他在女兒面前更像一名願意陪伴的父親，也試著補足自己童年的遺憾。
此外，他曾在健身課堂遇到女學員做出讓他感到不適的肢體舉動，選擇報警並停止授課。從家庭、事業到感情，潘若迪一路走來始終在處理外界目光，也在努力把人生拉回自己的節奏。