謝賢離世消息公布後，許多人再次談起他長年不離身的墨鏡、俐落穿著，以及大家熟悉的「四哥」稱號。這個稱呼並不是影壇地位帶來的江湖名號，而是源自他在家中8名兄弟姊妹裡排行第四。
謝賢本名謝家鈺，父親謝棣謀祖籍廣東番禺，早年在香港經營銀號，從事匯兌、存貸與銀兩兌換等生意。謝家一度家境優渥，謝棣謀與妻子育有8名子女，謝賢就在生活穩定的大家庭中長大。
童年時的謝賢接受當時較新式的教育，家中有人照料，出門也有車接送。後來觀眾熟悉的從容氣質與講究穿著，多少能從他早年的生活環境找到痕跡；然而，這段富家少爺的日子並沒有一直延續。
四十年代戰亂爆發後，市場貨幣與生意秩序劇烈變化，銀號放出的款項難以收回，儲戶又陸續要求提領。謝棣謀為了還債，處分房產、古董與值錢家當，謝家也從寬敞住宅搬進狹小民居。
事業崩盤與沉重壓力拖垮謝棣謀的身體，他在貧困中早逝。當時謝賢只有16歲，為了讓母親和弟妹維持生活，他離開校園到九龍碼頭搬運貨物，也做過泥水等能立即領到工資的工作。
17歲那年，謝賢的姊姊看到嶺光影業招考演員訓練班，替他填了報名表。1953年，他被導演秦劍相中，公司也將較拗口的本名改成藝名「謝賢」，讓他從碼頭工人走進片場。
謝賢早期大量接戲，並不是先從明星夢出發，而是因為片酬比體力工作更能支撐一家人的生活。他拍攝首部電影《樓下閂水喉》後持續奔走不同劇組，把收入用來改善家中生活，也負擔弟妹的教育費用。
隨著事業站穩，他不只讓家人搬離困窘環境，也供弟妹完成學業，部分人還有機會出國深造。父親未能繼續承擔的家庭責任，最後由排行第四的他接了下來。
謝賢後來從粵語片黑白年代走過電視黃金歲月，2019年獲頒香港電影金像獎終身成就獎，晚年又拿下最佳男主角。外界看到的是瀟灑張揚的「四哥」，但在這個稱號背後，也有一名少年在家道中落後提早長大、扛起全家的往事。