南海舰队的前身是广东军区江防司令部。该部成立于1949年12月15日，由广州市军事管制委员会海军接管处、两广纵队第2师和粤赣湘边纵队的部分人员组成。1950年12月3日，增调陆军第58军第173师师部和第四野战军补训第2师的部分人员，扩建成中南军区海军。根据国防部1955年8月6日命令，于10月24日改称海军南海舰队。至1992年10月，所属榆林基地、南海舰队航空兵、海军广州基地和湛江基地先后成立。

经历了二十世纪七八十年代的西沙之战和南沙之战之后，海军开始重视南海舰队大型舰艇部署。1994年开始部署核潜艇，1999年将我国目前在役最大吨位，并装有VLS（导弹垂直发射）系统的国产054型导弹驱逐舰167舰（“深圳”号）配备给南海舰队。目前，南海舰队的海上综合作战能力已超过南海周边的其他任何一个国家。

南海舰队现有舰艇350多艘，其中驱逐舰9艘，护卫舰17艘，核潜艇3艘，常规潜艇21艘。自20世纪80代末以来，南海舰队的大型舰艇的数量增长很快，已成为三大舰队中驱、护舰数量最多的舰队。