山东的名称,最早出现在战国时期,当时,关中的秦人,称崤山或华山以东的地区为山东。
至唐代和北宋时代,太行山以东的黄河流域广大地区被称作山东,“山东”被明确地划为一个独立的行政单位,开始于南宋,正式形成于金,明代初期设置山东行省,后改称山东承宣布政司。清朝初年,设置山东省,“山东”正式成为本省的专名。
上古时代的山东,由于距华夏文明发源地中心遥远,当时并不属于华夏系统,那时候的山东区域领地被称作东夷人,传说后羿就是最早的一位东夷人首领。