天山山地的主要岩石是古生代变质岩和火山碎屑岩等
在地质历史上，天山地槽形成于震旦纪晚期，由于海西运动褶皱隆起，燕山运动后期剥蚀成准平原状态。喜马拉雅运动再度隆起，形成许多地垒式山地及断陷盆谷地。构成天山山地的主要岩石是古生代变质岩和火山碎屑岩等。
中生代至早第三纪末，古天山被剥蚀成为淮平原。晚第三纪，特别是上新世以后，准平原发生断块抬升，形成多级山地平面。后经冰川与流水交替作用，成为现代天山。据统计天山拥有现代冰川近7000条，面积达一万平方千米，处于海拔3800〜4200米以上的常年积雪带。
而在海拔2600米以上的地区则堆积了大量的古代冰川沉积物，并保留了多种冰川侵蚀地貌，例如冰坎、冰槽谷和古冰斗等，地质上把这一区域叫做霜冻作用代。此地带温度低，有长达半年的时间空气温度处于零摄氏度以下，仅在盛夏温度最高的时候才会有解冻的现象。
