书签起源于春秋战国时代。那时候，书签一般被叫做“牙签”，是用竹片制成的，读书人每当看到卷轴中非常重要的地方，便在它的一端插上“牙签”，以便于日后回头来查考。后来，卷轴书改折装以后，“牙签”的用途就更广了。
这时，书签的制作材料有牛骨薄片的，也有厚纸板的，考究一点的还在纸板上贴上一层有花纹的绫绢。那些读书人把平时很少翻阅过的书籍，叫做“未触牙签”。宋朝以后，读书人对书签越来越讲究，喜欢把一些座右铭之类的句子手写在书签上。
现在，书签上有的印着装饰图画，有的印着诗词、警句，有的印着名人格言，盖缘于此。
