磨刀石一般選用砂岩。可以選用砂岩中的石英或者花崗石的較爲平整一面，作爲磨刀面。砂岩是自然界裏很常見的岩石，是人類使用最爲廣泛的石材。砂岩是一種沉積岩，主要由各種砂粒膠結而成的，顆粒直徑在0.05-2mm，其中砂粒含量要大於50%，結構穩定，通常呈淡褐色或紅色，主要含硅、鈣、黏土和氧化鐵。絕大部分砂岩是由石英或長石組成的。
