水準儀主要由望遠鏡、水準器和基座三部分組成。望遠鏡是用來瞄準遠方目標的。水準器有管水準器和圓水準器兩種，管水準器是用來指示視準軸是否水平，圓水準器用來指示豎軸是否豎直。基座用來支承儀器的上部並與三腳架連接。
