服部氏祖先原本是日本古代豪族之一的秦氏的後裔，而秦氏則是自中國吳國渡海過來的移民。秦氏不但傳授紡織技術給日本人，更在日本各地展開"新樂"公演，令日本人大開眼界。值得一提是，和服在日本傳統的稱呼叫"吳服"，語源正式取自秦氏出身的吳國。服部氏於第2代的服部半藏正成時，仕奉於德川家康，以旗本的職位領有8000石俸祿。家康將召募自伊賀地方的武士編成伊賀同心軍團後交予服部指揮。一般若沒有特別說明，服部半藏指的就是第二代的服部正成，乃德川十六神將之一，又號稱"鬼半藏"。
