भारत में सीबीआई की स्थापना प्रधानमंत्री पंडित जवाहरलाल नेहरू के कार्यकाल में हुई थी, लेकिन इसकी बुनियाद 1941 में पड़ चुकी थी। ब्रिटिश इंडिया की सरकार ने स्पैशल पुलिस ऐस्टैब्लिशमैंट का गठन किया जिसका काम था युद्ध और आपूर्ति विभाग में रिश्वत और भ्रष्टाचार के मामलों की जांच करना। 

द्वितीय महायुद्ध के समाप्त हो जाने के बाद भी केंद्र सरकार को इस विभाग की ज़रूरत महसूस हुई  और आज़ादी के बाद 1946 में दिल्ली स्पैशल पुलिस ऐस्टैब्लिशमैन्ट ऐक्ट या डीऐसपीई लागू हुआ। फिर पहली अप्रैल 1963 को गृह मंत्रालय ने इसका नाम बदल कर सीबीआई रख दिया और इसके पहले निदेशक बने डी पी कोहली।