1932년 3월 만주국 건국 이후 동북군의 일부였던 장쉐량의 6만 명 규모의 부대 등 여러 부대를 모태로 삼아 창립되었다. 무기도 초기에는 동북군에게 빼앗은 노획물을 바탕으로 삼았다. 많은 수의 군사가 훈련을 제대로 받지 못한 비정규군이며 아편 중독자도 있었기 때문에, 초기의 전투 능력은 높지 못했다. 1932년 8월에 만주군 2천명이 항일 부대에게 투항하는 사건이 발생하는 등 충성도도 크게 떨어졌다.
창립 당시부터 일본인이 고문을 맡아 조종하였고, 군대의 이동과 연습, 장비 교체, 인사 이동과 같은 주요 결정에 관동군의 승인을 받는 지휘체계였다.
만주군은 각 성 별로 경비군을 창설하였고, 1933년 2월에는 만주국 황제 푸이와 고위 관리들을 호위하는 별도의 군대로 금위대가 창설되었다. 1934년에 만주국 정부가 인정하는 학교를 졸업한 사람만이 만주군 장교가 될 수 있도록 법이 제정되었다.
