1957年に試作車が製造され、1958年から量産車が中央快速線に投入されました。平行カルダン駆動や電気ブレーキ、MMユニットの採用など国鉄の電車の基本的な構成を初めて実用化した電車でもありました。試作車のうち1両は鉄道博物館で保存展示されております。
南武線では1969年12月に川崎ー登戸間の快速で運転を開始しました。これは武蔵小金井電車区の中央快速線車両の出張運用で、南武線本来の基地である中原電車区には1972年から配置が始まりました。1978年に南武線の電車は101系に統一されています。
1982年には103系の中原電車区への転入が始まりましたが、101系は1991年1月まで南武線で走り続けました。尻手支線のワンマン車はさらに最後の101系として2003年まで残りました。ちなみに1986年から89年にかけて秩父鉄道に譲渡された101系は1000系としていまだに現役です。