Pada tahun 1941 di Balikpapan, sudah terdapat beberapa rumah sakit yang didirikan oleh Pemerintah Pendudukan saat itu, antara lain : Rumah Sakit Senrijoso atau Mensibo yang sekarang tempatnya ditempati oleh Hotel Sederhana Klandasan.

Disamping Rumah Sakit tersebut terdapat rumah Sakit untuk Kimpitai atau tentara Jepang yang lokasinya sekarang ditempati oleh Rumah Sakit Tentara Dr. R. Hardjanto. Sebelum diambil alih oleh Jepang, Rumah Sakit Senrijoso adalah Rumah Sakit Land Shaff zaman Belanda. disinilah Almarhum Dr. Kanujoso Djatiwibowo pertama kali menjadi Kepala Rumah Sakit. Pada saat tentara Jepang masuk ke Balikpapan, Dr. kanujoso Djatiwibowo dipindahkan ke Rumah Sakit Sim Min Biyoying di KM 1 Balikpapan.

Diawali Kekalahan Jepang pada PD II, Belanda membuka rumah sakit NICA Hospital di Asrama Bukit tahun 1945 yang dipimpin oleh kapten Dr. Maag. Rumah Sakit ini mempergunakan tempat bekas Tangsi Tentara Jepang. Dengan Prasarana dan Sarana yang terbatas, rumah sakit ini dapat melayani orang-orang sakit termasuk pelarian Jepang. Tenaga dokter pada saat itu adalah : Kapten Dr. Maag (Ahli Bedah) dan Kapten Dr. Ong (Ahli Bedah). Pada tahun 1946 kedua dokter tersebut pindah ke Jakarta dan pimpinannya digantikan oleh Dr. L. Indirofho dengan dibantu beberapa tenaga dokter seperti Dr. Ny. L. Indorofho, Dr. Rambitan dan Dr. Siwi.

Tahun 1947 NICA Hospital diganti namanya menjadi GBZ Hospital (Government Borgliek Zekenheis Hospital). Tahun 1948 Dr. Rambitan dan Dr. Siwi pindah dan digantikan oleh Dr. Johar dan Dr. Oey Ek Djin. Kemudian Dr. L. Indorofho beserta isteri dan suster-suster Belanda kembali pulang ke Negeri Belanda, maka pimpinan Hospital tersebut diserahkan kepada Dr. Johar. Pada tanggal 12 September 1949 Hospital tersebut pindah ke gedung baru di Gunung Sari Ulu, tepatnya di Jl. Jend. A. Yani dan menjadi Rumah Sakit Umum Balikpapan milik Pemerintah Provinsi Kalimantan Timur.

Rumah Sakit inilah yang menjadi tulang punggung pelayanan kesehatan untuk masyarakat Balikpapan dan sekitarnya. Sejalan dengan perkembangan kota Balikpapan dan tuntutan kebutuhan pelayanan kesehatan maka kelas Rumah Sakit Umum Balikpapan secara bertahap terus ditingkatkan sehingga pada tahun 1982 menjadi Rumah Sakit Umum Kelas C dengan 4 tenaga spesialis dasar lengkap dan jumlah tempat tidur 326. Bulan Mei 1983 terjadi keretakan yang cukup parah pada sebagian besar bangunan Rumah Sakit yang diduga diakibatkan oleh struktur tanah yang bergerak. Untuk menjaga keselamatan pasien dan petugas rumah sakit maka bangunan yang rusak tersebut dibongkar dan dibangun kembali dengan kontruksi semi permanent kayu. Ketika itulah muncul gagasan untuk membuat Rumah Sakit baru yang dimulai dengan pembuatan master plan pada tahun 1985. Pembangunan gedung baru Rumah Sakit Umum direncanakan pada lokasi yang baru karena sesuai dengan hasil penelitian Tim Geologi dari Bandung, struktur tanah yang ada pada saat ini tidak memungkinkan lagi dibangun dengan kontruksi biasa.

Pembangunan gedung baru RSU Balikpapan, dimulai pada tanggal 31 Maret 1994, di Jl. Letjend. M.T. Haryono Ring Road Balikapan Utara, diatas tanah seluas 24,4 Ha melalui dana LOAN IBRD (4031-IND) tahun 1991/1992 s/d. 1994/1995, APBN dan APBD Tk.I secara bertahap sejumlah rupiah 17.460.426.000,- dengan luas lantai 15.277 M2. Untuk peralatan Medis dan meubelair dialokasikan dana sebesar Rp. 13.500.000.000,- sehingga jumlah keseluruhannya mencapai Rp. 30.960.426.000,-. Pembangunan Rumah Sakit tersebut dipersiapkan menjadi Rumah Sakit Kelas B.

Tahun 1997 tepatnya pada tanggal 21 April, gedung Baru RSU Balikpapan mulai dipergunakan. Peresmian gedung Baru RSU Balikpapan oleh Presiden RI Soeharto, pada tanggal 19 Agustus 1997 dan diberi nama RSU Dr. Kanujoso Djatiwibowo Balikpapan sesuai dengan Keputusan Menteri Kesehatan RI dengan kapasitas 300 TT. Pada tahun 1998 RSU Dr. Kanujoso Djatiwibowo Balikapan di Akreditasi dengan SK Menkes RI. Seiring dengan perkembangan zaman tahun 2011 RSUD dr. Kanujoso Djatiwibowo Balikpapan mulai membangun gedung Anggrek Hitam 8 lantai yang dilengkapi dengan Heliped dan diresmikan oleh Ibu Menteri Kesehatan dr. Andi Nafsiah Walinono Mboi, SpA, M.P.H. pada tanggal 22 Maret 2013.