A céget tulajdonképpen 1911 Június 16.-án alapították New York-ban Consulting-Tabulating -Recording Comapny néven, de a gyökerek még messzebbre, a 19. század végére nyúlnak vissza, pontosabban 1888-ra, amikor Dr. Alexander Day feltalálta a hívásrögzítőt megalapítva ezzel a későbbi CTR egyik blokkját, valamint a Bundy Manufacturing Company-ig, mely 1889-ben beleolvadt CTR-be és annak kulcsfontosságú részévé vált. Az 1890-es években, a válság és a hatalmas emigráció idején az Amerikai Egyesült Államok felismerte, hogy az adatszámlálásra használt tradicionális módszerekkel lehetetlen lenne feldolgozni a hatalmas mennyiségű adatot, és pályázatot írtak ki ennek a megoldására, melyet Herman Hollerith nyert meg a lyukkártya-feldolgozó gép feltalálásával. 1896-ban megalapította a Tabulating Machine Companyt, ami Consulting-Tabulating -Recording Comapny néven futott tovább 1911-ben.
1920-ban piacra dobták az elektromos számológépet, majd egy évvel később az elektromos pénztárgépeket is, és sikereikre és terjeszkedésükre való tekintettel a cég nevét 1924 február 14.-én International Business Machines Corporation-ra (IBM) változtatták.
1949-ben építették meg az első kártyavezérelt számítógépet, ezt '52-ben és '59-ben továbbfejlesztették. 1971-ben megjelent a floppy lemez, ami széles körben elterjedt személyes adattárolóvá vált, 1973-ban pedig bevezették az üveges lézer árleolvasót. 1981-ben kezdték el terjeszteni a személyi asztali számítógépeket, és ekkor kezdték el az együttműködést külsős vállalatokkal. A processzor az Inteltől, a DOS az akkor 32 emberrel működő Microsofttól származott.
1985-ben kifejlesztették a személyi számítógépek közötti kapcsolatot, lehetőséget adva ezzel arra, hogy adatokat oszthassanak meg egymással, illetve a nyomtatóval a felhasználók. a nyolcvanas és kilencvenes évek a rohamos fejlődés évei voltak. Ekkor széles körben elterjedt a személyi számítógép használat és a net. Az IBM azóta is folyamatos fejlesztésekkel és egyre felhasználó-barátabb kivitelezéssel jeleskedik a piacon.
Legfontosabb riválisai a [HP]? és az Acer.