Nispeten genç bir spor olmasına (tenisten daha yeni ve basketboldan biraz daha eski) rağmen, masa tenisinin kaynağı hiç bir zaman kesin olarak bilinmemektedir. .

Bu sporun salon tenisi adıyla bilinen en eski şekli 1880 li yıllarda Hindistan ve Güney Afrika'daki İngiliz ordu subayları tarafından oynanırdı. Puro kutularının kapaklarını raket, yuvarlatılmış şarap şişesi mantarlarını da top olarak kullanırlardı. File olarak da kitapları kullanıyorlardı.

1890 lı yıllarda İngiltere'de bu oyunun diğer versiyonları geliştirildi. Bunlar "whiff whaff" ve "gossima" gibi değişik isimlere sahiptiler ve Parker Brothers firması masaya kurulabilen portatif net, dışı file kaplı küçük bir top ve minyatür raketlerden oluşan salon tenisi kitleri satmaya başladı.

1900 yılında Amerika'yı zayaret eden İngiliz James Gibb, dönerken yanında bazı içi boş selüloid toplardan getirdi ve arkadaşlarıyla salon tenisini bu topları kullanarak oynamaya başladı. Gibb, topun rakete ve masaya çarptığı zaman çıkardığı sesi temsil eden "ping pong" ismini kulanmaya başladı.

Fakat 1901 yılında İngiliz spor ekipmanları üreticisi olan John Jacques "Ping Pong" ismini kendi adına tescil ettirdi ve bu ismin Amerika haklarını Parker Brothers firmasına sattı. Onlar da yeni kitlerini bu isimle çıkardılar.

Bir başka İngiliz, E. C. Goode, 1902 yılında tahta raketinin yüzeyini pürüzlü lastikle kaplayarak topa falso vermeyi başardı. Aynı yıl İngitere'de Ping Pong Federasyonu kuruldu fakat isim hakkının Parker Brothers firmasında olmasından ve dolayısıyla ekipmanların çok pahalıya çıkmasından dolayı 3 yıl sonra kapandı.

Buna rağmen diğer üreticilerin genel bir isim olan table tennis (masa tenisi) adı altında sattıkları ekipmanlarla bu spor İngiltere ve Avrupa'da sessizce yaygınlaştı. 1921 yılında İngiltere'de yeni bir masa tenisi federasyonu kuruldu. Peşinden de 1926 yılında İngiltere, İsveç, Macaristan, Hindistan, Danimarka, Almanya, Çekoslovakya, Avusturya ve Galler'in Berlin'de yaptıkları  toplantıda Fédération Internationale de Tennis de Table (International Table Tennis Federation - Uluslararası Masa Tenisi Federasyonu) kuruldu.

İlk dünya şampiyonası 1927 yılında Londra'da yapıldı. Bu yıldan 2. dünya savaşına kadar tüm şampiyonalar Macaristan'ın egemenliği altında geçti. Bu zamanların en iyi oyuncuları bayanlarda yedi dünya şampiyonası kazanan Macar Maria Mednyanszky ve beş defa dünya şampiyonu olan yine Macar Viktor Barna'ydı. Çekoslovakya ve Romanya'lı sporcular da bazı şampiyonaları kazandılar.

Amerika Ping Pong Federasyonu 1930 yılında kuruldu fakat sadece Parker Brothers firmasının ekipmanları kullanılabildiği için üye sayısı fazla olamadı. 1933 yılında iki rakip federasyon daha kuruldu. Bunlar U.S. Amatör Masa Tenisi Federasyonu ve Ulusal Masa Tenisi Federasyonuydu. Bu üç gurup 1935 yılında birleşerek U. S. Masa Tenisi Federayonu adını aldı. 1994 yılında da adını U.S.A. Table Tennis olarak değiştirdi.

İkinci dünya savaşından sonra bir süre daha orta Avrupalı oyuncuların egemenlikleri sürdü. 1953 yılından itibaren Asya'lı oyuncuların egemenliği başladı. Asya'lı yıldız oyuncuların aniden ortaya çıkmalarının bir sebebi Japon Horoi Satoh'ın 1952 yılında ilk defa kullandığı süngerli lastiklerin kullanılmaya başlamasıdır. Bu yeni malzeme oyunu hızlandırdı ve oyuncuların topa daha fazla falso vermelerine imkan sağladı.

Asya'lı oyuncular "Penholder tutuşu" adı verilen ve raket sapının başparmak ile işaret parmağı arasında tutulduğu bir tutuş şekli geliştirdiler.  Bu tutuş şeklinde her tür vuruş için raketin aynı yüzünü kullanıyordu (artık bu tutuş ile raketin her iki yüzünü de kullanan oyuncular vardır). Bu tutuş bugün bir çok üst seviye uluslararası oyuncu tarafından kullanılmaktadır.

1988 yılında masa tenisi erkek ve bayanlarda tekler ve çiftler müsabakalarını içeren olimpik bir spor haline geldi.