大批猶太人最早是在唐代（約公元8世紀前後）沿著絲綢之路進入中國境內的，此後也有從海路來到中國沿海各地再進入內地的。盡管少數學者認為猶太人早在漢代，甚至周代就來到了中國，但均無確鑿的考古發現予以佐證。猶太人進入中國後散居許多城市和地區，直到宋朝才出現了具有一定規模的開封猶太社團。
北宋時期，一批猶太人來到了當時的都城東京（今開封，以下通稱開封），受到宋朝當局的友好接待，被允準歸依中國，可保持本民族風俗習慣和宗教信仰，並定居在開封。此後他們在居住、遷徙、謀業、就學、土地買賣、宗教信仰、通婚等諸方面均享受與漢族同樣的權利和待遇，從未受到歧視。
在這樣一種安全穩定寬松的環境中，猶太人很快便顯示出經商理財的才能，在商業貿易領域取得了成功，成為開封一帶的富有階層，同時他們的宗教活動也日趨活躍。1163年，開封猶太人在鬧市區建起一座猶太會堂。
百余年後在元朝政府的支持下，猶太會堂得到重建。到了明代，開封猶太社團進入其鼎盛時期，已有500余戶，約4000－5000人。他們的社會地位也在不斷上升。當時開封猶太人中有經過科舉之路進入朝廷或到州縣當官的，有通過經商辦實業而成為富商巨賈的，有技藝高超的工匠和勤勞致富的農夫，也有少數醫師和職業神職人員。
也就在這同時，他們不知不覺地同化于中國儒家文化的主流之中。他們參加科舉制度下的考試，改希伯來姓名為漢人姓名，習用漢文漢語，開始與外族通婚，穿戴中國服飾，按照中國的習俗慣例待人接物處事，而本民族的傳統習俗卻逐漸淡化了。1642年，因黃河決堤，整個開封城被淹沒。猶太會堂也被沖垮，許多經書散失。
隨後開封猶太人雖于1663年再次重建猶太會堂，並找回了一部分經書，但此時開封猶太社團總人口已不到兩千。到17世紀後，開封猶太社團事實上已與外部猶太世界失去了聯系。到19世紀中葉，開封猶太會堂已成一片廢墟，開封猶太人已經多年沒有拉比，不能讀希伯來語，宗教儀式也已停止。
也就在這前後，西方傳教士們“發現”了開封猶太人後裔，並隨即在歐美掀起了一股研究開封猶太人的熱潮。上海的猶太人也試圖幫助開封猶太人後裔恢復猶太傳統，但均未能成功。最終，開封猶太社團融入了中華民族的大家庭中。
猶太人何時來到中國？他們來自何方？