盧芹齋出身低微，1880年出生於浙江湖州一個叫盧家渡的小村子，他本名盧煥文——這個名字平凡而普通，且有一段心酸回憶，這是他日後想要抹去的痕跡之一。盧家渡的人世代以務桑麻為生。本來在那樣的亂世，勤儉持家才能勉強餬口，而盧芹齋的父親，卻是一個好賭成性的癮君子。他的母親在這樣絕望的環境中苦苦支撐而無力阻擋破產，在生活的重壓之下含恨自盡，其父也於不久去世。這樣，盧芹齋成了孤兒。過繼到一個出了五服的遠方叔父家。
他命運的轉折點出現在他進入南潯張家做僕人的時候。光緒年間，湖州南潯民間有所謂「四象、八牛、七十二狗」的說法，財產達千萬兩白銀以上者稱之曰「象」。五百萬兩以上不過千萬者，稱之曰「牛」，其在一百萬兩白銀以上不達五百萬者則譬之曰「狗」。而南潯張家，就是「四象」之一。盧芹齋服侍的主人是張靜江，張家二公子。跟王思聰差不多，二十世紀二三十年代許多出名的建築都是他們家的，如杏花樓、大上海電影院、大上海歌舞廳和大世界遊樂中心。
本來，張靜江他爸是想讓他做清朝的官，還花了十萬大洋給他捐了個二品候補道銜的虛職，不想，他是個憤青，思想激進，一心想推翻腐朽沒落的大清國。眼看著架勢不對，於是又花錢送他出國避避風頭。1902年，張靜江任清廷駐法國商務參贊，盧芹齋被幸運地選中作為侍童服侍他，自此開啟了人生新征程。張靜江在巴黎開設「通運」公司，售賣中國的瓷器、字畫等，盧芹齋憑藉其天賦與勤奮，從古董店學徒開始，刻苦學習古董店的各項業務，又學說了一口流利的英語、法語，很快就受到老闆賞識，盧芹齋逐漸出任掌鋪，為日後獨立經營打下來基礎。辛亥革命後張靜江回國協助孫中山，通運公司結束，盧芹齋開辦了自己的古董店，成立了盧吳古玩公司。
當時國內政局動盪，人心不穩定，故宮內的古物珍寶紛紛流失海外，盧芹齋藉此機會，成功低價收購不少古稀珍品，推銷到歐洲市場，一本萬利。漸漸地，盧芹齋成為享有盛譽的中國古董鑑賞家，也成為歐洲華人中的名人。但是盧芹齋不滿足於此。早在路易十四時代，中國藝術品， 就已經為西方上流社會所認識。在西方人眼中，晶瑩細膩的中國瓷器、造型奇特的青銅禮器、斑斕炫目的琺瑯器，和許多光怪陸離的工藝品，帶著來自遙遠東方的神秘感，讓他們覺得新奇有趣。
但在「日本風」的浪潮中，中國藝術顯然是被暫時淡忘了。真正懂得東亞文化的人，如林忠正，自然能夠理解中國藝術的內涵和審美趣味。他曾試圖向西方人介紹中國青銅器，但與浮世繪相比，其相對較高的價格始終缺乏吸引力。據寇克林回憶，林的這批青銅器最終進入了格羅斯的收藏。當時的西方審美，由法國的貢古爾兄弟主推日本藝術主導，中國藝術籠罩在其陰影之下，即便是有品位的鑑賞家，也很難看到真正高水準的中國藝術。
盧芹齋改變了這種狀況，他要搞一些大動作。於是他將興趣集中在中國古代雕塑、壁畫、青銅器和高古玉上。此時，他展現了一個成功商人的高超手腕，通過展覽、學術研究，硬是把西方人的審美趣味給掰過來了。自他開始，這些金髮碧眼的外國人開始知道怎麼欣賞中國的文物。然而與此同時，這些中國文物也遭受著被偷盜毀損轉運的災難。
盧芹齋40歲時，他的古董事業正如日中天。此時他產生了一個新的想法，就是建造一座完全中式的建築，用以展示和銷售來自中國的珍寶。但是這個想法在市政規劃非常嚴格的巴黎幾乎是不可能的。巴黎的建築都有統一的風格，每幢房子的高矮、設計風格、材料都要經過嚴格的審批，必須與周圍建築整體相協調。
盧芹齋當時已經在富豪雲集的8區買了一幢拿破崙三世時建造的公館。這個公館有4個塔樓，盧芹齋打算把這4個塔樓改建成4個房間，分別讓自己的4個女兒居住。公館位於蒙梭公園附近一個小廣場的街角，地理位置十分適合做生意，盧芹齋最終決定把它改建成自己的第三家店鋪。
盧芹齋第一次提出的改建計劃沒有獲得批准。他沒有氣餒，在法國建築師布洛克(FernandBloch)的協助下，再次提出了申請。不知道他使用了何種神通，巴黎市政府最終批准了他的計劃。改建工程從1926年開始，僅用了2年時間，就把原來3層高的公館改建成了5層的中式紅樓。這應該是巴黎市內最正宗的一座中國式的建築！門口懸掛的，正是盧吳古玩公司的招牌。
這些石雕名品，或出自雲岡、龍門、鞏縣、天龍山、響堂山五大名窟的傑作以及石窟以外的歷代佛像精品(另含少量陵墓雕刻及其他世俗作品)，無疑對於古代雕塑史研究殊具參考價值。
至於其地面一層的正廳，則遍布從中國盜割過來的壁畫。其中應該就有著名的廣勝寺壁畫。廣勝寺被出賣的壁畫一共有4幅，包括前殿和後殿東西兩壁的壁畫。幾經周轉後，這些壁畫後來在大古董商盧芹齋的一手策划下，飄洋過海到了美國。
紅樓二層的霧繚千鳥室。其牆壁全部以明代、清代花鳥人物漆畫壁板為裝飾，配以花鳥浮雕藻井和家具，中式雕花床被改成了壁龕，裡面陳設著佛像與畫卷，窗戶也做成中式雕花窗欞，十足中國傳統建築的風姿。
再往上，是印度藝術及高棉藝術的陳列區。
藉助老東家張靜江在國民政府中的影響，盧芹齋無視法令從中國偷運文物出境達幾十年時間。直到1948年7月29日，他的最後一批貨物被截留國內——這是他前後準備了好幾年的成果，有十七箱，342件文物，其中有不少國寶級。至此，盧芹齋的好日子算是到頭了。而這被扣的一批，則移交給新成立的上海博物館，那尊春秋晚期的牲尊，成為該館的鎮館之寶。
1950年3月，盧芹齋在紐約發布聲明：
我已年過七十，經營中國古董達半個世紀……中國新政權在上海查封了我收購的大批文物，其中包括我至關重要的藏品，這令我意識到，我的古董生意已經山窮水盡，無以為繼……因此，我不無遺憾地決定，從此退出古董交易這個行業。—— 盧芹齋
至此，盧芹齋的「事業」落下帷幕……
盧芹齋的家庭生活有些混亂，1908年，還是在「通運」時，盧芹齋就與馬德蘭廣場一個開帽子店的女店主奧爾佳初識。奧爾佳父親是波蘭人，母親是義大利人。她很小就在巴黎一個無孩家裡做家務，但這家人家的男主人誘姦了她並使其懷孕，誕下了女兒瑪麗·羅斯（1895—1971）。盧芹齋與比他大四歲的奧爾佳墜入情網。奧爾佳既不願失去贈送給她帽子店的一個舊情人，又不想放棄風流倜儻又多情的東方男子盧芹齋，由此，她想了個「腳踏兩隻船」之策：決定母女易嫁，將自己的女兒、15歲的瑪麗·羅斯嫁給盧芹齋，並於1910年12月29日舉辦了簡短的婚禮。婚後，羅斯成了一心一意的家庭主婦，並先後給盧芹齋生下四個女兒。但她的婚姻生活，卻一直有她的母親奧爾佳插在裡面。為此她患上了精神分裂症。
盧芹齋基因強大，他的幾個女兒繼承了他俊俏的東方面貌。其小女兒珍妮在17歲那年嫁給了讓.皮埃爾.杜伯秋。下面是1937年拍攝於其婚禮的照片。
盧芹齋的大女兒莫妮卡，1913年出生，圖為莫妮卡二十四歲拍攝於紅樓的門廳。
盧芹齋風流倜儻，不僅與奧爾佳母女糾纏不清，他在紐約時還常和華裔女子艾琳娜出雙入對。更有甚者，在東家張靜江在外為革命事業奔走時，他同張靜江夫人姚蕙互通明信片，關係曖昧。
1957年，78歲的盧芹齋在瑞士去世。他曾經表示要葉落歸根，在中國入土為安，或者葬在巴黎的貝爾·拉雪茲公墓。但是其妻家族的墓地在古何貝瓦，他也最終葬在巴黎西部的這個小城鎮。
蓋棺定論，關於盧芹齋的是非功過，爭議很大。為了避免非黑即白的論調，我們回歸人性，來梳理一下盧芹齋的是非功過。