正如澄藍的天空也並不是永遠晴空萬里的，人的一生也是經過了一場又一場的風雨洗禮，或是細如牛毛的密織的雨簾，或是傾盆而下的急雨。而這一切，如人飲水，冷暖自知。在外人看來，林徽因必是自小便生長在一個父慈母愛其樂融融的大家庭中的。然而，正如玉也有不如意的瑕疵一樣，一切事情往往並不如人們想像的那般美好。
林徽因的父親林長民在當時算得上是一個著名的學者，也是一個頗有些聲望的官吏，他的詩作非常不錯，而且，一手漂亮的書法在他的朋友中間也很受讚賞。男大當婚，女大當嫁，在他已經出落成一個風度翩翩的青年時，家裡為他辦了一門親事，這位成親的女子便是林徽因的母親。此時的林家，已經算是當地很不錯的了。
雖然林氏早年在福建也算是望族，可是卻並沒有一直如此，至少是到了林徽因的祖父林孝恂這一支時，家族的聲勢已經式微，甚至淪為布衣，而林孝恂所擁有的成績，實在是靠他自己勤勤懇懇地耕耘得來。為了拼打出一片自己的天空，首先要討生活，糊得了口，林孝恂年輕時曾做過富戶人家的教書先生，已沒有了養尊處優的公子生活。林徽因的父親在回憶他的父親時說：「爹別就人家教讀，與年所入不過數十千制錢，家計貧苦。」實在是難以想像，後來有如此發跡的林家，竟然有過這樣捉襟見肘的生活時期。據說，有時林孝恂買一個梨子回來，兒女不能盡興解饞，只好切成一片片分給幾個孩子。
機遇總是青睞於對生活用心之人的，林氏家族之所以出現轉機，算起來也是始於林孝恂考中進士的那一天。一直到今天，林氏家族的後人仍保存著一張當時林孝恂在浙江任知縣時拍攝的全家福照片——在縣太爺衙門後院，下青磚鋪地，上枝葉扶疏，一切是那樣的自然淡雅，絲毫不見那種雍容華貴的做作氣息。照片上人物，男性都長袍馬褂，瓜皮小帽；女性則偏襟大襖，額上扎青緞帽箍。讓人一看，便知這是怎樣的一個詩書傳家的家族了。
就在這一段時間裡，祖父林孝恂曾在杭州地區的金華、孝豐、仁和、石門、海寧諸州縣，任地方長官，最後代理了杭州知府。做了官的林孝恂，雖然進了官場，按理說恐怕會像其他官場中人一樣，隨波逐流，整日參與進爾虞我詐的生活，然而事實卻並不是這樣，他卻仍然不脫書卷氣。二十世紀末浙江石門民間，曾有人發現林孝恂手書的對聯：
書幌露寒青簡濕
墨花潤香紫毫圓
這幾乎完全是一個痴情於詩書之人生活的寫照，質樸而不失情趣。或許，正是這樣的志趣，這樣的生活方式，才使得林徽因的祖父得以在那樣一個昏沉的世代里得以出淤泥而不染，亭亭凈直。
林徽因的祖母游氏也是一個喜歡詩書的女子，尤其是對典籍和書法有著很深的痴情。
祖父母的詩書濟世傳家精神，在無形中深深薰染著這一座杭州古城的林家庭院，所以林家子女教育也不分性別，女兒照樣隨男孩子一起啟蒙，她們日後個個能誦詩寫字。家塾設置的課程，甚至還延請了國學大家林琴南，外籍教師華惠德（加拿大）、嵯峨峙（日本）來家教習英文、日文。在當時，能有如此深遠眼光，看到西方文化學習的必要性的中國人家，即便是在望族中也不多見的。
林徽因是如此的幸運，生在這樣一個大家庭中。有人說，一個人的氣質培養絕不是一代人便可以完成的事，它需要家族上溯至少兩三代人的積澱，才有可能到這一代完成。看來，此言非虛。小徽因到了五歲時，她的大姑母林澤民成為她的啟蒙老師。林澤民是清朝末年的大家閨秀，自小接受私塾教育，詩詞歌賦、琴棋書畫也算樣樣精通。正是這位嫻靜優雅、知書達理的姑母，教會了林徽因讀書識字。每每紅日初升的清晨，或是暮色四合的傍晚，總能看到小徽因手捧一冊冊線裝書，在那裡軟聲細語地讀著經典詩詞。也許她讀不懂那字裡行間的意思，讀不懂那作者詩意的情懷與抱負，讀不懂人世間的悲歡離合，但是這並不妨礙她因此而愛上了書，愛上了淡淡的墨香，愛上了那方方正正的方塊字所給她帶來的奇妙魔力。
小徽因初露文學才華與她那似乎出於天賦的藝術氣質，大概是她六歲的時候。長大後的林徽因曾經寫有一篇散文，在文中，她透露自己六歲得過水痘，現在的小孩子也一樣——兒童都要經歷一回的這個疾病，在她的家鄉，這個病人們通常叫「水珠」，許多小孩子都會忍不住這種病痛而哭天抹淚。奇怪的是，徽因她竟然不像許多兒童那樣感受難忍的病痛，卻說：「當時我很喜歡那美麗的名字，忘卻它是一種病，因而也覺到一種神秘的驕傲。只要人過我窗口問問出『水珠』麼？我就感到一種榮耀。」
林氏家族在林孝恂以外的枝頭上，也是豪傑頻出，比如，在老家福建的侄兒，有以《與妻書》凜然殉道的林覺民，與林覺民一起為黃花崗七十二烈士之一的林尹民，前仆後繼組織起義光復福建的林肇民。非但如此，林孝恂又出資送外姓的蔣百里赴日本留學，這便是後來民國時期著名的軍事教育家。 可以想像這些侄兒輩尚且優秀如此，更何況林孝恂自己骨肉，他更是如何精心培養了。
杭州陸官巷林宅，帶著溫厚的江南底蘊。白牆黛瓦下，似乎都泛起陣陣墨香；老舊的木樓上，有翩翩少年的讀書聲朗朗。開明的林孝恂，無疑期望他長子林長民成為時代優秀人物，何況林長民天資聰慧，也值得父親才他給予的厚望。這個幼年經舊官府庭訓的少爺，正是光緒廿三年的秀才。