作者 | CDA數據分析師
俗話說，巧婦難為無米之炊。不管你廚藝有多好，如果沒有食材，也做不出香甜可口的飯菜來，所以想要做出飯菜來，首先要做的就是要買米買菜。而數據分析就好比是做飯，首先也應該是準備食材，也就是獲取數據源。
一、導入外部數據
導入數據主要用到的是Pandas里的read_x()方法，x表示待導入文件的格式。
1、導入.xlsx文件
在Excel中導入.xlsx格式的文件時很簡單的，雙擊打開就可以了。在Python中導入.xlsx文件的是read_excel()這種方法。
（1）基本導入
在導入文件的時候首先要指定文件的路徑，也就是這個文件在電腦中的哪個文件夾下存放著。
電腦中的文件路徑默認是使用\的，這個時候需要在路徑前面加一個r（轉義符）避免路徑裡面的\被轉義。也可以不加轉義符r，但是需要把路徑裡面所有的\轉換成/，這個規則在導入其他格式文件的時候也是一樣的，我們一般會選擇在路徑前面加轉義符r。
（2）指定導入哪個Sheet
.xlsx格式的文件可以有很多個Sheet，你可以通過設定sheet_name參數來指定要導入哪個Sheet的文件。
除了可以指定具體Sheet的名字，還可以傳入Sheet的順序，從0開始計數。
如果不指定sheet_name參數的時候，那麼默認導入的都是第一個sheet的文件。
（3）指定行索引
將本地文件導入DataFrame的時候，行索引使用的是從0 開始的默認索引，可以通過設置index_col參數來設置。
index_col表示用.xlsx文件中的第幾列做行索引，從0 開始計數。
（4）指定列索引
將本地文件導入DataFrame的時候，默認使用的是源數據表的第一行作為列索引，也可以通過設置header參數來設置列索引。header參數值默認為0，即用第一行作為列索引；也可以是其他行，只需要傳入具體的那一行即可；也可以使用默認從0開始的數作為列索引。
（5）指定導入列
有的時候本地文件的列數太多，而我們又不需要那麼多列的時候，我們就可以通過設定usecols參數來指定要導入的列。
可以給usecols 參數具體的某個值，表示要導入第幾列，同樣是從0開始計數，也可以以列表的形式傳入多個值，表示要傳入哪些列。
2、導入.csv文件
在Excel中導入.csv格式的文件和打開.xlsx格式的問價是一樣的，雙擊即可。而在Python中導入.csv問價用的方法是read_csv()。
（1）直接導入
只需要指明文件路徑即可。
（2）指明分隔符號
在Excel和DataFrame中的數據都是很規整的排列的，這都是工具在後台根據某條規則進行切分的。read_csv()默認文件中的數據都是以逗號分開的，但是有的文件不是用逗號分開的，這個時候就需要人為指定分隔符號，否則就會報錯。
新建一個以空格作為分隔符號的文件，如下圖所示：
如果用默認的逗號作為分隔符號，看看導入的數是什麼樣的。
我們看到所有的數據還是一個整體，並沒有被分開，把分隔符號換成空格以後再看看效果：
使用正確的分隔符號以後，數據被規整的分好了。常見的分隔符號除了逗號、空格，還有制表符（\t）。
（3）指明讀取行數
假設現在有一個幾百兆的文件，你想了解一下這個文件里有哪些數據，那麼這個時候你就沒必要把全部數據都導入，你只要看到前面幾行即可，因此只要設置nrows參數即可。
（4）指定編碼格式
Python用得比較多的兩種編碼格式是UTF-8和gbk，默認編碼格式是UTF-8。我們要根據導入文件本身的編碼格式進行設置，通過設置參數encoding來設置導入的編碼格式。有的時候兩個文件看起來一樣，它們的文件名一樣，格式一樣，但是如果它們的編碼格式不一樣，也是不一樣的文件，比如當你把一個Excel文件另存為時會出現兩個選項，雖然都是.csv文件，但是這兩種格式代表兩種不同的文件，如下圖所示:
如果CSV UTF-8（逗號分隔）（*.csv）格式的文件，那麼導入的時候就需要加encoding參數。
你也可以不加encoding參數，因為Python默認的編碼格式就是UTF-8。
如果CSV（逗號分隔）（*.csv）格式的文件，那麼在導入的時候就需要把編碼格式更改為gbk，如果使用UTF-8就會報錯。
（5）engine指定
當文件路徑或者文件名中包含中文時，如果還用上面的導入方式就會報錯。
這個時候我們就可以通過設置engine參數來消除這個錯誤。這個錯誤產生的原因是當調用read_csv()方法時，默認使用C語言作為解析語言，我們只需要把默認值C更改為Python就可以了，如果文件格式是CSV UTF-8（逗號分隔）（*.csv），那麼編碼格式也需要跟著變為utf-8-sig，如果文件格式是CSV（逗號分隔）（*.csv）格式，對應的編碼格式則為gbk。
（6）其他
.csv文件也涉及行、列索引設置及指定導入某列或者某幾行，設定方法與導入.xlsx文件一致。
3、導入.txt文件
（1）Excel實現
在Excel中導入.txt文件時，我們需要通過依次單擊菜單欄中的數據>獲取外部數據>自文本，然後選擇要導入的.txt文件所在的路徑，如下圖所示：
選完路徑以後會出現如下圖所示的介面，預覽文件就是我們要導入的文件，確認無誤後按下一步按鈕即可。
因為我們舉例.txt 文件用空格分開的，所以在分隔符號項勾選空格複選框，如果待導入的.txt 文件是用其他分隔符號分隔的，那麼選擇對應的分隔符號，然後直接按完成按鈕即可，如下圖所示：
（2）Python實現
在Python中導入.txt文件用的方法是read_table()是將利用分隔符號分開的文件導入DataFrame的通用函數。它不僅可以導入.txt文件，還可以導入.csv文件。
從上面的代碼可以看出，函數在導入.csv文件時，與read_csv()函數不同的是，即使是逗號分隔開的問價也是需要用sep指明分隔符號的，而不是像read_csv()函數那樣，如果文件是逗號分隔的，則可以不用寫。
read_table()函數其他參數的用法與read_csv()函數的基本一致。
4、導入sql文件
（1）Excel實現
Excel可以直接連接資料庫，通過依次單擊菜單欄中的數據>自其他來源導入sql文件。如果你的資料庫是SQL Server，那麼直接選擇來自SQL Server即可；如果是MySQL資料庫，那麼你需要選擇來自數據連接嚮導，然後通過建立數據嚮導來與MySQL連接，如下圖所示：
（2）Python實現
Python導入SQL文件主要分為兩步，第一步將Python與資料庫進行連接，第二步是利用Python執行SQL查詢語句。
將python與資料庫連接時利用的是python模塊，這個模塊Anaconda沒有，需要我們手動安裝的，打開Anaconda Promt，然後輸入pip install pymysql進行安裝即可，安裝完成以後直接用import導入就可以使用了，具體連接方法如下：
連接好資料庫以後，我們就可以執行SQL查詢語句了，利用的是read_sql()方法。
除了sql和con這兩個關鍵參數，read_table()函數也有用來設置行索引的參數index_col，設置列索引的columns，實例如下：
二、新建數據
這裡的新建數據主要指新建DataFrame數據，我們在之前談到過，利用pd.Dataframe()方法進行新建。
三、熟悉數據
當我們有了數據源以後，先別急著分析，應該先熟悉數據，只有對數據充分熟悉了，才能更好的進行分析。
1、利用head預覽前幾行
當數據表中包含數據行數過多時，而我們又想看一下每一列數據都是什麼樣的數據時，就可以只把數據表中前幾行數據顯示出來進行查看。
（1）Excel實現
Excel其實沒有嚴格意義的顯示前幾行，當你打開一個數據表時，所有的數據就全部都展示出來了，如果數據的行數過多，則可以通過滾動條來控制。
（2）Python實現
在Python中，當一個文件導入後，可以用head()方法來控制要顯示哪些行。只需要在head後面的括號中輸入要展示的行數即可，默認展示前5行。
2、利用shape獲取數據表的大小
熟悉數據的第一點就是先看一下數據表的大小，即數據表有多少行、多少列。
（1）Excel實現
在Excel中查看數據表有多少行，一般都是選中某一列，右下角就會出現該表的行數，如下圖所示：
在Excel中選中某一行，右下角就會出現該表的列數，如下圖所示：
（2）Python實現
在Python中獲取數據表的行、列數利用的是shape方法。
Shape方法會以元組的形式返回行、列數，上面代碼中的（4,4）表示df表有4行4列數據。這裡需要注意的是，Python中利用shape方法獲取行數和列數時不會把行索引和列索引計算在內，而Excel中是把行索引和列索引計算在內的。
3、利用info獲取數據類型
熟悉數據的第二點就是看一下數據類型，不同的數據類型的分析思路是不一樣的，比如數值類型的數據可以求均值，但是字符串類型的數據就沒法求均值了。
（1）Excel實現
在Excel中若想看某一列數據具體是什麼類型的，只要把這一列選中，然後再菜單欄中的數字那一欄就可以看到這一列的數據類型。
年齡為數值類型，如下圖所示：
性別為文本類型，如下圖所示：
（2）Python實現
在Python中我們可以利用info（）方法查看數據表中的數據類型，而且不需要一列一列查看，在調用info（）方法以後就會輸出整個表中所有列的數據類型。
通過info（）方法可以看出表df的行索引index是0到3，總共4columns，分別是編號、年齡、性別以及註冊時間，且4columns中只有年齡是int類型，其他columns都是object類型，共占用內存208bytes。
4、利用describe獲取數值分布情況
熟悉數據的第三點就是掌握數值的分布情況，即均值是多少，最值是多少，方差及分位數分別又是多少。
（1）Excel實現
在Excel中如果想看某列的數值分布情況，那麼手動選中這一列，在Excel的右下角就會顯示出這一列的平均值、計數及求和，且只顯示這三個指標，如下圖所示。
（2）Python實現
在Python中只需要利用describe（）方法就可以獲取所有數值類型欄位的分布值。
表df中只有年齡這一列是數值類型，所以調用describe（）方法時，只計算了年齡這一列的相關數值分布情況。我們可以新建一個含有多列數值類型欄位的DataFrame。
上面的表df中年齡、收入、家屬數都是數值類型，所以在調用describe（）方法的時候，會同時計算這三列的數值分布情況。