Các phương pháp thống kê mô tả cho dữ liệu chéo

Transcription

1 Các phương pháp thống kê mô tả cho dữ liệu chéo Hirschberg, Lu, and Lye (The Australian Economic Review, Vol. 38, No.3, 2005). Người dịch: Phùng Thanh Bình (8/9/2017) 1. Giới thiệu Phân tích kinh tế lượng thường cho ra các kết quả định lượng có tính chất chuyên ngành cao. Tuy nhiên, như câu thần chú cổ xưa (mantra) của dân lập trình vi tính cho rằng, GIGO rác vào thì rác ra (garbage in garbage out) áp dụng ở đây đối với bản chất của dữ liệu được sử dụng cho việc phân tích. Vì thế khảo sát dữ liệu được thực hiện trước khi phân tích bằng các mô hình định lượng trên máy tính là điều rất quan trọng. Hơn nữa, để diễn giải câu ngạn ngữ (adage), một biểu đồ đáng giá bằng cả ngàn con số ánh mắt con người có thể phân tích dữ liệu ở định dạng trực quan (visual format) tốt hơn so với chăm chú nhìn vào các bảng số liệu. Để phục vụ cả hai mục đích này, điều quan trọng là chúng ta phải hiểu các phương pháp đồ thị có thể được sử dụng như thế nào để giúp ta kiểm tra và xem xét dữ liệu một cách cẩn thận trước khi thực hiện phân tích kinh tế lượng. Các máy vẽ dùng bút bằng điện toán (computer-driven pen plotters) là một trong số những bộ đệm lệnh ngoại vi ra (output peripheral) đầu tiên được gắn kết phía sau các máy tính trong kỷ nguyên của hệ thống máy tính lớn (mainframe systems). Trước khi có các máy vi tính, phần lớn việc trình bày bằng đồ thị của dữ liệu được thao tác bằng tay. Ngày nay, sự sẵn có phổ biến của các màn hình đồ họa, các máy in la-de và các phần mềm như MS Excel đã làm cho việc tạo ra các trình chiếu dạng đồ thị của dữ liệu được thực hiện một cách tự động. Mục 1

2 đích của bài báo này là xem xét loại biểu đồ nào nên được sử dụng cho mục đích gì và làm rõ một số phần mềm phổ biến nhất có thể tạo ra các hình ảnh dạng đồ thị như thế nào để bổ trợ việc giải thích các phân tích thống kê. Để giải thích tại sao việc khảo sát dữ liệu là rất quan trọng chúng tôi đưa ra hai ví dụ đơn giản khi ta muốn chạy một mô hình hồi quy. Thứ nhất, hãy xem xét các kết quả hồi quy được trình bày trong Bảng 1. Dựa vào các giá trị trong bảng này, thì có vẽ đó là một mô hình rất tốt với giá trị thống kê t của biến giải thích có ý nghĩa cao và một giá trị R 2 cao chỉ ra rằng mô hình này đã giải thích phần lớn biến thiên trong y. Tuy nhiên, trong Hình 1 thì biểu đồ phân tán (scatter plot) của dữ liệu cho thấy dữ liệu rõ ràng rơi vào hai phân nhóm khác nhau, tức là nó mang diện mạo tựa một biểu đồ tạ đôi (dumbbell plot) như ở Hình 2. Lưu ý là nếu dữ liệu trong mỗi phân nhóm phù hợp cho các mô hình riêng lẻ, thì các giá trị R 2 thu được từ các hồi quy riêng lẻ là gần bằng 0. 2

3 Các kết quả hồi quy cho ví dụ thứ hai được trình bày trong Bảng 2. Các kết quả này có vẻ cho ta thấy rằng không tồn tại mối quan hệ có ý nghĩa thống kê giữa y và x và mô hình hồi quy có giá trị R 2 rất thấp. Với các kết quả như thế này thì đó thường là trường hợp mà người ta sẽ giả sử rằng biến này không có mối quan hệ gì với biến kia. 3

4 Tuy nhiên, một đồ thì phân tán của x và y trong Hình 3 lại cho thấy có một mối quan hệ rất rõ ràng giữa chúng. Để ước lượng các hệ số của mối quan hệ này có lẽ đòi hỏi một mô hình phi tuyến (non-linearity). Nhiều tác giả phát hiện các ví dụ tương tự như hai ví dụ vừa được trình bày ở đây. Hai ví dụ đáng để đề cập đến là của Anscombe (1973) và Leamer (1994). Trong nghiên cứu của Anscombe (1973) có bốn bộ dữ liệu, mỗi bộ gồm 11 điểm dữ liệu của y và x được đem ra xem xét. Đối với mỗi trong bốn bộ dữ liệu thì các kết quả giống nhau từ hồi quy OLS, bao gồm các hệ số ước lượng và các giá trị R 2 thu được. Tuy nhiên, khi dữ liệu được vẽ cho mỗi trong bốn bộ dữ liệu, thì những khác biệt giữa các bộ dữ liệu như các giá trị bất thường (outliers) và các mối quan hệ phi tuyến có thể được tìm thấy. Leamer (1994, p. xiii) trình bày một ví dụ trong đó một hàm tiêu dùng (consumption function) được ước lượng bằng cách sử dụng dữ liệu giả định về chi tiêu và thu nhập. Các kết quả hồi quy OLS trông rất tốt với một giá trị R 2 cao và một hệ số ước lượng có dấu đúng với kỳ vọng. Tuy nhiên, biểu đồ phân tán của dữ liệu cho thấy dữ liệu đánh vần từng chữ một H E L P. [Người dịch: Xem spell out trong yeuanhvan.com, American Idioms, Bài 12]. 4

5 Xem xét kỹ lưỡng dữ liệu trước khi chạy hồi quy được khuyến khích mạnh mẽ trong nhiều giáo trình kinh tế lượng. Ví dụ, xem Kennedy (2003, p. 480), Koop (2000, pp ), Pindyck và Rubinfeld (1998, p. 45), Greene (2003, pp ), và Griffiths, Carter Hill và Judge (1993, p. 22). Tuy nhiên, trong nhiều trường hợp việc thảo luận chỉ giới hạn ở biểu đồ tần suất và biểu đồ phân tán. Mục tiêu của bài báo này là cung cấp một hướng dẫn chi tiết cho sinh viên về các phương pháp hữu ích để tóm tắt và khảo sát dữ liệu chéo ở dạng dữ liệu thô (raw data) trước khi cố gắng áp dụng các kỹ thuật kinh tế lượng phức tạp. Để minh họa các kỹ thuật đã được trình bày, chúng tôi sử dụng dữ liệu chi tiết của hệ thống các siêu thị Dominick s Finer Foods. Một dự án nghiên cứu tại đại học Chicago đã làm sẵn bộ dữ liệu chi tiết cho hệ thống siêu thị Dominick đặt tại thủ phủ Chicago. Chúng tôi sử dụng dữ liệu này để tạo ra doanh số trung bình hàng ngày theo gian hàng [Người dịch: Từ department ở bài này nghĩa là các gian hàng chuyên bán các mặt hàng khác nhau như rau quả, thực phẩm, chăm sóc sức khỏe, vân vân] cho tất cả 84 cửa hàng, vì thế thì bộ dữ liệu tương đối đầy đủ - ít nhất được thu thập trong ba năm đối với mỗi cửa hàng. Ngoài dữ liệu về doanh số của mỗi cửa hàng, bộ dữ liệu cũng bao gồm các thông tin khác 5

6 được thu thập từ tổng điều tra của Mỹ về dân số trong khu vực lân cận của mỗi cửa hàng và các thông tin marketing liên quan đến bản chất của người tiêu dùng tại mỗi cửa hàng. Nhiều phương pháp đơn biến khác nhau được dùng để phân tích các chuỗi riêng lẻ được thảo luận trước [Người dịch: Nhóm tác giả sử dụng series có vẻ không thích hợp vì chủ đề bài viết là dữ liệu chéo; mà series thường dùng để ám chỉ dữ liệu chuỗi thời gian. Cho nên tôi xin phép dịch từ series thành biến, chứ không phải là chuỗi ]. Trong mục 2, chúng tôi định nghĩa một số thống kê mô tả dùng để tóm tắt bằng các đại lượng số về các tính chất của một biến. Ở mục 3, chúng tôi giải thích các cách trình bày biểu đồ về bản chất phân phối của một biến có thể được tạo ra như thế nào. Biểu đồ đầu tiên trong số các biểu đồ phân phối là biểu đồ hộp (box plot). Đây là một tóm tắt rất hữu ích dạng đồ thị về hình dáng chung của phân phối dữ liệu. Phương pháp tiếp theo là biểu đồ tần suất sẽ cung cấp chi tiết hơn. Ở đây chúng tôi giới thiệu phương pháp mà qua đó chúng ta có thể so sánh phân phối của một biến với phân phối chuẩn bằng cách sử dụng biểu đồ phủ ngoài (overplay). Tiếp theo biểu đồ tần suất chúng tôi giới thiệu biểu đồ ước lượng mật độ lỗi (kernel density estimate) [Người dịch: Từ đây về sau tôi gọi chung là ước lượng mật độ kernel ] hoặc biểu đồ tần suất được làm trơn (smoothed histogram). Loại biểu đồ này cung cấp ước lượng chính xác hơn về phân phối của một biến liên tục. Ước lượng hàm mật độ cho một biến ngẫu nhiên liên tục thường là chưa đủ. Bởi vì phân phối chuẩn có vai trò như một mô hình mà nhiều kiểm định thống kê phải dựa vào nó, cho nên việc xác định phân phối của một biến như thế nào so với một phân phối đã biết, chẳng hạn như phân phối chuẩn, là điều có ý nghĩa quan trọng. Biểu đồ Q-Q và biểu đồ P-P cung cấp các phương tiện để so sánh phân phối của các biến đang được quan tâm với một phân phối chuẩn, đồng 6

7 thời cũng nhận dạng ra các quan sát không thích hợp và các kỹ thuật này được trình bày ở mục 4. Mục 5 và 6 thảo luận các kỹ thuật vẽ biểu đồ trong phân tích dữ liệu đa biến (multivariate analysis). Mối quan hệ giữa hai biến được tập trung ở mục 5 và việc sử dụng hệ số tương quan và biểu đồ phân tán sẽ được xem xét. Trong khi hệ số tương quan chỉ cho biết có tồn tại hay không một quan hệ tuyến tính, thì biểu đồ phân tán có thể làm rõ hơn liệu có tồn tại hay không mối quan hệ phi tuyến giữa các biến và các quan sát bất thường. Mục 6 thảo luận hai kỹ thuật vẽ biểu đồ mà có thể được sử dụng để xem xét một nhóm các biến một cách đồng thời. Biểu đồ hộp cạnh-kề-cạnh (side by side box plot) trình bày phân phối của một nhóm các biến sao cho các phân phối và các tính chất của chúng có thể được so sánh với nhau giữa các biến. Biểu đồ phân tán kiểu ma trận (matrix scatter plot) là một cách thể hiện tương tự như ma trân hệ số tương quan (correlation coefficient matrix) dùng cho việc trình bày bằng đồ thị và đó là một phương pháp hữu ích để lần tìm các quan sát đặc biệt qua một nhóm các biến. Một mục đích sử dụng quan trọng các biểu đồ là để tìm ra các dạng mô hình (patterns) thích hợp với dữ liệu. Vì thế các biểu đồ cần phải rõ ràng và được trình bày hợp lý và điều này thường yêu cầu ta phải thay đổi các lựa chọn mặc định có sẵn trong các chương trình đồ họa của máy tính. Trong mục 7, chúng tôi minh họa các bước liên quan đến việc thay đổi tác động trực quan của một biểu đồ bằng cách sử dụng các lựa chọn mặc định trong Excel. Mục 8 thảo luận các phần mềm thống kê với trọng tâm là Eviews và SPSS dùng để vẽ biểu đồ trong kinh tế lượng. Mục 9 là phần kết luận của bài báo. 2. Thống kê mô tả Một số thống kê mô tả (descriptive statistics) được sử dụng để tóm tắt các tính chất của một biến x với n quan sát trên ba phương diện: vị trí (location), độ phân tán (dispersion), và hình dáng của phân phối xác suất (shape). Tính chất phổ 7

8 biến nhất là trung bình (mean). Mean là một thuật ngữ thống kê về giá trị trung bình của một biến và được định nghĩa như sau: x = 1 n n i=1 x i (1) Trong đó, xi là các quan sát và n là số quan sát trong mẫu. Một đại lượng khác của các thước đo định tâm (central tendency) là trung vị (median). Khi số quan sát n là số chẵn thì trung vị được định nghĩa như sau: median = x [(n/2) 1)] + x [(n/2)+1] 2 (2) và nếu số quan n là số lẻ thì trung vị được định nghĩa như sau: median = x[(n + 1)/2] (3) Đối các phân phối đối xứng, thì giá trị của mean và median bằng nhau. Độ phân tán thường được đo bằng độ lệch chuẩn s (standard deviation) hoặc phương sai s 2 (variance). Độ lệch chuẩn được định nghĩa như sau: s = n i=1 (x i x ) 2 (n 1) (4) Hình dáng về phân phối của các quan sát cũng thường được quan tâm. Các đại lượng đo lường thường được báo cáo là độ nghiêng (skewness) [Người dịch: Còn được gọi là thước đo đối xứng]: skewness = n i=1 (x i x ) 3 s 3 (n 1) (5) Và độ nhọn (kurtosis): kurtosis = n i=1 (x i x ) 4 s 4 (n 1) (6) Đối với một phân phối đối xứng, thì giá trị chuẩn (benchmark) cho skewness là 0 và đối với một biến ngẫu nhiên theo phân phối chuẩn thì giá trị chuẩn cho kurtosis là 3. Nếu kurtosis lớn hơn 3, thì phân phối sẽ nhọn hơn (peaked) so với 8

9 phân phối chuẩn; và nếu kurtosis nhỏ hơn 3, thì phân phối sẽ phẳng hơn (flat) so với phân phối chuẩn. Kiểm định Jarque-Bera là một thống kê được sử dụng phổ biến để kiểm định xem một biến có theo phân phối chuẩn hay không. Thống kê kiểm định này là một thước đo kết hợp (combination) của skewness và kurtosis của một biến với các giá trị được hàm ý rằng dữ liệu được tạo ra từ một phân phối chuẩn và được tính như sau: JB = n [ skewness2 6 + (kurtosis 3)2 ] (7) 24 Dưới giả thuyết không (null hypothesis) của một phân phối chuẩn thì thống kê Jarque Bera đối với các mẫu lớn được cho là sẽ theo phân phối 2 với 2 bậc tự do. [Người dịch: Khi đọc bạn hãy tự hỏi tại sao là phân phối 2 và tại sao bậc tự do là 2; nếu chưa biết thì hãy tìm đọc chứ đừng để kiến thức hờ hửng lướt qua cuộc đời mình]. Một số các thống kê kê khác cũng có thể được tính đến, chẳng hạn như giá trị nhỏ nhất (minimum), giá trị lớn nhất (maximum), các phân vị (quartiles), và khoảng (range) của dữ liệu. [Người dịch: Hãy xem Chương 3, giáo trình Thống kê trong kinh tế và kinh doanh của UEH nếu bạn muốn tìm hiểu thêm về các đại lượng này]. Bảng 3 liệt kê một số thống kê mô tả về doanh số trung bình hàng ngày của các siêu thị từ bộ dữ liệu của hệ thống siêu thị Dominick [Người dịch: Biến Produce Sales gồm doanh số từ trái cây và rau quả, đây chỉ là một doanh số thành phần trong tổng doanh số hàng ngày của mỗi cửa hàng trong hệ thống siêu thị Dominick; xem Bảng 4 để biết thêm các thành phần khác trong tổng doanh số]. 9

10 Từ Bảng 3, các giá trị mean và median là rất giống nhau. Giá trị tính toán của kiểm định Jarque Bera là Giá trị của 2 với 2 bậc tự do tại mức ý nghĩa 1% là 9.21; điều này chỉ ra rằng ta có thể bác bỏ giả thuyết không cho rằng doanh số trung bình hàng ngày có phân phối chuẩn. Tuy nhiên, thống kê này không cung cấp nhiều thông tin, và chúng ta cần phải tạo ra các biểu đồ để xem xét các hàm ý của điểm định này một cách sâu sắc hơn. 3. Các phân phối Có một số các phương pháp hữu ích để mô tả các phân phối (distributions) của một biến. Trong phần này, chúng tôi tóm tắt cách sử dụng biểu đồ hộp trình bày dạng đồ thị các phân vị của dữ liệu; biểu đồ tần suất cung cấp hình dáng gần đúng của hàm mật độ; và biểu đồ mật độ (density plot), được xem như một phiên bản được làm trơn của biểu đồ tần suất. 3.1 Biểu đồ hộp Biểu đồ hộp cung cấp một dạng trình bày tóm tắt về phân phối của dữ liệu (Chambers et al. 1983) bằng cách cho ta thấy trên đồ thị các phân vị của dữ liệu. Biểu đồ hộp cho biết trung tâm của phân phối (tức median hoặc phân vị thứ 50, Q0.50), độ phân tán (spread) của toàn bộ dữ liệu (tức độ dài của hộp, là 10

11 khoảng cách từ phân vị thứ 25 (Q0.25) đến phân vị thứ 75 (Q0.75)), và các đuôi (tails) của phân phối được trải ra như thế nào (tức độ dài của các râu so với hai đáy của chiếc hộp hình chữ nhật). Các giá trị lớn hơn các giới hạn [Người dịch: Chắc hàm ý giới hạn trên, upper limit, nghĩa là các giá trị bất thường] cũng được biểu diễn trong biểu đồ này. Ngoài ra, một số chương trình vẽ biểu đồ hộp cũng đưa thêm các lựa chọn cho phép ta xác định vị trí trung bình của dữ liệu và khoảng tin cậy 95% bao quanh giá trị trung bình. Trong Hình 4, một biểu đồ hộp minh họa cho biến doanh số Produce Sales. Đỉnh và đáy của hình chữ nhật thể hiện các phân vị trên (Q0.75) và dưới (Q0.25) của dữ liệu và đường trung tâm bên trong hình chữ nhật là trung vị có giá trị là $5576. Các phân vị trên và dưới được tìm bằng cách sắp xếp dữ liệu [Người dịch: Sắp xếp dữ liệu theo thứ tự từ thấp đến cao] và tìm các giá trị giới hạn 25% phía trên và 25% thấp nhất [Người dịch: Ý nói Q0.75 và Q0.25]. Vì thế, độ trải giữa (IQR interquartile range) là khoảng giữa các phân vị trên và dưới: IQR = Q0.75 Q0.25; đối với biến doanh số Produce Sales, thì IQR = $

12 Các đường mở rộng từ hai phía đáy của hộp (đôi khi gọi là hai râu) đến chổ được gọi là giá trị liền kề trên (upper adjacent value) và giá trị liền kề dưới (lower adjacent value). Giá trị liền kề trên (xua) được định nghĩa hoặc là quan sát có giá trị lớn nhất [max(x)] nếu quan sát này nhỏ hơn hoặc bằng phân vị trên (upper quartile) cộng 1.5 lần khoảng trải giữa hoặc xua = min[q IQR, max(x)]. Đối với biến doanh số Produce Sales, thì xua = $8359. Giá trị liền kề dưới (xla) được định nghĩa hoặc là quan sát có giá trị nhỏ nhất [min(x)] nếu quan sát này lớn hơn hoặc bằng phân vị dưới (lower quartile) trừ 1.5 lần khoảng trải giữa hoặc xla = max[q iqr, min(x)]. Vì thế, đối với biến doanh số Produce Sales, nó chính là giá trị nhỏ nhất, $2084. Bất cứ các điểm dữ liệu nào nằm ngoài khoảng của hai giá trị liền kề được gọi là các giá trị ngoại lai (outside values) hoặc cá biết, bất thường (outliers), và được vẽ như là một điểm riêng lẻ. Trong trường hợp biến doanh số Produce Sales, có hai giá trị ngoại lai, các quan sát thứ 62 và 84, chúng lần lượt là giá trị doanh số của cửa hàng 109 ($11.895), và giá trị doanh số của cửa hàng 137 ($12.661). Nếu có các giá trị ngoại lai, thì có lẽ cần phải quay lại nguồn dữ liệu để xác minh rằng những giá trị này là hợp lý hay không. Trong ví dụ của ta, hai giá trị cực lớn này là của hai cửa hàng lớn, cả hai có hơn $ trong tổng doanh số trung bình hàng ngày (Total Average Daily Sales) trong khi giá trị trung bình của tổng doanh số trung bình hàng ngày trong mẫu chỉ là $ Chiều rộng của biểu đồ hộp là tùy ý (arbitrary) có nghĩa là nhiều biểu đồ hộp có thể được đặt cạnh nhau để cho phép chúng ta so sánh giữa các nhóm dữ liệu. Chúng ta sẽ xem xét việc sử dụng biểu đồ hộp kỹ hơn ở mục 6.1 khi bàn về các kỹ thuật vẽ biểu đồ đa biến (multivariate plotting techniques). 3.2 Biểu đồ tần suất Một cách khác để tóm tắt một phân phối dữ liệu là biểu đồ tần suất hoặc biểu đồ mật độ cho loại dữ liệu có các giá trị rời rạc (discrete values). Dữ liệu được 12

13 chia thành nhiều khoảng có cùng độ dài, số điểm được tính trong mỗi khoảng và được vẽ như các thanh trong một biểu đồ tần suất (Chambers et al. 1983). Trục tung (vertical axis) cho biết tỷ lệ của các quan sát trong mỗi thanh và chiều cao tương đối của các thanh thể hiện mật độ tương đối của số trường hợp (cases) trong các khoảng. Đối với biến doanh số Produce Sales, ta nhận thấy không có cửa hàng nào có doanh số trung bình trong khoảng $2000 và có hai cửa hàng có doanh số lớn hơn $9000, như được trình bày ở Hình 5. Doanh số của hầu hết các cửa hàng là giữa $3000 đến $

14 Biểu đồ tần suất được sử dụng phổ biến bởi vì sự đơn giản của nó. Tuy nhiên, các biểu đồ tần suất có thể đưa ra nhiều ấn tưởng trực quan rất khác nhau vì sự lựa chọn mang tính tùy ý (arbitrary choice) về số lượng và vị trí của các khoảng. Đối với cùng một dữ liệu, biểu đồ tần suất ở Hình 5 có 22 khoảng và biểu đồ tần suất ở Hình 6 có sáu khoảng. Càng có nhiều khoảng, thì biểu đồ tần suất càng cho thấy chi tiết hơn. Tuy nhiên, bạn phải luôn luôn để ý rằng các chi tiết này có thể không phải là tính chất của dữ liệu mà chỉ là các đồ tạo tác (artefacts) được tạo ra bởi vị trí của các khoảng. Điều này nên được đưa vào xem xét khi chọn số lượng các khoảng. Biều đồ tần suất được đặt chồng lên với một đường cong chuẩn (normal curve) có thể giúp phát hiện ra các giá trị bất thường (Henry 1995). Đường cong chuẩn là mật độ của một biến ngẫu nhiên có phân phối chuẩn với cùng giá trị trung bình và độ lệch chuẩn được ước lượng từ mẫu dữ liệu [Trong ví dụ của ta, thì mean = 5574 và standard deviation = ]. Đường cong chuẩn này được định nghĩa theo công thức ước lượng mật độ chuẩn (estimated normal density) như dưới đây: f N(z) = 1 2πσ 2 exp [ (z x )2 2s 2 ] (8) ở đây x = 5574, s 2 = ( ) 2, z là giá trị tại đó hàm mật độ được đánh giá và x là dữ liệu trong mẫu. Ở mục 4, chúng ta sẽ thảo luận các phương pháp chính thức hơn để thực hiện sự so sánh này với các ước lượng mật độ khác. Các mẫu dữ liệu thực có một tỷ lệ nhỏ các quan sát nằm ngoài khoảng điển hình của dữ liệu (typical range of data) là điều bình thường. Biểu đồ tần suất được minh họa ở Hình 5 cho thấy hai giá trị ngoại lai từ cửa hàng 109 và 137 như đã được nhận diện ở biểu đồ hộp trong Hình 4. Điều này cho thấy rằng biểu đồ hôp có lẽ hữu ích hơn biểu đồ tần suất trong việc nhận dạng vị trí của các giá trị bất thường. 14

15 3.3 Ước lượng mật độ kernel Để ước lượng một mật độ cần phải xây dựng một mô hình xác suất của quy trình ngẫu nhiên tạo ra các quan sát từ một mẫu dữ liệu liên tục. Một phương pháp đã được đề cập ở trên liên quan đến giả định rằng dữ liệu được phân phối theo một hàm mật độ đã được xác định rõ (well-defined density function), chẳng hạn như hàm phân phối chuẩn, và các tham số (parameters) của hàm mật độ được ước lượng bằng các thống kê được tính toán từ dữ liệu [Người dịch: Xem công thức (8); các thống kê bao gồm trung bình mẫu, độ lệch chuẩn mẫu, và phương sai mẫu]. Bằng cách thế các giá trị thống kê này vào biểu thức (8) ta có một công thức chính xác về mật độ với giả định rằng dữ liệu thực sự được phân phối theo một phân phối cụ thể. Thật không may, như ta thấy ở Hình 5 và 6, biểu đồ tần suất của dữ liệu không cho thấy một phân phối như phân phối chuẩn là phù hợp. Trong mục 4, chúng ta thảo luận các phương pháp chính thức để so sánh phân phối của một mẫu với các phân phối được hàm ý theo nhiều phân phối được giả định khác nhau. Biểu đồ tần suất là một trong những phương pháp phổ biến nhất của ước lượng mật độ mà không dựa vào giả định về một hàm mật độ cụ thể nào. Đối với dữ liệu chỉ là một tập hợp xác định các giá trị rời rạc, thì biểu đồ tần suất là phương pháp chính (primary method). Tuy nhiên, như đã giới thiệu ở trên, khi áp dụng các biểu đồ tần suất cho dữ liệu liên tục, thì một số vấn đề có thể phát sinh. Thứ nhất, các biểu đồ tần suất, không giống quá trình tạo dữ liệu (datagenerating process), là không liên tục; chúng giả định rằng tất cả các giá trị trong một khoảng có cùng xác suất xảy ra. Thứ hai, để có các biểu đồ tần suất trông khá khác nhau cho cùng một dữ liệu chỉ đơn giản bằng việc thay đổi độ dài của khoảng và thay đổi các vị trí của chúng là điều rất khả dĩ. Một cách tiếp cận khác cũng được áp dụng phổ biến là sử dụng ước lượng mật độ kernel. Kernel là một hàm có trọng số (weighting function) được xác định cho 15

16 mỗi điểm tại đó mật độ được đánh giá. Hàm ước lượng mật độ kernel được định nghĩa như sau: f K(z) = 1 n nh i=1 K ( (z x i) ) (9) h Trong đó, x1,, xn là các quan sát trong mẫu, f K(z) là ký hiệu hàm mật độ ước lượng, z là giá trị tại đó mật độ được đánh giá, h là bề rộng (bandwidth) [cũng được gọi là tham số trơn (smoothing parameter) hoặc bề rộng cửa số (window width)] và K( ) là hàm kernel. z thường là một giá trị trong khoảng các giá trị của mẫu nhưng cũng có thể ngoài khoảng giá trị của mẫu; nhớ lại ở biểu thức (8) rằng chúng ta định nghĩa mật độ chuẩn được xác định cho tất cả các giá trị từ - đến +. Bandwidth h tương tự như bề rộng của các khoảng trong biểu đồ tần suất và dùng để xác định độ trơn của ước lượng mật độ. Hàm kernel là một hàm có trọng số và trọng số thường được chọn sao cho trọng số thấp hơn được gán cho các quan sát ở xa z so với các quan sát ở gần. Nghĩa là, khoảng cách từ z, được xác định cho một hàm kernel đối xứng là giá trị tuyệt đối của chênh lệch giữa z và xi, tức z - xi, có giá trị càng lớn khi xi càng gần z, và giá trị càng nhỏ khi khoảng cách chênh lệch càng xa. Khi ta sử dụng biểu thức (8), phân phối chuẩn, để tính xấp xỉ mật độ, chúng ta giảm trọng số (downweight) mật độ của các quan sát càng xa so với trung bình của mẫu. Chúng ta cũng chia khoảng cách từ trung bình theo phương sai làm cho mật độ ước lượng có hình dáng phẳng hơn giống như cách mà các giá trị bandwidth càng lớn thì hàm ý một ước lượng mật độ trơn hơn. Để thực hiện ước lượng kernel, một hệ số trơn h và hàm kernel K( ) phải được chọn. Thông thường thì việc chọn K( ) sẽ là một hàm xác định một hàm mật độ xác suất đơn đỉnh đối xứng (symmetric unimodal probability density function) và vì thế sẽ dẫn đến bản thân f K(z) cũng là một hàm mật độ xác suất và sẽ kế thừa tất cả các tính chất liên tục và có thể lấy đạo hàm của hàm kernel K( ). 16

17 Bạn có thể nghĩ biểu đồ tần suất như một dạng đặc biệt của ước lượng mật độ kernel khi mà mật độ chỉ được đánh giá tại những điểm giữa của các khoảng và bandwidth bằng một nữa số lượng khoảng (interval size). Ta định nghĩa kernel như K(ui) = h.i( ui 1), ở đây ui = (1/h)(xi z) và I( ) là một hàm chỉ báo (indicator function) có giá trị bằng 1 nếu phát biểu (argument) là đúng và bằng 0 nếu phát biểu là sai. Điều này có nghĩa là bất kỳ khi nào một quan sát thỏa mãn bất đẳng thức được xác định: xi z h thì nó được tính vào khoảng với điểm giữa tại z. [Người dịch: Đúng ra thì K(ui) = h.i( ui 1). Phải không?]. Mật độ ước lượng của biểu đồ tần suất được định nghĩa theo dạng ước lượng mật độ kernel như sau: f H(z) = 1 n nh = 1 n nh i=1 hi ( u i 1) i=1 I ( x i z h) (10) Một hàm kernel được áp dụng phổ biến là hàm Epanechnikov (Epanechnikov 1996) có dạng như sau: K(u i ) = 3 4 (1 u i 2 )I( u i 1) (11) 17

18 Ở đây, ta lại sử dụng ui = (1/h)(xi - z). Lưu ý rằng các quan sát này thỏa mãn tiêu chí rằng ui 1 được đưa vào trong tính toán ước lượng mật độ của z. Một đồ thị của hàm Epanechnikov được cho ở Hình 7. Trong hình này, khi z xi, thì ui 0 và K(ui) đạt giá trị lớn nhất. Có nhiều ước lượng kernel khác đã được đề xuất; ví dụ, biweight kernel: Và uniform kernel: K(u i ) = (1 u i 2 )I( u i 1) (12) K(u) = 1 2 I( u i 1) (13) Chúng ta cũng có thể đặt ước lượng mật độ kernel trên cơ sở dạng hàm mật độ chuẩn bằng cách sử dụng hàm kernel chuẩn như sau: K(u) = 1 2π exp[ 0.5u2 ] (14) Mặc dù mật độ chuẩn có một dạng được biết rõ, nhưng nó có một nhược điểm tiềm năng mà các quan sát bất thường trong mẫu có thể ảnh hưởng đến ước lượng mật độ cho một giá trị nhất định thậm chí khi chúng có khoảng cách rất xa. Nó cũng có tính chất rằng f K(z) 0, z R hoặc rằng mật độ được ước lượng không bao giờ bằng không mà không cần biết nó được đánh giá ở đâu trên đường thực. Chuyên khảo (monograph) của Silverman (1996) là một tài liệu tham khảo quan trọng cho việc thảo luận chi tiết hơn về các hàm này. Silverman bình luận rằng trên cơ sở các thước đo hiệu quả (efficiency measures), thì không có sự khác biệt nào giữa các kernel khác nhau và đặt sự lựa chọn kernel trên cơ sở dễ tính toán nhất là điều khá hợp lý. Sự lựa chọn bandwidth h mang tính quyết định trong ước lượng mật độ vì nó quy định độ trơn của ước lượng mật độ. Giá trị h càng lớn thì hàm f K(z) càng 18

19 trơn hơn. Có nhiều cách khác nhau để chọn h. Một khả năng là vẽ đồ thị một số giá trị của f K(z) theo các giá trị khác nhau của h và sau đó chọn ước lượng nào thỏa mãn kỳ vọng trước đây về mật độ. Như việc chọn số lượng các khoảng (interval size/number) trong biểu đồ tần suất, việc chọn bandwidth nên được thực hiện sao cho sự phức tạp của dữ liệu không bị che dấu bởi một giá trị h quá lớn, mà không làm cho các đồ tạo tác trong một mẫu cụ thể thay đổi các tính chất nổi bật. Silverman (1996) cung cấp một công thức chung mà ông cho rằng sẽ phù hợp với nhiều trường hợp dựa trên khoảng trải giữa (IQR), độ lệch chuẩn ước lượng (s), và cỡ mẫu (n): h = 0.9n -1/5 min(s, IQR/1.34) (15) Hình 8 trình bày một biểu đồ tần suất của biến Produce Sales. Độ rộng của các khoảng được cho là Với vị trí và quy mô của các khoảng cho trước này, chúng ta có một dấu hiệu về hàm xác suất có hai đỉnh và một xác suất nhỏ của các giá trị rất lớn. Ở Hình 9, ước lượng mật độ kernel được vẽ bằng phần mềm Eviews sử dụng hàm Epanechnikov kernel và một bandwidth (h) là So sánh hai biểu đồ cho thấy rằng ước lượng mật độ kernel trơn hơn nhiều so với biểu đồ tần suất mặc dù cả hai đều cho thấy các đặc điểm tương tự. Tuy nhiên, xác suất tạo ra 19

20 một giá trị trong khoảng kết hợp (intermodal range) dường như lớn hơn từ ước lượng mật độ kernel so với biểu đồ tần suất. Khi làm việc với các hàm ước lượng mật độ bạn phải nhớ rằng trục tung, không giống như biểu đồ tần suất, không đo lường xác suất. Bởi vì đây là những hàm mật độ cho dữ liệu liên tục, nên xác suất của các giá trị chỉ có thể được xác định bằng diện tích dưới các hàm này cho một khoảng giá trị cụ thể. Vì thế, các đơn vị đo lường của một biến đang quan tâm sẽ ảnh hưởng các giá trị trên trục tung. Hình 10 vẽ một số ước lượng mật độ kernel cho biến Produce Sales sử dụng các bandwidth khác nhau kể cả h = là một giá trị tự động được tạo ra bằng cách sử dụng công thức (15). Lưu ý rằng, khi bandwidth càng lớn thì ước lượng mật độ càng trở nên trơn hơn và đặc biệt là hai đỉnh và điểm dốc gù (hump) ở phía đuôi biến mất. Vì thế, khi làm trơn thì điều cần thiết là hãy cẩn thận rằng thông tin quan trọng bị loại bỏ từ kết quả ước lượng mật độ. Một vấn đề khác trong ước lượng các mật độ là vị trí (các z) tại đó ước lượng mật độ được đánh giá. Thường thì các điểm được chọn để đánh giá là các giá trị có khoảng cách bằng nhau (evenly spaced values) trong mẫu. Lưu ý rằng, 20

21 nếu ta sử dụng một hàm kernel mà không bị giới hạn bằng không bởi hàm chỉ báo như trong trường hợp của phân phối chuẩn, thì có thể ước lượng mật độ kernel chỉ ra một xác suất để có các quan sát lớn hơn hoặc nhỏ hơn các giới hạn của mẫu. Điều này cũng có thể là trường hợp khi biến ngẫu nhiên có một giá trị giới hạn chỉ có thể là số dương. Nói chung, càng nhiều điểm mà tại đó ước lượng mật độ được đánh giá thì ước lượng càng trơn hơn. Trong Hình 11, đường có dấu chấm trình bày ước lượng mật độ kernel được xây dựng bằng cách đánh giá mật độ chỉ tại 10 điểm, trong khi đó đường liên tục trình bày ước lượng mật độ kernel khi mật độ được xây dựng sử dụng 100 điểm. Ước lượng các hàm mật độ cho dữ liệu liên tục đã trở nên dễ dàng hơn nhờ sự phát triển các chương trình điện toán chẳng hạn như phần mềm Eviews. Bên cạnh các sử dụng đồ thị của các ước lượng này, bạn cũng có thể sử dụng các chương trình để có được các giá trị của hàm mật độ f K(z) tại mỗi giá trị z. 21

22 4. Đánh giá các giả định của phân phối Như đã lưu ý ở trên, một cách khác cho phép dữ liệu của một mẫu bộc lộ mật độ của dữ liệu là phải giả định một phân phối đã được xác định rõ cho quá trình tạo số liệu. Như đã thấy ở biểu thức (8), trung bình và độ lệch chuẩn của mẫu có thể được sử dụng cùng với giả định hàm mật độ chuẩn để tạo ra một ước lượng mật độ cho một mẫu cụ thể. Trong phần này, chúng tôi thảo luận nhiều phương pháp đồ thị khác nhau để so sánh phân phối của một mẫu với các phân phối khác. Chúng có thể được sử dụng để so sánh phân phối của một mẫu cụ thể với một mẫu khác hoặc chúng có thể được sử dụng để so sánh phân phối của một mẫu với một phân phối cụ thể chẳng hạn như phân phối chuẩn. 4.1 Các biểu đồ Q-Q Các biểu đồ Q-Q thường được gọi các biểu đồ điểm phân vị - điểm phân vị lý thuyết (theoretical quantile quantile plots) hoặc các biểu đồ xác suất (Chambers et al. 1983). Một điểm phân vị cụ thể, ví dụ như điểm phân vị 0.85, của một tập hợp dữ liệu được định nghĩa là một con số trên phạm vị dữ liệu chia dữ liệu thành hai nhóm sao cho 85% ở dưới và 15% ở trên con số đó. Một phương pháp truyền thống để tìm ra các điểm phân vị hoặc phân phối tích lũy thực nghiệm là lấy một mẫu các quan sát x1, x2,., xn và sắp xếp dữ liệu từ thấp đến cao, thu được dữ liệu đẵ được sắp xếp x(1), x(2),., x(n). Các phân vị Q(pi) sau đó được định nghĩa là: p i = 1 (i 1 ) i = 1 đến n (16) n 2 Điều này có nghĩa rằng nếu một mẫu quy mô n thì giá trị npi của mẫu khi sắp xếp từ cao xuống thấp là Qpi của dữ liệu. Ví dụ, nếu n = 120, Q0.1 = x(12) (tức quan sát thứ 12), nếu n = 500, thì Q0.05 = x(25) và vân vân. Vì thế, các điểm phân vị có thể được xác định đơn giản bằng cách sắp xếp dữ liệu. 22

23 Biểu đồ Q-Q được xây dựng bằng cách vẽ các điểm phân vị của dữ liệu mẫu theo các điểm phân vị tương ứng của một phân phối khác đã được xác định bởi một phân phối cụ thể hoặc một tập dữ liệu khác. Biểu đồ này được sử dụng phổ biến để xác định xem phân phối của dữ liệu mẫu có khớp (match) với một phân phối cho trước hay không, phân phối này có thể là bất kỳ phân phối nào trong số các phân phối kiểm định (test distribution) [chẳng hạn như phân phối chuẩn, phân phối log chuẩn (lognormal), phân phố t, và phân phối đều]. Vì vậy, trên một trục của biểu đồ (trục hoành) là xác suất tích lũy thực nghiệm dựa trên dữ liệu được sắp xếp của mẫu và trên một trục khác (trục tung) là xác suất tích dũy dự đoán nếu như dữ liệu được tạo ra bởi một thống kê kiểm định dựa trên các tham số của phân phối như được ước lượng từ dữ liệu mẫu. Nếu dữ liệu được tạo ra bởi một phân phối kiểm định, thì các điểm được vẽ trên biểu đồ phải nằm dọc trên đường 45 độ từ gốc tọa độ. Các độ lệch so với đường 45 độ chỉ ra nơi mà phân phối thực nghiệp không khớp với phân phối kiểm định. Nếu các độ lệch ở trên đường 45 độ, thì phân phối thực nghiệm có một số lượng lớn tập trung ở đây hơn so với phân phối kiểm định dự đoán. Nếu các độ lệch nằm ở dưới đường 45 độ, thì phân phối kiểm định dự đoán rằng các giá trị này có một xác suất lớn hơn được quan sát. Từ Hình 12 bạn có thể thấy những quan sát lệch so với đường chéo trong biểu đồ Q-Q và nhận diện ra các trường hợp ở đó dữ liệu không phù hợp với phân phối kiểm định. Trong trường hợp này, ta vẽ một biểu đồ Q-Q của doanh số Produce Sales (tạo ra bằng phần mềm SPSS) so với phân phối kiểm định được xác định là phân phối chuẩn. Hai điểm được nhận diện ở Hình 4 được nhận diện ở đây rằng chúng không nhất quán với các giả định rằng mẫu được tạo ra bởi một phân phối chuẩn. Ngoài các quan sát này, phần còn lại của dữ liệu không có khác gì so với bạn kỳ vọng từ dữ liệu được phân phối chuẩn ngoại trừ tại đuôi trái của dữ liệu phân phối chuẩn có thể tạo ra nhiều dữ liệu hơn trong phần 23

24 thấp hơn của dữ liệu và đuôi phải của dữ liệu dường như có nhiều hơn so với mẫu theo phân phối chuẩn tương đương. 4.2 Các biểu đồ P-P Các biểu đồ P-P rất giống các biểu đồ Q-Q; khác biệt duy nhất là các giá trị được chuyển sang các xác suất tích lũy tương ứng thay vì liệt kê như các giá trị của biến ngẫu nhiên. Nghĩa là, đối với mẫu được sắp xếp các quan sát từ nhỏ nhất đến lớn nhất, x(1),, x(n), một xác suất tích lũy được định nghĩa như sau: Prob[x x(i)] = i/n (17) Các giá trị xác suất này sau đó được vẽ với xác suất tích lũy của bất kỳ một trong số các phân phối kiểm định. Nếu biến được chọn khớp với phân phối cho trước, thì tất cả các điểm sẽ nằm trên đường 45 độ từ gốc tọa độ. Lại cũng như 24

25 biểu đồ Q-Q, những sai chệch so với đường 45 độ cho ta thông tin về phân phối của biến được chọn khác biệt như thế nào so với phân phối kiểm định. Hình 13 là một biểu đồ P-P tương ứng với biểu đồ Q-Q ở Hình 12 (được tạo ra bởi phần mềm SPSS). Lưu ý rằng sự thay đổi tỷ lệ của dữ liệu có nghĩa là hai điểm dữ liệu bất thường bây giờ được thể hiện bằng hai quan sát được dự đoán bởi phân phối chuẩn là có xác suất bằng 1. Theo cách giải thích ngược so với biểu đồ Q-Q, các điểm được vẽ ở trên đường 45 độ chỉ ra rằng xác suất xuất hiện của chúng trong phân phối chuẩn là cao hơn so với chúng thực sự xảy ra và các điểm bên dưới đường 45 độ có một xác suất dự đoán cao hơn so với chúng thực sự xảy ra. 25

26 5. Phân tích dữ liệu hai chiều Các biểu đồ hộp, biểu đồ tần suất, ước lượng mật độ kernel, biểu đồ Q-Q, và biểu đồ P-P tất cả đều là các kỹ thuật hữu ích để mô tả hành vi của một biến riêng lẻ. Trong phần này, các phương pháp được sử dụng để xem xét các mối quan hệ theo cặp của các biến sẽ được thảo luận. Chúng ta xem xét các hệ số tương quan và các bản sao bằng đồ thị của chúng các biểu đồ phân tán (cũng được biết như biểu đồ XY). 5.1 Hệ số tương quan Hệ số tương quan (correlation coefficient) là một thống kê phổ biến nhất được sử dụng để lượng hóa mối quan hệ giữa hai biến x và y. Nó được định nghĩa như sau: r = n i=1(x i x )(y i y ) [ n i=1 (x i x ) 2 n i=1 (y i y ) 2 ] (18) Trong đó, x và y là các trung bình mẫu gồm n quan sát của các biến x và y. Giá trị r nằm giữa 1 đến + 1, và đo lường mối quan hệ tuyến tính giữa x và y. Nếu r = 0, thì không có mối quan hệ tuyến tính nào; nếu r = 1, thì có mối quan hệ tuyến tính dương hoàn hảo; và nếu r = - 1, thì có mối quan hệ tuyến tính âm hoàn hảo. Hệ số tương quan tương ứng về mối quan hệ giữa doanh số Produce Sales và tổng doanh số trung bình Total Average Daily Sales [Người dịch: Bao gồm toàn bộ doanh số từ các gian hàng, trong đó doanh số từ gian hàng bán trái cây và rau quả (Produce Sales) là một thành phần quan trọng; xem Bảng 4] là 0.95, điều này cho thấy một mối quan hệ mạnh. Ta cũng có thể thấy rằng hồi quy hai biến đơn giản có mối quan hệ rất gần với khái niệm tương quan. Thống kê R 2 là thống kê chỉ ra mức độ phù hợp của hồi quy bằng với bình phương của hệ số tương quan giữa biến phụ thuộc và biến độc lập [Người dịch: Thật ra là bình phương của hệ số tương quan giữa biến phụ thuộc và ước lượng của biến phụ thuộc]. 26

27 5.2 Biểu đồ phân tán Một biểu đồ phân tán đơn giản là một đồ thị vẽ một biến ở trục hoành theo một biến khác ở trục tung. Đó là một phương pháp hữu ích để phân tích mối quan hệ giữa hai biến. Ví dụ, nó có thể làm rõ một mối quan hệ phi tuyến giữa hai biến hoặc nó có thể cho thấy có tồn tại các quan sát bất thường hay không. Một mở rộng của biểu đồ phân tán đơn giản cũng bao gồm trong đồ thị đường hồi quy có từ ước lượng OLS của hai biến. Trong Hình 14 biểu đồ phân tán của Produce Sales và Total Average Daily Sales được minh họa. Từ hình này, ta có thể thấy có mối quan hệ dương giữa Produce Sales và Total Average Daily Sales. Cũng trong hình này một số quan sát được nêu bậc lên tương ứng với các quan sát có tiềm năng là các quan sát bất thường. Cụ thể, hai trong số quan sát này là các quan sát được làm rõ trong biểu đồ Q-Q và biểu đồ hộp cho biến Produce Sales. Vì thế, hai cửa hàng tương ứng với các quan sát này có doanh số Produce sales cao và tổng doanh số 27

28 trung bình hàng ngày Total Average Daily Sales cao. Điều này có thể chỉ ra rằng đối với hai cửa hàng này, doanh số Produce Sales thực sự là một thành phốn lớn trong tổng doanh số của họ. Lưu ý, loại quan hệ được chỉ ra trong Hình 1 thì không hiện diện trong trường hợp này, vì thế chúng ta có thể kết luận rằng mặc dù hệ số tương quan cao, nhưng đó không phải là do tồn tại từ cái gọi là ảnh hưởng tạ đôi. Để giải thích tại sao các biểu đồ phân tán cung cấp thêm thông tin, chúng ta xem xét thêm hai biểu đồ phân tán ở Hình 15. Trong hai trường hợp này, các hệ số tương quan giữa x và y là khoảng 0.7, nhưng các biểu đồ phân tán cho thấy các mối quan hệ rất khác nhau giữa các biến. Vì thế mối quan hệ giữa chúng là không được thiết lập bằng hệ số tương quan tốt như bằng biểu đồ phân tán. Trong phần giới thiệu của bài báo chúng tôi đã trình bày hai ví dụ về hai hồi quy đơn giản ở đó biểu đồ phân tán kể cho ta câu chuyện mà các ước lượng hồi quy không làm được. Trong ví dụ thứ nhất, chúng ta thấy rằng hệ số tương quan khá cao nhưng đó là do mối quan hệ theo kiểu tạ đôi. Trong ví dụ thứ hai, chúng ta xác định từ hồi quy rằng hệ số tương quan là rất thấp nhưng, như trong 28

29 biểu đồ thứ hai trong Hình 15, biểu đồ lại cho thấy một mối quan hệ nổi bật giữa hai biến. 6. Các kỹ thuật đa biến Việc xem xét các mối quan hệ giữa một nhóm các biến thường là mục tiêu phân tích của chúng ta. Thậm chí nếu đúng như thế thì vẫn hữu ích để ta bắt đầu bằng cách xem xét mỗi biến riêng lẻ, tập trung vào các thống kê như skewness, kurtosis, giá trị bất thường, và các giả định phân phối, vân vân. Các kỹ thuật vừa được mô tả ở trên trong các mục 3 và 4 rất hữu ích cho mục đích này. Tuy nhiên, có các kỹ thuật vẽ đồ thị khác có thể được sử dụng để xem xét một nhóm các biến cùng một lúc. Trong phần này hai trong số kỹ thuật đó sẽ được mô tả. Kỹ thuật thứ nhất là các biểu đồ hộp cạnh kề - cạnh và thứ hai là một cách thể hiện khác bằng đồ thị của ma trận hệ số tương quan biểu đồ phân tán ma trận (matrix scatter plot). 6.1 Biểu đồ hộp cạnh kề cạnh Các biểu đồ hộp cạnh kề cạnh là một tập hợp các biểu đồ hộp trình bày các phân phối của một số trường hợp hoặc một số biến theo một cách mà chúng ta có thể so sánh không chỉ các thước đo trung tâm mà còn các phân phối của các biến. Như chúng tôi đã đề cập ở trên, bề rộng của các biểu đồ hộp thường là tùy ý để chúng có thể được chia tỷ lệ theo một cách mà chúng ta có thể đặt chúng kế nhau miễn là các khoảng giá trị là tương tự về độ lớn để chúng có thể được vẽ trên cùng một trục tung. Ở Bảng 4 chúng tôi liệt kê các thống kê mô tả cho một tập hợp bảy gian hàng khác nhau của các siêu thị trong mẫu. Từ bảng này, ngoài thứ tự của các giá trị trung bình (xem cột 5), thì rất khó để xác định làm thế nào để so sánh các loại doanh số trong mỗi gian hàng. 29

30 Trong Hình 16, biểu đồ hộp cạnh kề cạnh được tạo ra bằng phần mềm Eviews được trình bày cho một nhóm chọn lọc các gian hàng khác nhau trong mẫu của ta về các siêu thị trong đó các hộp được sắp xếp theo mức độ trung vị (median) của giá trị doanh số (lưu ý các dấu sao cho biết bị trí của các giá trị trung bình). Hình này cho phép chúng ta không chỉ so sánh các giá trị trung vị 30

31 mà còn các khoảng tứ phân vị của mỗi gian hàng. Ví dụ, hình này cho thấy doanh số cao nhất từ gian hàng Health and Beauty chỉ khoảng phân vị dưới (Q0.25) của gian hàng Produce Sales. Cũng như thế, biểu đồ cho thấy gian hàng Meat Sales có doanh số trung bình thì thấp hơn gian hàng Produce Sales nhưng khoảng tứ phân vị thì giống nhau giữa hai gian hàng. 6.2 Biểu đồ phân tán ma trận Đồ thị này bao gồm một dãy các biểu đồ phân tán sắp xếp theo cách sao cho bất kỳ một cặp biểu đồ liền kề có chung một trục tọa độ. Biểu đồ loại này tương đương về mặt đồ thị với ma trận hệ số tương quan. Nó là một phương pháp hữu ích để theo dõi một điểm thú vị hoặc một nhóm các điểm qua nhiều biến. Trong khi một nhóm bất kỳ các biến có thể được đưa vào trong đồ thị như thế, nhưng nên nhớ rằng thường thì dễ giải thích một đồ thị hơn nếu nó được đặt vừa khớp trong cùng một trang duy nhất. Bảng 5 là một ma trận hệ số tương quan của bốn biến. Các biến này bao gồm: Grocery Sales (doanh số thực phẩm), Meat Sales (doanh số bán thịt), Produce Sales (doanh số rau quả), và Total Average Daily Sales (tổng doanh số trung bình hàng ngày). Hình 17 là một biểu đồ phân tán ma trận từ phần mềm SPSS của bốn biến được sử dụng trong để xây dựng Bảng 5. Trong đồ thị này các quan sát 62 và 84 được theo dõi trong mỗi biểu đồ phân tán. 31

32 Từ Hình 17, các quan sát được theo dõi là các quan sát bất thường (outliers) liên quan đến Produce Sales. Từ biểu đồ phân tán ma trận, thật thú vị để lưu ý rằng dường như đây là các quan sát bất thường chỉ đối với Produce Sales. Lưu ý rằng nếu các cửa hàng này không được đưa vào khi tính hệ số tương quan giữa Meat Sales và Produce Sales thì bạn sẽ kỳ vọng mối quan hệ này mạnh hơn. Cũng thú vị để lưu ý rằng trong mối quan hệ với (in terms of) Total Average Daily Sales, thì Meat Sales và Grocery Sales có mối quan hệ tương tự nhau, trong khí đó thì dường như mối quan hệ dốc hơn nhiều giữa Total Average Daily Sales và Produce Sales. Một biểu đồ loại này có thể được đi kèm với một ma trận hệ số tương quan của các biến này để xác định liệu rằng có phải các hệ số tương quan là do các quan sát bất thường tạo ra hay không. 32

33 7. Các nguyên tắc chung khi trình bày đồ thị Giá trị của việc sử dụng phương pháp đồ thị trong phân tích dữ liệu là khi chúng cho ta muốn tìm hiểu xem dữ liệu của mình phù hợp với dạng mô hình nào. Đối với mục đích này, các đồ thị cần phải là các biểu đồ được trình bày rõ ràng và được thiết kế kỹ lưỡng. Phần mềm hiện đại cho phép chúng ta thực hiện nhiều dạng thiết kế khác nhau về từng yếu tố trong một biểu đồ. Ta có thể dễ dàng thay đổi hình dáng, kích cỡ, phông chữ, màu sắc, độ đậm lợt, chiều hướng và vị trí dọc theo một trục tọa độ của đồ thị để tối đa hóa tác động trực quan của nó. Trong phần này, chúng tôi trình bày một ví dụ về biểu đồ phân tán với việc sử dụng các lựa chọn mặc định (default options) trong Excel và chúng tôi trình bày quy trình thực hiện nhằm cải thiện tác động trực quan của đồ thị này. 7.1 Biểu đồ phân tán mặc định Trong Hình 18 chúng tôi trình bày kết quả tạo ra một biểu đồ phân tán giữa Dairy Sales (trục y) theo Grocery Sales (trục x) bằng cách sử dụng các lựa chọn mặc định trong Excel. Có nhiều vấn đề trực quan với cách trình bày của đồ thị này: các tên nhãn của biểu đồ gây khó hiểu; sử dụng quá nhiều nét đậm (ink), từ các đường kẻ ngang bên trong biểu đồ và màu nền, mà những thứ này không thể hiện được điều gì về thông tin của dữ liệu; nhiều khoảng trống do vô ý gán gốc tọa độ của các trục x và y giá trị bằng 0; và sử dụng các biểu tượng có kích thước lớn cho các điểm làm che khuất vị trí của các điểm nằm bên dưới. Trong phần này chúng tôi chỉ dẫn cho bạn cách thức làm thế nào để thay đổi các lựa chọn mặc định nhằm cải thiện sự biểu hiện trực quan bằng cách sử dụng chương trình Excel. 33

34 7.2 Sửa tên nhãn của trục tọa độ Từ hộp thoại Chart Options, chọn Titles. Trong nhóm các lựa chọn, ta loại bỏ Dairy trong Chart title và đặt tên nhãn của trục x là Grocery và của trục y là Dairy. Các bước này được minh họa trong Hình 19. Ngoài ra, tên nhãn Dairy bên phải Hình 18 trong hộp chú thích (legend) có thể được loại bỏ bằng cách nhấp chuột vào để chọn và sau đó xóa đi. 34

35 7.3 Tối đa hóa các hình ảnh của dữ liệu trong đồ thị Hầu hết các nét đậm trên một đồ thị nên thể hiện các thông tin liên quan đến số liệu (Tufte 1983). Trong Hình 18, màu nền sậm và nhiều đường kẽ ngang song song trục x không cung cấp thông tin gì về dữ liệu. Để loại bỏ các đường kẽ ngang, từ hộp thoại Chart Options chọn Gridlines và loại bỏ dấu tích (check) trên ô Major gridlines ở phía dưới Value (Y) axis. Để loại bỏ hình nền, nhấp vào (click) nút bên tay phải chuột [Người dịch: Máy tính đời củ, chứ bây giờ ít ai dùng chuột] và chọn Format Plot Area, rồi chọn white trong danh mục màu sắc. Kết quả sau khi thực hiện cả hai công việc này được minh họa ở Hình Giảm các khoảng trắng không chứa thông tin Trong Hình 18, giá trị nhỏ nhất của hai trục x và y là 0, mặc dù giá trị nhỏ nhất của Grocery là khoảng và giá trị nhỏ nhất của Dairy là khoảng Để thay đổi các giá trị nhỏ nhất theo mặc định, nhấp vào một con số bất kỳ trên trục x và chọn Format Axis. Chọn scale và nhập giá trị như là giá trị nhỏ nhất cho trục x. Tương tự, để thay đổi giá trị nhỏ nhất cho trục y, nhấp vào một con số bất kỳ trên trục y và chọn Format Axis. Chọn scale và nhập giá trị 2000 như là giá trị nhỏ nhất cho trục y. 35

36 7.5 Giảm kích thước của các điểm được vẽ trên đồ thị Bước cuối cùng là nhấp vào các điểm được vẽ trên đồ thị để vào lựa chọn Format Data Series. Trong lựa chọn này, chọn Pattern và làm nhỏ kích cỡ của các điểm. Trong Hình 21, biểu đồ phân tán cuối cùng được minh họa. Điều quan trọng cần nhớ rằng có nhiều phần mềm thống kê cung cấp các gói chuyên về đồ thị, tuy nhiên có lẽ cũng cần thiết phải thay đổi các lựa chọn mặc định có sẵn trong các phần mềm này để có được một đồ thị tối đa hóa hiển thị trực quan. Trong phần mềm như thế, bạn có thể lưu các lựa chọn sao cho tất cả các biểu đồ đều có một thiết kế tương tự. 8. Các phần mềm thống kê Các phần mềm thống kê sẵn có từ khi hệ thống máy tính lớn trở nên phổ biến cho việc phân tích dữ liệu vào những năm Các chương trình đầu tiên bao gồm các chương trình đồ họa thô sơ tạo ra thứ mà ta thường cho là biểu đồ máy in (printer plots) và các biểu đồ đường nét (line graphs) chỉ sẵn có nếu như bạn tiếp cận vào các biểu đồ được xây dựng cho mục tiêu nhất định. Các biểu đồ máy in này vẫn còn tồn tại trong một số chương trình và có thể cung 36

37 cấp một phương pháp thuận tiện để quét (scan) một lượng lớn dữ liệu trong đó biểu đồ có thể được tạo ra một cách rất hiệu quả và được vẽ với chỉ một lệnh lựa chọn duy nhất. Với sự sẵn có phổ biến của các máy tính có khả năng vẽ đồ thị, một nhánh nhu cầu về khả năng các máy tính thực hiện nhiều trò chơi điện toán phức tạp kết quả là ngày càng có nhiều phần mềm thống kê được viết cùng với các gói phần mềm chuyên về đồ họa. MS Excel là một chương trình được sử dụng rộng rãi để tạo ra các biểu đồ. Hai gói phần mềm được sử dụng phổ biến cho đồ thị trong kinh tế lượng là SPSS và Eviews [Người dịch: Hiện tại phải nói rằng Stata mới là phần mềm vẽ đồ thị ấn tượng nhất]. Cả hai chương trình này sử dụng kỹ thuật soạn thảo theo thực đơn chỉ-và-nhấp (point-and-click menu-driven editing) các đặc điểm của biểu đồ của phần mềm máy tính cá nhân được sử dụng rộng rãi nhất chẳng hạn như MS Excel. Dưới đây chúng tôi liệt kê các khả năng của Eviews và SPSS. Eviews và SPSS có các chức năng biên tập đồ thị cho phép thực hiện các thay đổi ở hầu như tất cả các khía cạnh của biểu đồ. Một khi biểu đồ đầu tiên được tạo ra, biểu đồ có thể được đưa vào trình đơn biên tập đồ thị (graphics editor). Cả Eviews và SPSS cho phép bạn điều chỉnh cỡ chữ, màu sắc, và tỷ lệ của các trục tuy nhiên SPSS cho phép bạn nhận dạng các quan sát cụ thể cũng như ghi chú thích đồ thị và đưa thêm các đường tham chiếu khi cần bên trong đồ thị (xem các Hình 12, 14, 16, và 17 ở đó các quan sát đặc biệt được nhận diện). Ngoài ra, với SPSS nhiều hình ảnh dạng đồ thị có thể được sao chép đồng thời và dễ dàng chèn vào các tài liệu của trong MS Word. SPSS cũng có khả năng ghi chép lại các chỉnh sửa cụ thể đã được thực hiện của một biểu đồ vào một tập tin để các biểu đồ mới có thể được tạo ra với cùng một định dạng sử dụng một loại tập tin được gọi là tập tin khuôn mẫu (template file) (một lựa chọn như thế cũng có sẵn trong Eviews). Một đặc điểm hay nữa của SPSS là nó có thể tạo ra tập tin nhật ký chính xác (exact journal file) cho phép tất cả các lệnh chỉ-và-nhấp đã hoàn thành trong một phiên làm việc được ghi chép lại thành 37

38 một tập tin có tên gọi là tập tin các lệnh dạng batch (batch commands file), tập tin này sau đó có thể được đưa vào cửa sổ cú pháp của chương trình. Trong cửa sổ này, tập tin đó có thể được biên tập với một chương trình biên tập văn bản (text editor) để làm cho nhiều ứng dụng giống nhau có thể được thực hiện với cùng một dữ liệu. 38

39 Không giống SPSS, Eviews sẽ tính các ước lượng mật độ phi tham số. Ngoài ra, trong Eviews nhiều đồ thị có thể được tạo ra và được đưa vào một tập tin đồ thị duy nhất với khả năng đặt một biểu đồ này chồng lên một biểu đồ khác. Điều này đặc biệt hữu ích trong việc tóm tắt một số biểu đồ trên cùng một trang [Người dịch: Page ở đây không phải là trang giấy. Khi ta mở một tập tin làm việc của Eviews (workfile), tập tin đó sẽ hiện ra trong một trang. Nếu ta muốn mở một tập tin khác, mà vẫn để nguyên tập tin trước đó, ta chỉ cần mở một trang mới (Add New Page), ]. Hình 22 là một ví dụ minh họa các biểu đồ phân phối doanh số thành phần được liệt trong Hình 16 có thể được tóm tắt như thế nào dưới dạng các biểu đồ mật độ kernel. Eviews có khả năng yêu cầu biểu đồ ước lượng mật độ được đặt trong một tập tin nhưng có thể xuất ra một tập tin khác sao cho các biểu đồ mật độ có thể được so sánh trên cùng một biểu đồ chung. Trong Hình 23 chúng tôi đã thay đổi tỷ lệ các biểu đồ mật độ của cả Health and Beauty Sales và Bakery Sales để chúng có thể được so sánh một cách trực tiếp. Lưu ý rằng vùng phía dưới mỗi đường cong mật độ cũng được chia theo tỷ lệ để tổng giá trị xác suất chúng đều bằng 1. 39

40 9. Kết luận Thông điệp được rút ra từ bài báo này là biểu diển bằng đồ thị của dữ liệu có thể giúp cải thiện sự hiểu biết về các thông tin từ quan sát được dùng trong phân tích thống kê. Có nhiều phương pháp khác nhau để tóm tắt dữ liệu theo cách trực quan. Các phương pháp này có thể được dùng cho một biến đơn lẻ hoặc cho dữ liệu cặp hoặc dữ liệu đa biến. Các giả định về phân phối của dữ liệu có thể được xem xét và các mối quan hệ qua lại giữa hai biến và nhiều biến có thể được thực hiện. Ngoài ra, chúng tôi giải thích một phần mềm chuẩn tạo hình ảnh dạng đồ thị có thể được cải thiện như thế nào để làm nổi bật thông điệp trong thông tin bằng đồ thị của dữ liệu. Trọng tâm của bài báo này là ở các quan sát chéo trong đó chúng tôi không thảo luận các khía cạnh chuỗi thời gian của dữ liệu. Chúng tôi ngầm giả định rằng dữ liệu đang xem xét được phân phối một cách đồng nhất và độc lập [Người dịch: Hàm ý là phân phối chuẩn]. Giả định thứ hai [Người dịch: Một cách độc lập] thường không phải lúc nào cũng đúng khi một mẫu được đo lường qua thời gian. Không may, khi một mẫu không độc lập thì việc sử dụng các phương pháp tương quan với dữ liệu phụ thuộc khác có thể dẫn đến kết quả giả mạo (spurious results). Ngoài ra, nếu dữ liệu không được phân phối một cách đồng nhất, thì ước lượng hàm mật độ có thể bị trùng hợp (confounded) bởi sự thật rằng dữ liệu có thể được tạo ra từ nhiều quá trình khác nhau và vì thế việc cố gắng nhận diện một quá trình duy nhất có thể giống như việc sử dụng dữ liệu từ một trường hợp biểu đồ tạ đôi để ước lượng hệ số tương quan. Các phương pháp đồ thị có thể được áp dụng cho dữ liệu chuỗi thời gian để nhận diện bản chất của dữ liệu. Đây sẽ là chủ đề của một bài báo trong tương lai. 40