Máy tính Phân phối Dừng Chuỗi Markov

Chào mừng bạn đến với Máy tính phân phối dừng chuỗi Markov, một công cụ toán học mạnh mẽ để tính toán phân phối dừng dài hạn của bất kỳ chuỗi Markov hữu hạn nào. Nhập ma trận chuyển trạng thái của bạn và xem ngay xác suất dừng, sơ đồ chuyển trạng thái tương tác, trực quan hóa hội tụ và giải pháp chi tiết từng bước. Lý tưởng cho sinh viên, nhà nghiên cứu và các chuyên gia làm việc với các quá trình ngẫu nhiên.

Phân phối dừng là gì?

Một phân phối dừng (còn được gọi là phân phối trạng thái ổn định) của một chuỗi Markov là một vectơ xác suất \(\pi\) sao cho:

Điều này có nghĩa là nếu hệ thống bắt đầu ở phân phối \(\pi\), nó sẽ duy trì ở \(\pi\) sau bất kỳ số lần chuyển đổi nào. Một cách trực quan, \(\pi_i\) đại diện cho tỷ lệ thời gian dài hạn mà hệ thống dành cho trạng thái \(i\).

Các khái niệm chính

Cách giải tìm phân phối dừng

Vectơ dừng \(\pi\) có thể được tìm thấy bằng cách giải hệ phương trình tuyến tính dẫn xuất từ \(\pi P = \pi\):

1. Viết lại phương trình: \(\pi P = \pi\) trở thành \(\pi(P - I) = 0\), hoặc tương đương \((P^T - I)\pi^T = 0\).
2. Thêm chuẩn hóa: Thay thế một phương trình dư thừa bằng \(\pi_1 + \pi_2 + \cdots + \pi_n = 1\).
3. Giải hệ phương trình: Sử dụng phương pháp khử Gaussian hoặc các phương pháp ma trận để tìm \(\pi\).

Đối với các chuỗi ergodic, việc nhân liên tục sẽ hội tụ về phân phối dừng duy nhất bất kể phân phối bắt đầu như thế nào.

Cách sử dụng máy tính này

1. Nhập ma trận chuyển trạng thái: Nhập ma trận của bạn với mỗi hàng trên một dòng mới. Các giá trị có thể được phân tách bằng dấu phẩy hoặc khoảng trắng. Mỗi hàng phải có tổng bằng 1.
2. Thêm nhãn trạng thái (tùy chọn): Cung cấp tên mô tả cho các trạng thái của bạn (ví dụ: Nắng, Mưa) được phân tách bằng dấu phẩy.
3. Thiết lập độ chính xác thập phân: Chọn số chữ số thập phân (2-15) cho kết quả.
4. Tính toán: Nhấp vào "Tính toán phân phối dừng" để xem phân tích đầy đủ bao gồm phân phối dừng, biểu đồ hội tụ, sơ đồ trạng thái và giải pháp từng bước.

Hiểu kết quả của bạn

Vectơ phân phối dừng

Đầu ra chính là vectơ \(\pi = (\pi_1, \pi_2, \ldots, \pi_n)\), trong đó mỗi \(\pi_i\) đại diện cho xác suất dài hạn của việc ở trạng thái \(i\). Trạng thái có xác suất cao nhất là trạng thái ưu thế.

Biểu đồ hội tụ

Phần này cho thấy cách phân phối xác suất phát triển từ một điểm bắt đầu đồng nhất thông qua các phép nhân liên tiếp với P. Sự hội tụ nhanh hơn cho thấy một chuỗi trộn mạnh hơn.

Sơ đồ chuyển trạng thái

Một biểu diễn trực quan tương tác trong đó:

• Kích thước nút phản ánh xác suất dừng
• Độ dày của cạnh đại diện cho xác suất chuyển trạng thái
• Mũi tên cong chỉ hướng chuyển đổi
• Vòng lặp tự thân cho biết xác suất duy trì ở cùng một trạng thái

Ứng dụng thực tế

Khi nào phân phối dừng duy nhất tồn tại?

Một chuỗi Markov hữu hạn có phân phối dừng duy nhất khi nó không thể khử, và nếu nó còn không tuần hoàn thì mọi phân phối ban đầu đều hội tụ về phân phối đó. Chuỗi có cả hai tính chất được gọi là ergodic:

• Không thể khử: Mọi trạng thái đều có thể đến được từ mọi trạng thái khác (không có các thành phần bị ngắt kết nối)
• Không tuần hoàn: Ước chung lớn nhất của tất cả các độ dài chu kỳ qua bất kỳ trạng thái nào là 1 (không có tính tuần hoàn cố định)

Một chuỗi tuần hoàn nhưng không thể khử vẫn có đúng một trạng thái dừng; các lũy thừa Pᵏ của nó chỉ dao động thay vì hội tụ. Một chuỗi có thể khử chỉ có trạng thái dừng duy nhất khi nó có một lớp đóng duy nhất (cộng với các trạng thái tạm thời, nếu có); khi có từ hai lớp đóng trở lên, sẽ có vô số phân phối dừng.

Câu hỏi thường gặp

Phân phối dừng của một chuỗi Markov là gì?

Phân phối dừng (hoặc trạng thái ổn định) là một vectơ xác suất π sao cho πP = π, trong đó P là ma trận chuyển trạng thái. Nó đại diện cho tỷ lệ thời gian dài hạn mà hệ thống ở trong mỗi trạng thái, bất kể trạng thái ban đầu. Đối với một chuỗi Markov không thể khử và không tuần hoàn, phân phối dừng là duy nhất.

Làm thế nào để tính xác suất phân phối dừng?

Để tìm vectơ dừng π, hãy giải hệ phương trình πP = π với điều kiện ràng buộc là tổng tất cả các xác suất bằng 1 (Σπᵢ = 1). Điều này tương đương với việc giải (Pᵀ - I)π = 0 cùng với điều kiện chuẩn hóa. Bạn cũng có thể sử dụng phương pháp lặp lũy thừa: liên tục nhân một phân phối ban đầu với P cho đến khi hội tụ.

Khi nào một chuỗi Markov có phân phối dừng duy nhất?

Một chuỗi Markov hữu hạn có phân phối dừng duy nhất khi nó có đúng một lớp liên thông đóng — đặc biệt là bất cứ khi nào nó không thể khử (mọi trạng thái đều có thể đến được từ mọi trạng thái khác). Tính không tuần hoàn không cần cho tính duy nhất: chuỗi tuần hoàn [[0, 1], [1, 0]] có phân phối dừng duy nhất (½, ½). Điều mà tính không tuần hoàn bổ sung là sự hội tụ: chuỗi không thể khử và không tuần hoàn (ergodic) sẽ tiến tới phân phối đó từ bất kỳ điểm xuất phát nào.

Thời gian hồi quy trung bình trong chuỗi Markov là gì?

Thời gian hồi quy trung bình cho trạng thái i là số bước kỳ vọng để quay lại trạng thái i bắt đầu từ trạng thái i. Đối với một chuỗi Markov ergodic, thời gian hồi quy trung bình bằng 1/πᵢ, trong đó πᵢ là xác suất dừng của trạng thái i. Các trạng thái có xác suất dừng cao hơn sẽ có thời gian hồi quy trung bình ngắn hơn.

Sự khác biệt giữa ma trận chuyển trạng thái và vectơ phân phối dừng là gì?

Ma trận chuyển trạng thái P là ma trận n×n trong đó P(i,j) cho biết xác suất di chuyển từ trạng thái i sang trạng thái j trong một bước. Mỗi hàng có tổng bằng 1. Vectơ dừng π là một vectơ xác suất 1×n đại diện cho phân phối dài hạn trên các trạng thái. Trong khi P mô tả động lực học một bước, π mô tả hành vi cân bằng.

Tài nguyên bổ sung

• Ma trận ngẫu nhiên (Tiếng Anh) - Wikipedia