統計学
密度を推定する データが点の集まりとして手に入ったとしましょう(例えば身長・体重データとか喫煙歴とか)。それで、この点々の母集団の分布を考えるときは、例えばこの点々を基にしてQQプロット打ち込んでう～ん正規分布っぽいから平均と分散を推定するか！…
棄却法 密度πをもつ確率分布からの乱数が発生したいとします。 πに対して、そのサポート(π(x)>0となるようなxの範囲のこと)を包むようなサポートを持っている密度qをもつ分布からの乱数が発生できるとします。 ここで、πのサポート上の任意のxについて、以下…
超一様分布列(LDS)と積分 超一様分布列というのは、凄い一様に分布してる列のことです(は？)。 これは英語で言うとLow-Descrepancy Sequence なので、略してLDSと呼ばれることもあるようです。 例えば、1/2 , 1/4 , 3/4 , 1/8 , 5/8 , 3/8 , …… というような…
ロジスティック回帰をやるときに完全分離状態っていうのに陥るときがあって、例えば以下のようなデータセット Y <- c(1,1,1,1,0,0,0,0) X <- c(8,7,3,1,0,-2,-1,-9) dat <- data.frame(Y,X) dat > dat Y X 1 1 8 2 1 7 3 1 3 4 1 1 5 0 0 6 0 -2 7 0 -1 8 0 …
修正：2020/12/01 標準化残差の式が間違っていた(いやまあそういう定義もあるんだけど、R内での定義とは異なっていたことに気づかんかった)ので修正しました。申し訳ないです。 外れ値を含むデータ 以下の仮想データを見てみましょう set.seed(1) X <- c( rn…
ベータ分布の解釈 いろんな分布がありますよね、例えば二項分布やポアソン分布は成功回数の散らばりを表しているし、指数分布や幾何分布やガンマ分布やら負の二項分布やらは待ち時間を表しているし、正規分布なら微小な変動の総和の振舞いを表している(中心…
ザリガニを釣ろう 最近暑いんでね、ザリガニを釣ろうかなと思います。 と言ってもただザリガニを釣るんじゃ面白くない（いや面白いけど）のでね、今回は仮想用水路に赴いて仮想ザリガニを捕獲する仮想ザリガニ釣りをやります。 ザリガニが10匹の場合を考えま…
コーシー分布の再生性を示そう with 特性関数 前回の記事では畳み込みを利用して気合でコーシー分布の再生性を示しました。 hasegawascond.hatenablog.com 確かにこのやり方は初等的で非常にわかりやすく、理解しやすいです。しかし一方で、(言うまでもなく)…
Statistical Inference 2nd Edition(Casella & Berger)のExample 5.2.10およびExercise5.7、コーシー分布の再生性をコンボリューション使って気合で求めさせる問題、バカか？てくらい計算間違えしまくってブチブチにブチギレた(結局積分終わるまで7時間くら…
初めに さて、最終回となる今回は、今までやってきたGEVモデル、GPモデルを統一的に考えることができる枠組みを与えてくれるポアソン点過程モデル(PPモデル)について触れていきたい。 正直今回の話はあまり「入門」にはふさわしくないかもしれない（むずい）…
初めに 今までの極値分析では、データのiid性を仮定してきた。しかし、現実のデータは時系列性をもつため、iidが成立しているという仮定は正直無理がある。そのため、このiid性の仮定をゆるめて、定常性およびミキシング条件とよばれる仮定をおき、この場合…
復習 第1回と第2回では、GEVモデルとGPモデルについて学習した。 GEVモデルでは、ブロックサイズn(サンプルサイズn)のデータの最大値（極値）が、nについて漸近的に一般極値分布GEVにしたがっていることをみた。 chunk<-function(v,i){ R <-split(v, ceiling…
最尤推定量の漸近正規性 分布関数がF(パラメータの数k)の確率分布に従うiidな確率変数たちから得られた最尤推定量は、ある条件（正則条件）を満たす限り、漸近正規性および漸近有効性を持つことが知られている。(例えば『現代数理統計学の基礎』(久保川達也)…
復習 第1回では、サンプルサイズnのうちの極値が従う分布が、nが大きくなると漸近的に極値分布とよばれる3種類の分布(グンベル分布・フレシェ分布・負のワイブル分布)のどれかにしたがうこと、そしてこれら3つの分布は1つの一般極値分布GEVに統合することが…
極値統計学って何？ ひとまとまりのデータセットについて、その最大値（または最小値）を、極値、とよぶ。 極値についての統計学的な分析を行う学問分野が、極値統計学である。 極値統計学では、最大値がだいたいどのくらいの値であるか？（例えば200年間の…
F分布とは……？ 自由度nのカイ二乗分布に従う確率変数を、 自由度mのカイ二乗分布に従う確率変数を、 そしてとは独立であるとするとき、 が従う分布のことを、 自由度(n,m)のF分布とよびます。 今回はF分布の確率密度関数がどのような式で表されるのかを求め…
t分布とは……？ 標準正規分布N(0,1)に従う確率変数を,自由度nのカイ二乗分布に従う確率変数をとして、しかもこの二つは独立であるとするとき、 が従う分布のことを、自由度nのt分布と呼びます。 今回はt分布の確率密度関数がどのような式で表されるのかを求め…
χ²分布とは……？ 標準正規分布N(0,1)に独立同一に従うn個の確率変数に対し、その二乗の和が従う分布のことを自由度nのχ²分布（カイ二乗分布）と呼びます。 今回はχ²分布（カイ二乗）分布がどんな式で表されるのかを確認してみましょう。 すこし天下り的に示し…
