プログラミング on 鶴見教育工学研究所

{learnr}で課題の実行結果を提出する仕組みを作る

Sun, 29 Dec 2024 00:00:00 +0000

講義のオンデマンド化と課題

昨日に引き続き、担当しているRの講義に関することですが、来年度は授業をオンデマンドで展開することになりました。もともと、「教室が足りないからオンライン化 (ライブ・オンデマンド問わず) できる授業はしてくれ」という要請¹が来ていて、すでに他の講義をオンデマンドで提供していることもあり、Rの講義もオンデマンド化することにしました。

現在も、講義は教室で行っていますが、(「単位の実質化」とかで) 毎週出している課題は、Rプログラムを書いて、LMS (Google Classroom) に提出してもらう形式です。来年は、それを一歩進めて、動画＋ハンズオン＋課題を {learnr} パッケージの枠組みでできないかと考えています。実際、社会人向けに3年ほどRの研修コンテンツを販売していて、そこでは {learnr} のコンテンツの中に動画を埋め込んで、shinyapps.ioでホスティングしていました。

こんな感じで。

そのため、やりたいことの大半は実現できると思っていましたが、唯一課題と考えていたのが課題でした🤪進次郎構文ではなく、「(私が解決しないといけないと思っていた) 課題が、(学生に課す) 課題 (をどうやって提出させるか) でした」という意味です。今度は岡田構文になっていますが。おーん🤪

課題の実行結果を保存して出力するには

{learnr} の中で問題を出して、それに (授業時間外に) 解答させることはできますが、その結果をどうやって出力し、提出するかということを解決する必要がありました。調べる限り、{learnr} 自身に、結果をメールで送信したり、ファイルとしてダウンロードする仕組みはなさそうでした。それらしい機能を持った {learnr} を拡張するようなパッケージもありますが、ドキュメントから (私の能力不足で) 使い方を読み取れないのと、メールで提出されても成績管理がしづらいので、候補からは外れます。

他の、R/Examsプロジェクトが開発しているパッケージも、Rで教育コンテンツを提供し、課題の提出を受け付ける機能がカバーされていますが、こちらはMoodleなどのLMSと連携させることが前提で、この授業のためだけに大学の標準のLMSと違うものを使うのは、教員、学生ともに無駄が多いと感じています。

{learnrhash} によるハッシュ化

そんなこんなで、色々調べていたら、ついに以下の記事を見つけました。

{learnr} 内の実行状態はShinyのセッション情報として保存されていて、get_tutorial_state() 関数でアクセスできますが、それをどうやって出力して、学生自身で取得して提出できるか、というところが課題でしたが、上記の記事をもとに、{learnrhash} パッケージを使い、セッション情報をハッシュ化して画面に表示することができました。

セッションをハッシュ化する

```{r eval=TRUE, context="server"}
learnrhash::encoder_logic()
```


```{r encode,eval=TRUE,echo=FALSE}
learnrhash::encoder_ui()
```

ハッシュ化されたセッションを復元する

```{r eval=TRUE, context="server"}
learnrhash::decoder_logic()
```


```{r decode,eval=TRUE,echo=FALSE}
learnrhash::decoder_ui()
```

回答結果をハッシュ化する

ハッシュから回答を復元する

Google Classroomには、Googleフォームと組み合わせて課題を出す機能があるので、ハッシュ化された回答をフォームに貼り付けて提出してもらう、という形式が実現できそうです。上図では {learnr} コンテンツ内でデコードしていますが、もちろん普通にコンソールからも復元できるので、採点も容易にできます。

おそらく、そんな感じで講義のオンデマンド化と合わせて、課題の提出・採点の効率化が実現できるのではないかと思っています。個人的には、そんなに毎週課題を出さなくても、授業内で完結するようにした方が、「大学生らしい」ことができる時間ができていいんじゃないか、とも思いますが。

長期的にはQuarto化、シングルページ化も

Quartoに {webR} と組み合わせた、シングルページでオンライン教材が作成できる拡張機能があるようです。

Introduction – Quarto Live Documentation

こちらも、RとPythonの両方に対応しているので、将来的にはRによるオンライン教材作りのスタンダードになっていくのかもしれません。

tutorial.helpersパッケージ

記事を投稿した後もいろいろ調べていたら、{tutotial.helpers} というパッケージが見つかりました。

CRAN: Package tutorial.helpers https://cran.r-project.org/web/packages/tutorial.helpers/index.html
Enable Students to Download Their Tutorial Answers • tutorial.helpers https://ppbds.github.io/tutorial.helpers/articles/downloads.html

このパッケージには、上記のリンク先にあるように、回答の情報をHTMLとしてダウンロードできる仕組みがありました。こちらを使う手もありそうです。ただ、HTMLなので目視が中心になる (rvestなどで解析してもいいですが) こと、正解か不正解かの TRUE / FALSE が出力に含まれないところが、ちょっと不便かなとも思いました。

他の大学でもそんなことがあるんですかね？ ↩︎

{transforEmotion}と{atrrr}でBlueSkyのセンチメント分析

Sat, 28 Dec 2024 00:00:00 +0000

担当しているRの講義で、毎年テキストマイニングを扱っています。その中で、SNSからのデータ収集や、いわゆる「ポジネガ分析」についても触れています。しかし、X APIは有償化して、個人の興味関心の範囲ではデータの収集ができなくなりました。“ツイート” 取得のデファクトスタンダードとなっていた{rtweet} パッケージも開発が終了してしまいました。

また、ポジネガ分析については、当初たまたまGitHubで見つけたPythonのsentiment_jaライブラリを {reticulate}¹ パッケージを使って呼び出していました。しかし、ライブラリ自体がGitHubからなくなり、自分の手元にはたまたま削除される直前にCloneしたものが残っていたのですが、作者が削除したものをいつまでも使うのもな、と思っていました。そもそも私自身、どういうモデルなのかよく分からず、とりあえず感情価が返ってくるので使っている、というだけでしたし。

また、年明けにテキストマイニングの回がやってくるので、この辺りをアップデートしようと、いろいろ調べてみました。

Blueskyからポストを取得する

RからBluesky APIにアクセスできるパッケージ

APIに限らない、X社の方針転換などで、さまざまな代替SNSが公開されています。その中で、比較的ユーザー数が多く、Xの雰囲気に近いと思われるものにBlueskyがあります。また、Blueskyはオープンであることを重視しており、APIも無償で公開されています。そこで、RからBlueskyのAPIにアクセスできるパッケージがないかな、と探してみました。すると、以下の2つがありました。

CRAN: Package bskyr https://cran.r-project.org/web/packages/bskyr/index.html
CRAN: Package atrrr https://cran.r-project.org/web/packages/atrrr/index.html (アトルー？)

どちらも、機能的にはほとんど同じで、Blueskyへの投稿、いいね、リポストやフォロー・アンフォローなどの操作ができるようです。そして、今回の主目的である、他者のポストを取得する機能もあります。なお、XにおけるStreaming APIと同様に、BlueskyにもFirehoseというAPIがあり、リアルタイムのポストを取得できる仕組みはありますが、いずれのパッケージもまだサポートしていないようです。²実際、ランダムに取得したポストでポジネガ分析してもあまり意味がないので、今回はキーワードを取得して、そのテキストを処理対象とします。

{atrrr} パッケージのインストール

上記の2つのパッケージのどちらでも、キーワードを指定したポストの検索、取得はできますが、今回は {atrrr} パッケージを使います。³まずその前に、Blueskyにアカウントを作成する必要があります。特に迷うようなこともないので、ここでは省略します。

何年ぶりかに🤪APIアクセス以外に使用する予定はないですが

{atrrr} パッケージはCRANからインストールできます。

`1`	`install.packages("atrrr")`

そして、パッケージを読み込みます。

`1`	`library(atrrr)`

{atrrr} パッケージによるユーザー認証

はじめに、APIにアクセスするために auth() 関数で認証を得ます。XではAPIにアクセスするためにアクセストークンを取得する必要がありますが、Blueskyではユーザー名とパスワードでアクセスできます。

`1`	`auth(user = "ユーザー名", password = "パスワード")`

ポストの取得

次に、APIにアクセスし、キーワードで検索したポストを取得するには search_post() 関数を使います。ここでは、たまたま今日 (12/28) 開催された中央競馬のGI、ホープフルステークスについてのポストを取得してみましょう。

# ホープフルステークスやホープフルSなど表記が揺れるので
# 前半だけをキーワードとして指定
res <- search_post(q = "ホープフル since:2024-12-28 until:2024-12-29", limit = 200)
head(res)

## # A tibble: 6 × 20
##   uri                                                                   
##   <chr>                                                                 
## 1 at://did:plc:5cbdxxui4cmo2cytfahvafyl/app.bsky.feed.post/3leehkzsx7s2c
## 2 at://did:plc:itkjw3kfno5jvsjf5ptlu6ss/app.bsky.feed.post/3leeheyydb226
## 3 at://did:plc:dp3fdt3yreehru3pouwvaams/app.bsky.feed.post/3leegul2ar22d
## 4 at://did:plc:4urr3lljj6b2gca5bf4hyzt7/app.bsky.feed.post/3leegl5xbgc2m
## 5 at://did:plc:c3itjpvm5hamy7up773xna6a/app.bsky.feed.post/3leegfzu4cs2m
## 6 at://did:plc:kdkik6uosu3x4btwq2klnmrv/app.bsky.feed.post/3leeg2ekubc2l
##   cid                                                        
##   <chr>                                                      
## 1 bafyreigxm7shursdnjawezjom5467c6nkbxfxedki6ayzmyfepk7lkjcpa
## 2 bafyreibhsw75brxdokw2p4jgxkxerhtmtobxuoufxukdadfc6yr2tp7b2q
## 3 bafyreifly3pjba3ceantpcbeliqfy345pvesbl6wme46vgebt35unlroxa
## 4 bafyreiavsq6zsxkoeie3y7rnxl5kv4tsu6y6kyu33a5amhnig3k7avtvvu
## 5 bafyreiahf7oicub72c42qobtk32wtm7sigmuwf25w4lgv6ajrzet4hcdcu
## 6 bafyreia6jgc7lfuystkxbekzlpbs2t6atb7jtq53odgmopytoryc4ebyem
##   author_handle           author_name                      
##   <chr>                   <chr>                            
## 1 tee0.bsky.social        てちゃ                           
## 2 d27-abc.bsky.social     🤖マシンキラー阿彦🤖             
## 3 yukimiyosi.bsky.social  見吉 幸　クルクル福岡両時間いた人
## 4 neothakaoka.bsky.social 三葉虫                           
## 5 azuyahi.bsky.social     あずやひ                         
## 6 tsukimasite.bsky.social つきま                           
##   text                                                                          
##   <chr>                                                                         
## 1 "ホープフルの予想だけして、まだレースは見てないけど結果は見て、やっぱりクロワ！！！ってなってる人です！！！！！あとでレース見るね🫶"……
## 2 "ホープフルS面白かった〜とか競馬場楽しい〜とかフォロワーと会えてよかった〜とか諸々を呟いて行こうと兄の家に帰ったら早速兄がリゼロを見始めてくれてて冷や汗…
## 3 "今夜のホープフルステークス後夜祭で、前後夜祭は開催を辞めます。\n人も集まらないし、本人も忘れている事もありますし。気まぐれで開催するかもです。"……
## 4 "私のホープフル　ホープレスステークスでした\nでも北村友一さまが勝ったのはうれしい　こっちまで泣きそうになってしまった　おめでとうございます　クロワの単…
## 5 "こんばんは！\nホープフル外しました😅"                                        
## 6 "2024ホープフルステークス"                                                    
##   author_data      post_data        embed_data       reply_count repost_count
##   <list>           <list>           <list>                 <int>        <int>
## 1 <named list [8]> <named list [4]> <NULL>                     0            0
## 2 <named list [7]> <named list [4]> <NULL>                     0            0
## 3 <named list [8]> <named list [4]> <NULL>                     0            0
## 4 <named list [8]> <named list [4]> <NULL>                     0            0
## 5 <named list [8]> <named list [5]> <NULL>                     0            0
## 6 <named list [8]> <named list [5]> <named list [2]>           0            0
##   like_count indexed_at         
##        <int> <dttm>             
## 1          0 2024-12-28 12:04:35
## 2          0 2024-12-28 12:01:12
## 3          0 2024-12-28 11:52:02
## 4          0 2024-12-28 11:46:45
## 5          0 2024-12-28 11:43:53
## 6          4 2024-12-28 11:37:31
##   in_reply_to                                                           
##   <chr>                                                                 
## 1 <NA>                                                                  
## 2 <NA>                                                                  
## 3 <NA>                                                                  
## 4 <NA>                                                                  
## 5 at://did:plc:wlpww6oubzebkigukd3dacdn/app.bsky.feed.post/3led7cvcbqk2y
## 6 <NA>                                                                  
##   in_reply_root                                                          quotes
##   <chr>                                                                  <chr> 
## 1 <NA>                                                                   <NA>  
## 2 <NA>                                                                   <NA>  
## 3 <NA>                                                                   <NA>  
## 4 <NA>                                                                   <NA>  
## 5 at://did:plc:c3itjpvm5hamy7up773xna6a/app.bsky.feed.post/3led37ktv5k2t <NA>  
## 6 <NA>                                                                   <NA>  
##   tags   mentions links  langs      labels    
##   <list> <list>   <list> <list>     <list>    
## 1 <NULL> <NULL>   <NULL> <list [1]> <list [0]>
## 2 <NULL> <NULL>   <NULL> <list [1]> <list [0]>
## 3 <NULL> <NULL>   <NULL> <list [1]> <list [0]>
## 4 <NULL> <NULL>   <NULL> <list [1]> <list [0]>
## 5 <NULL> <NULL>   <NULL> <list [1]> <list [0]>
## 6 <NULL> <NULL>   <NULL> <list [1]> <list [0]>

ポストがデータフレームとして取得できました。このうち、text 列に実際に分析対象となるテキストが格納されています。

Rでセンチメント分析をする

次に、テキストのセンチメント分析をする方法を (講義のために) アップデートします。上述のように、昨年まではPythonのsentiment_jaライブラリを使っていました。また、それ以前はいくつかの公開された感情表現辞書を使う方法が一般的でした。しかし近年では、生成AIの基盤技術でもある、Transformerを使った言語モデルでセンチメント分析を行うことが主流のようです。

RでTransformerモデルを利用できるパッケージ

しかし、残念ながらそれらの研究開発領域ではPythonが主流で、Rからそれらの高度なモデルをネイティブに扱えるパッケージはないようです。CRANに公開されている、Transformer系のパッケージはいずれも、{reticulate} パッケージを使い、実質的にはRの裏でPythonを動かして処理するものばかりです。その中で、今回は目的にフィットした {transforEmotion} パッケージを使用します。

CRAN: Package transforEmotion https://cran.r-project.org/web/packages/transforEmotion/index.html

このパッケージは、Hugging Faceで公開されている、“Zero shot classification” に対応した任意のモデルをダウンロードし、{reticulate} パッケージでPyTorchやTensorflowを動かし、任意のラベル (後述) で判定ができます。

…まぁTransformerもHugging FaceもPyTorchも何もかもよくわかっていないんですが🤪

{transforEmotion} パッケージのインストール

{transforEmotion} パッケージはCRANからインストールできます。

`1`	`install.packages("transforEmotion")`

パッケージをインストールした後、パッケージが利用するPythonの仮想環境をminicondaで作成する必要があります。ドキュメントにも記載されていますが、setup_miniconda() 関数を実行します。

1
2
3

library(transforEmotion)

setup_miniconda()

基本的には、自動で必要なPythonライブラリ類がダウンロードされ、環境が構築されます。なお、Macでは ~/Library/r-miniconda-arm64/envs/transforEmotion 下に保存されます。

英語テキストでのテスト

環境が構築できたら、まずは英語のテキストでテストしてみましょう。{transforEmotion} パッケージでは、デフォルトで cross-encoder/nli-distilroberta-base モデルが使用されます。⁴公式サイトのサンプルのままですが、以下を実行してみましょう。

# Load data
data(neo_ipip_extraversion)

# Example text 
text <- neo_ipip_extraversion$friendliness[1:5]

# Cross-Encoder DistilRoBERTa
transformer_scores(
 text = text,
 classes = c(
   "friendly", "gregarious", "assertive",
   "active", "excitement", "cheerful"
 )
)

## $`Make friends easily`
##   friendly gregarious  assertive     active excitement   cheerful 
##    0.52954    0.08775    0.09368    0.08829    0.06882    0.13192 
## 
## $`Warm up quickly to others`
##   friendly gregarious  assertive     active excitement   cheerful 
##    0.05750    0.03237    0.17586    0.17694    0.30525    0.25208 
## 
## $`Feel comfortable around people`
##   friendly gregarious  assertive     active excitement   cheerful 
##    0.73451    0.03259    0.04983    0.04678    0.01982    0.11646 
## 
## $`Act comfortably around people`
##   friendly gregarious  assertive     active excitement   cheerful 
##    0.44115    0.04934    0.14065    0.22977    0.02672    0.11237 
## 
## $`Cheer people up`
##   friendly gregarious  assertive     active excitement   cheerful 
##    0.08325    0.13463    0.10779    0.07430    0.33212    0.26791

テキストの感情を6つの尺度で判定し、結果が割合で出力されます。とりあえず結果が出力されれば、環境構築はうまくいっているでしょう。

多言語に対応したモデルのインストール

上記のモデルは、英語にのみ対応しています。そのため、日本語テキストを分析するには、対応したモデルをダウンロードし、指定する必要があります。日本語を含めた多くの言語に対応したモデルとして、MoritzLaurer/mDeBERTa-v3-base-xnli-multilingual-nli-2mil7がありました。⁵

{transforEmotion} パッケージでは、モデルを transformer_scores() 関数の transformer オプションで指定すれば、自動的にダウンロード、インストールをしてくれます。以下のようなコードで、日本語のセンチメント分析ができます。また、Transformerによるモデルでは、任意のラベル (クラス) に対する推論ができます。ここでは、シンプルに「ポジティブ」か「ネガティブ」のどちらがもっともらしいか判定させます。初回は、モデルのダウンロード、インストールがあるため、かなりの時間がかかります。

text <- c("お正月がとても楽しみだ", "バレンタインは本当に憂鬱だ", "卒論が出せるか不安だ")

transformer_scores(
 text = text,
 classes = c("ポジティブ", "ネガティブ"),
 transformer = "MoritzLaurer/mDeBERTa-v3-base-xnli-multilingual-nli-2mil7"
)

## $お正月がとても楽しみだ
## ポジティブ ネガティブ 
##    0.97903    0.02097 
## 
## $バレンタインは本当に憂鬱だ
## ポジティブ ネガティブ 
##    0.04791    0.95209 
## 
## $卒論が出せるか不安だ
## ポジティブ ネガティブ 
##    0.02826    0.97174

そもそもわかりやすいテキストですが、きちんと判定できているようです。

日本語に特化したモデルのインストール

計算環境に余裕がある場合や、多言語のテキストを扱いたい場合は、上記の手順で十分ですが、日本語だけで十分だ、という時には、もう少し小さいモデルが使えるかもしれません。Hugging Faceで検索してみると、1つだけ⁶モデルがありました。akiFQC/bert-base-japanese-v3_nli-jsnli-jnli-jsickモデルは、著名な日本語モデルをさらにファインチューニングしたもの (のよう) です。今度はこちらを使ってみましょう。

fugashiライブラリのインストール

ただ、こちらのモデルは前処理にMeCabを使っており、利用にはfugashiライブラリが必要です。Rから transformer_scores() 関数を実行すると、ただ “object ‘classifier’ not found” とエラーが返ってくるだけで、何が悪いのかよくわかりませんでしたが、reticulate::repl_python() 関数でPythonコンソールを起動し、そちらでモデルの読み込み処理を実行すると、fugashiがインストールされていない、というエラーの原因がわかりました。

Rからminicondaの仮想環境でライブラリをインストールする、というややこしい形になりますが、以下のようにすることでグローバルではなく {transforEmotion} 用の環境にインストールできました。

library(transforEmotion)
library(reticulate)

repl_python()

# 以下はPythonコンソール

!pip install fugashi

exit

これで、日本語に特化したモデルが動かせるようになります。試してみましょう。初回はモデルのダウンロード、インストールに時間がかかります。

text <- c("お正月がとても楽しみだ", "バレンタインは本当に憂鬱だ", "卒論が出せるか不安だ")

transformer_scores(
 text = text,
 classes = c("ポジティブ", "ネガティブ"),
 transformer = "akiFQC/bert-base-japanese-v3_nli-jsnli-jnli-jsick"
)

## $お正月がとても楽しみだ
## ポジティブ ネガティブ 
##     0.2756     0.7244 
## 
## $バレンタインは本当に憂鬱だ
## ポジティブ ネガティブ 
##    0.98643    0.01357 
## 
## $卒論が出せるか不安だ
## ポジティブ ネガティブ 
##    0.93838    0.06162

こちらは、どうも値の大小が逆になっているようです。0が最大、1が最小なのかもしれません。 その振る舞いを理解していれば、多言語モデルよりは多少小さなモデルとして活用できます。

Blueskyのテキストをセンチメント分析する

ということで、環境が整ったので、Blueskyに投稿されたポストをセンチメント分析してみましょう。先ほどの search_post() 関数の実行結果が残っているので、transformer_scores() 関数と組み合わせます。

sentiment_res <- transformer_scores(
  text = res$text,
  classes = c("喜び", "怒り", "哀しみ", "楽しみ"),
  transformer = "MoritzLaurer/mDeBERTa-v3-base-xnli-multilingual-nli-2mil7" 
)

df <- sentiment_res |>
  bind_rows() |>
  rowid_to_column(var = "id") |>
  pivot_longer(cols = c(-id), names_to = "感情") |>
  mutate(感情 = factor(感情, levels = c("喜び", "怒り", "哀しみ", "楽しみ")))

head(df)

## # A tibble: 6 × 3
##      id 感情    value
##   <int> <fct>   <dbl>
## 1     1 喜び   0.173 
## 2     1 怒り   0.388 
## 3     1 哀しみ 0.172 
## 4     1 楽しみ 0.266 
## 5     2 喜び   0.0981
## 6     2 怒り   0.412

200件のポストについて、M3 Macで1分弱かかりました。専門的知識を駆使して🤪ポストの内容と判定結果を見ると、概ね「外した」とか「遅い」といった単語を「哀しみ」「怒り」と判定しているなど、妥当な判定をしているように思います。グラフにしてみましょう。

ggplot(df, aes(x = value, y = 感情, colour = 感情)) +
  geom_jitter() +
  scale_y_discrete(limits = rev) +
  scale_colour_fivethirtyeight()

1
2
3

ggplot(df, aes(x = value, fill = 感情)) +
  geom_histogram(position = "identity", binwidth = 0.025, alpha = 0.5) +
  scale_fill_fivethirtyeight()

言語学ではない、Rの講義でハンズオンとして実行する分には、こんなものでよいのではないでしょうか (?)。

…なんかちゃんとした記事になったので、アドベントカレンダーの時期にやればよかったですね。そして、{transforEmotion} パッケージとモデルが講義で使っているPosit Cloudで動くのかが不安です🤪多分メモリもストレージも足りないんだろうなぁ。

何年か前に、この { } で囲う記法は推奨されない、とかそんな議論があったように思いますが、R以外のソフトウェア、ライブラリと区別するために、ここでは囲っています。 ↩︎
{atrrr}の方は、開発者が実装に向けて協力を求めています。https://github.com/JBGruber/atrrr/issues/23 ↩︎
{bskyr} は、ドキュメントを見ると機能が豊富そうですが、実際手元で試すと、最初の認証からうまくいきませんでした。 ↩︎
例によってなんだかよくわかっていませんが。 ↩︎
例によって（ｒｙ ↩︎
2つありますが、同じ作者で「長い名前の方を推奨します」と書いてあるので。https://huggingface.co/akiFQC/bert-base-japanese-v3_nli-jsnli ↩︎

baseballrパッケージによる大谷翔平選手の投球データの可視化

Mon, 09 Dec 2024 00:00:00 +0000

RでMLBのMVPプレイヤーのホームラン時の投球コースと球種を可視化するという記事がありました。自分でも、教材を作る際にbaseballrパッケージで大谷翔平選手の投球データ (2023年) を取得して、可視化したのを思い出して、コードだけ掲載します。

ライブラリの読み込みなど

library(tidyverse)
library(lubridate)
library(scales)
library(ggthemes)
options(dplyr.width = Inf, scipen = 1, digits = 4)
theme_set(theme_fivethirtyeight(base_family = "Hiragino Kaku Gothic ProN", base_size = 14))
theme_update(axis.title = element_text(), plot.title = element_text(size = 14))
library(baseballr)
library(khroma)
library(ggrepel)

データの取得

ohtani_pitch <- statcast_search_pitchers(start_date="2023-01-01", end_date="2023-12-31", pitcherid="660271")
ohtani_pitch <- ohtani_pitch |>
    mutate(pitch_type = fct_infreq(pitch_type)) |>
    mutate(pitch_type = fct_recode(pitch_type, "n/a" = ""))

head(ohtani_pitch)

## # A tibble: 6 × 113
##   pitch_type game_date  release_speed release_pos_x release_pos_z player_name   
##   <fct>      <date>             <dbl>         <dbl>         <dbl> <chr>         
## 1 FF         2023-08-23          94.2         -1.98          5.78 Ohtani, Shohei
## 2 ST         2023-08-23          76.1         -2.01          5.74 Ohtani, Shohei
## 3 ST         2023-08-23          77.2         -2.05          5.6  Ohtani, Shohei
## 4 FS         2023-08-23          90.1         -1.94          5.69 Ohtani, Shohei
## 5 FS         2023-08-23          90           -1.83          5.76 Ohtani, Shohei
## 6 ST         2023-08-23          79.8         -2.17          5.7  Ohtani, Shohei
##   batter pitcher events      description     spin_dir spin_rate_deprecated
##    <dbl>   <dbl> <chr>       <chr>           <lgl>    <lgl>               
## 1 687952  660271 ""          foul            NA       NA                  
## 2 687952  660271 ""          swinging_strike NA       NA                  
## 3 687952  660271 ""          swinging_strike NA       NA                  
## 4 687952  660271 ""          ball            NA       NA                  
## 5 687952  660271 ""          blocked_ball    NA       NA                  
## 6 458015  660271 "field_out" hit_into_play   NA       NA                  
##   break_angle_deprecated break_length_deprecated  zone
##   <lgl>                  <lgl>                   <dbl>
## 1 NA                     NA                          5
## 2 NA                     NA                         14
## 3 NA                     NA                          6
## 4 NA                     NA                         14
## 5 NA                     NA                         14
## 6 NA                     NA                         11
##   des                                                                           
##   <chr>                                                                         
## 1 Christian Encarnacion-Strand grounds into a double play, third baseman Eduard…
## 2 Christian Encarnacion-Strand grounds into a double play, third baseman Eduard…
## 3 Christian Encarnacion-Strand grounds into a double play, third baseman Eduard…
## 4 Christian Encarnacion-Strand grounds into a double play, third baseman Eduard…
## 5 Christian Encarnacion-Strand grounds into a double play, third baseman Eduard…
## 6 Joey Votto pops out to shortstop Andrew Velazquez.                            
##   game_type stand p_throws home_team away_team type  hit_location bb_type balls
##   <chr>     <chr> <chr>    <chr>     <chr>     <chr>        <int> <chr>   <int>
## 1 R         R     R        LAA       CIN       S               NA ""          2
## 2 R         R     R        LAA       CIN       S               NA ""          2
## 3 R         R     R        LAA       CIN       S               NA ""          2
## 4 R         R     R        LAA       CIN       B               NA ""          1
## 5 R         R     R        LAA       CIN       B               NA ""          0
## 6 R         L     R        LAA       CIN       X                6 "popup"     0
##   strikes game_year pfx_x pfx_z plate_x plate_z on_3b on_2b  on_1b outs_when_up
##     <int>     <int> <dbl> <dbl>   <dbl>   <dbl> <dbl> <dbl>  <dbl>        <int>
## 1       2      2023 -0.61  1.05   -0.11    2.14    NA    NA 668715            1
## 2       1      2023  1.2   0.09    0.89    2.39    NA    NA 668715            1
## 3       0      2023  0.75  0.55    0.8     2.11    NA    NA 668715            1
## 4       0      2023 -1.41  0.58    0.59    1.01    NA    NA 668715            1
## 5       0      2023 -1.36  0.72    1.29    0.18    NA    NA 668715            1
## 6       0      2023  0.25  1.12   -1.03    2.98    NA    NA 668715            0
##   inning inning_topbot  hc_x  hc_y tfs_deprecated tfs_zulu_deprecated umpire
##    <dbl> <chr>         <dbl> <dbl> <lgl>          <lgl>               <lgl> 
## 1      2 Top            NA     NA  NA             NA                  NA    
## 2      2 Top            NA     NA  NA             NA                  NA    
## 3      2 Top            NA     NA  NA             NA                  NA    
## 4      2 Top            NA     NA  NA             NA                  NA    
## 5      2 Top            NA     NA  NA             NA                  NA    
## 6      2 Top            98.3  137. NA             NA                  NA    
##   sv_id   vx0   vy0     vz0     ax    ay    az sz_top sz_bot hit_distance_sc
##   <lgl> <dbl> <dbl>   <dbl>  <dbl> <dbl> <dbl>  <dbl>  <dbl>           <dbl>
## 1 NA     6.27 -137. -6.07    -9.09  33.0 -17.8   3.36   1.55             211
## 2 NA     3.93 -111.  0.0236   8.87  24.1 -31.8   3.36   1.55              NA
## 3 NA     4.74 -112. -1.35     5.24  23.7 -27.5   3.36   1.55              NA
## 4 NA     9.37 -131. -6.85   -18.2   29.7 -24.2   3.39   1.53              NA
## 5 NA    10.7  -130. -9.45   -17.7   27.0 -22.1   3.49   1.53              NA
## 6 NA     2.05 -116. -1.32     1.90  22.6 -22.1   3.4    1.6              175
##   launch_speed launch_angle effective_speed release_spin_rate release_extension
##          <dbl>        <dbl>           <dbl>             <dbl>             <dbl>
## 1         73.8           32            94.6              2289               6.8
## 2         NA             NA            75.7              1217               6.5
## 3         NA             NA            77.2              2188               6.7
## 4         NA             NA            90.5              1000               6.9
## 5         NA             NA            90.8              1045               7  
## 6         75.3           61            80.2              2191               6.6
##   game_pk fielder_2 fielder_3 fielder_4 fielder_5 fielder_6 fielder_7 fielder_8
##     <dbl>     <dbl>     <dbl>     <dbl>     <dbl>     <dbl>     <dbl>     <dbl>
## 1  716890    681351    592273    650859    500871    623205    545341    666160
## 2  716890    681351    592273    650859    500871    623205    545341    666160
## 3  716890    681351    592273    650859    500871    623205    545341    666160
## 4  716890    681351    592273    650859    500871    623205    545341    666160
## 5  716890    681351    592273    650859    500871    623205    545341    666160
## 6  716890    681351    592273    650859    500871    623205    545341    666160
##   fielder_9 release_pos_y estimated_ba_using_speedangle
##       <dbl>         <dbl>                         <dbl>
## 1    592669          53.6                        NA    
## 2    592669          54.0                        NA    
## 3    592669          53.8                        NA    
## 4    592669          53.6                        NA    
## 5    592669          53.5                        NA    
## 6    592669          53.9                         0.017
##   estimated_woba_using_speedangle woba_value woba_denom babip_value iso_value
##                             <dbl>      <dbl>      <int>       <int>     <int>
## 1                          NA             NA         NA          NA        NA
## 2                          NA             NA         NA          NA        NA
## 3                          NA             NA         NA          NA        NA
## 4                          NA             NA         NA          NA        NA
## 5                          NA             NA         NA          NA        NA
## 6                           0.015          0          1           0         0
##   launch_speed_angle at_bat_number pitch_number pitch_name      home_score
##                <int>         <dbl>        <dbl> <chr>                <dbl>
## 1                 NA            11            5 4-Seam Fastball          2
## 2                 NA            11            4 Sweeper                  2
## 3                 NA            11            3 Sweeper                  2
## 4                 NA            11            2 Split-Finger             2
## 5                 NA            11            1 Split-Finger             2
## 6                  3            10            1 Sweeper                  2
##   away_score bat_score fld_score post_away_score post_home_score post_bat_score
##        <dbl>     <dbl>     <dbl>           <dbl>           <dbl>          <dbl>
## 1          0         0         2               0               2              0
## 2          0         0         2               0               2              0
## 3          0         0         2               0               2              0
## 4          0         0         2               0               2              0
## 5          0         0         2               0               2              0
## 6          0         0         2               0               2              0
##   post_fld_score if_fielding_alignment of_fielding_alignment spin_axis
##            <dbl> <chr>                 <chr>                     <dbl>
## 1              2 Standard              Standard                    204
## 2              2 Standard              Standard                     65
## 3              2 Standard              Standard                     69
## 4              2 Standard              Standard                    317
## 5              2 Standard              Standard                    191
## 6              2 Standard              Standard                    105
##   delta_home_win_exp delta_run_exp bat_speed swing_length
##                <dbl>         <dbl> <lgl>     <lgl>       
## 1              0             0     NA        NA          
## 2              0            -0.064 NA        NA          
## 3              0            -0.072 NA        NA          
## 4              0             0.063 NA        NA          
## 5              0             0.042 NA        NA          
## 6              0.036        -0.361 NA        NA          
##   estimated_slg_using_speedangle delta_pitcher_run_exp hyper_speed
##                            <dbl>                 <dbl>       <dbl>
## 1                         NA                     0              88
## 2                         NA                     0.064          NA
## 3                         NA                     0.072          NA
## 4                         NA                    -0.063          NA
## 5                         NA                    -0.042          NA
## 6                          0.019                 0.361          88
##   home_score_diff bat_score_diff home_win_exp bat_win_exp age_pit_legacy
##             <int>          <int>        <dbl>       <dbl>          <int>
## 1               2             -2        0.703       0.297             28
## 2               2             -2        0.703       0.297             28
## 3               2             -2        0.703       0.297             28
## 4               2             -2        0.703       0.297             28
## 5               2             -2        0.703       0.297             28
## 6               2             -2        0.667       0.333             28
##   age_bat_legacy age_pit age_bat n_thruorder_pitcher
##            <int>   <int>   <int>               <int>
## 1             23      29      24                   1
## 2             23      29      24                   1
## 3             23      29      24                   1
## 4             23      29      24                   1
## 5             23      29      24                   1
## 6             39      29      40                   1
##   n_priorpa_thisgame_player_at_bat pitcher_days_since_prev_game
##                              <int>                        <int>
## 1                                0                           14
## 2                                0                           14
## 3                                0                           14
## 4                                0                           14
## 5                                0                           14
## 6                                0                           14
##   batter_days_since_prev_game pitcher_days_until_next_game
##                         <int>                        <int>
## 1                           1                           NA
## 2                           1                           NA
## 3                           1                           NA
## 4                           1                           NA
## 5                           1                           NA
## 6                           1                           NA
##   batter_days_until_next_game api_break_z_with_gravity api_break_x_arm
##                         <int>                    <dbl>           <dbl>
## 1                           0                     1.54            0.61
## 2                           0                     3.93           -1.2 
## 3                           0                     3.33           -0.75
## 4                           0                     2.27            1.41
## 5                           0                     2.11            1.36
## 6                          18                     2.47           -0.25
##   api_break_x_batter_in arm_angle
##                   <dbl>     <dbl>
## 1                  0.61      36.7
## 2                 -1.2       33.4
## 3                 -0.75      34  
## 4                  1.41      37.6
## 5                  1.36      34.8
## 6                  0.25      33.1

球速の分布

1
2
3

ggplot(ohtani_pitch, aes(x = effective_speed)) +
    geom_histogram(fill = fivethirtyeight_pal()(1), colour = "white") +
    labs(title = "大谷翔平投手の投球速度の分布 (2023年)", x = "球速 (マイル)", y = "度数")

ggplot(ohtani_pitch, aes(x = effective_speed, y = pitch_type, fill = pitch_type)) +
    stat_boxplot(geom = "errorbar") +
    geom_boxplot() +
#    scale_fill_light() +
    labs(title = "大谷翔平投手の球種別の投球速度分布 (2023年)", x = "球速 (マイル)", y = "")

ggplot(ohtani_pitch, aes(x = effective_speed, y = pitch_type, fill = pitch_type)) +
    geom_violin() +
    scale_fill_light() +
    labs(title = "大谷翔平投手の球種別の投球速度分布 (2023年)", x = "球速 (マイル)", y = "")

球種別投球数

1
2
3

ggplot(ohtani_pitch, aes(x = pitch_type)) +
    geom_bar(fill = colour("light")(length(levels(ohtani_pitch$pitch_type)))) +
    labs(title = "大谷翔平投手の球種別投球数 (2023年)", x = "球種", y = "度数")

ohtani_pitch_percentage <- ohtani_pitch |>
    group_by(pitch_type) |>
    summarise(prop = n() / nrow(ohtani_pitch)) |>
    mutate(labels = percent(prop), csum = rev(cumsum(rev(prop))), 
         pos = prop/2 + lead(csum, 1), pos = if_else(is.na(pos), prop/2, pos)) |>
    arrange(desc(prop))

ggplot(ohtani_pitch_percentage, aes(x = "", y = prop, fill = pitch_type)) +
    geom_col(colour = "black") +
    geom_label_repel(aes(y = pos, label = labels), size = 4.5, nudge_x = 0.7, show.legend = FALSE) +
    coord_polar(theta = "y", direction = -1) +
    scale_fill_light() +
    labs(title = "大谷翔平投手の球種別投球数 (2023年)", x = "球種", y = "度数", fill = "球種") +
    theme(axis.text = element_blank(), axis.ticks = element_blank(), axis.title = element_blank(), panel.grid.major = element_blank(), panel.grid.minor = element_blank())

ggplot(ohtani_pitch_percentage, aes(x = prop, y = "", fill = pitch_type)) +
    geom_bar(position = position_fill(), stat = "identity") +
    geom_label_repel(aes(x = pos, label = labels), size = 4.5, nudge_y = 0.6, show.legend = FALSE) +
    scale_fill_light() +
    scale_x_reverse() +
    labs(title = "大谷翔平投手の球種別投球数 (2023年)", x = "球種", y = "度数", fill = "球種")

投球マップ

ohtani_pitch_position <- ohtani_pitch |>
    select(plate_x, plate_z, pitch_type) |>
    mutate(plate_x = plate_x * 30.48, plate_z = plate_z * 30.48)

ggplot(ohtani_pitch_position, aes(x = plate_x, y = plate_z, colour = pitch_type)) +
    annotate(geom = "rect", xmin = -28, xmax = 28, ymin = 40, ymax = 105, fill = "black", alpha = 0.3) +
    geom_point(alpha = 0.4, size = 2) +
    scale_x_continuous(breaks = seq(-150, 120, by = 30)) +
    scale_y_continuous(breaks = seq(-30, 200, by = 30)) +
    labs(title = "大谷翔平投手の投球マップ (2023年)", x = "", y = "")

MacのUTMにインストールしたAlmaLinuxで共有フォルダーを有効化する

Wed, 08 May 2024 00:00:00 +0000

先に結論だけ書いておきますね

UTMでインストールしたAlmaLinuxとホスト間でフォルダーを共有するには9pファイルシステムをサポートしたカーネルが必要
ELRepoリポジトリを有効化する
sudo dnf install kernel-ml でELRepoの9pモジュールがサポートされたカーネルをインストールする
再起動して、mount コマンドなり /etc/fstab に書くなりしてマウントする

share (共有フォルダーをあらわす特殊デバイス名) が /mnt/macos にマウントされている

前置き1

4月から、やむを得ず🤪Macを使っています。6年近く使っていた富士通 FMV LIFEBOOK WU2/B3のバッテリーがヘタったのと、非常勤先の学部がMacなこと¹、そして学割 (教職員割) で少し安く、かつ無金利48回払いができたので、M3 Macbook Air 15インチを購入しました。LIFEBOOKも、大学で学生に配布 (一括購入) されているMacも13インチなんですが、ちょっと画面が小さいなと。年なので🤪　かといって、2キロ超えの16インチProは持ち歩く気にならない²ので、間をとって15インチにしました。さらに、キャンペーンで24000円ぶんAppleギフトカードで還元されたので、(他に使い道もないので) Magic Trackpadを買いました。

まぁ、M3 Macを買った途端にM4チップが発表されたんですが。

前置き2

Macになっても仕事は変わらないので、研修や教材作成のためにLinuxやWindowsの環境が必要なことがあります。イマドキは何でもDockerなのでしょうが、筆者は (未だ) Dockerがよくわかっていないのと、どうせ永続化してしばらく使うのなら、普通の仮想マシンでいいんじゃないかと思っています (DockerでWindowsを動かすのも大変そうですし)。Macで仮想マシンを作成、実行するソフトとして、Parallels Desktopが有名ですが、有償です。他にもVMware Workstation Player(なんだこのURLは…)やVirtualBoxもあります。その中で、今回はオープンソースのUTMを使うことにしました。UTMは、LinuxのKVMでも使われているqemuがベースになっています。App Storeから入手しようとすると1500円するんですが、公式サイトからは無料でダウンロードできます。

仮想マシンの作成は他の仮想化ソフトとほとんど変わらず、マウスクリックや数値の入力だけでできます。今回は、Linux環境を作る必要があったので、AlmaLinuxをインストールしました。

本題

やっと本題ですが、AlmaLinuxをインストールする際に、ホストMacの “デスクトップ” を共有するよう設定したのですが、Linux側からは見えませんでした。調べてみると、Linuxでは mount コマンドのオプションで9pと指定してマウントする必要がありました。仮想マシンのOSがUbuntuであれば、以下の記事の通りにすればよいでしょう。

しかし、標準的なインストール直後のAlmaLinuxでは、

# shareが共有フォルダーを示す特殊なデバイス名っぽい
# /mnt/macosにマウントする
sudo mount -t 9p -o trans=virtio share /mnt/macos/ -oversion=9p2000.L

mount: /mnt/macos: unknown filesystem type '9p'.

といったように「9pというファイルシステムはない」とエラーになりました。さらに調べてみると、RHEL系 (CentOS, Rocky, Alma…) では、標準のカーネルでは9pファイルシステムをサポートしていない (カーネルモジュールを読み込んでいない) ようでした。実際に、以下のコマンドでモジュールのサポート有無が確認できます。

1
2
3

grep -i 9p /boot/config-5.14.0-427.13.1.el9_4.aarch64

# CONFIG_NET_9P is not set

昔は何かハードウェアを認識させるためにカーネルモジュールを追加してリビルドしたりしていましたが、今はめんどい🤪ので、もう少し楽な解決策はないかと調べていたら、UTMのGitHub issueで「ELRepoのカーネルを入れるとよい」とありました。

今まで、RHEL系のLinuxをインストールする時は、EPELリポジトリとRPM Fusionリポジトリを有効化していましたが、ELRepoというのは初めて知りました。なんかサイトがレトロなので、本当に更新されているんだろうかと思いましたが、今も活発に動いているようです。サイトの指示の通りRPMのGPG鍵のインストール、リポジトリファイル (?　/etc/yum.repos.d/ 以下に入るファイル) のインストールを行いました。また、ミラーサーバーの一覧から、物理的にいちばん近そうなKDDI研究所のサーバーを参照するよう設定しました。そして、ELRepoでメンテナンスされているメインストリームのカーネルを以下のようにしてインストールします。

`1`	`sudo dnf install kernel-ml`

現時点でのカーネルのバージョンは6.8.9でした。AlmaLinux (9.4) のデフォルトは5.14.0なので、カーネルのバージョンが関係するような操作をする場合は注意が必要です。新しくインストールしたカーネルでは、9pファイルシステムがサポートされています。

grep -i 9p /boot/config-6.8.9-1.el9.elrepo.aarch64 
CONFIG_NET_9P=m
CONFIG_NET_9P_FD=m
CONFIG_NET_9P_VIRTIO=m
CONFIG_NET_9P_XEN=m
CONFIG_NET_9P_RDMA=m
# CONFIG_NET_9P_DEBUG is not set
# CONFIG_VIDEO_MT9P031 is not set
CONFIG_9P_FS=m
CONFIG_9P_FSCACHE=y
CONFIG_9P_FS_POSIX_ACL=y
# CONFIG_9P_FS_SECURITY is not set

これで、先ほどの mount コマンドが実行できるようになります。その前に、新しいカーネルで起動するために再起動が必要です。

1
2

# 正常にマウントできる
sudo mount -t 9p -o trans=virtio share /mnt/macos/ -oversion=9p2000.L

ここからはUTMのドキュメント通りですが、一般ユーザーでマウントしたフォルダーの読み書きができるように、chown コマンドで所有者を変更します。

`1`	`chown -R $USER /mnt/macos`

また、毎回手動で mount コマンドを実行するのではなく、仮想マシンの起動時に自動マウントするよう、/etc/fstab ファイルに以下の記述を追加します。

`1`	`share /mnt/macos 9p trans=virtio,version=9p2000.L,rw,_netdev,nofail 0 0`

ここまでやって、やっと仮想マシン側で作ったSSH鍵 (id_rsa.pub) をホストに送って authorized_keys に追加し、「ターミナル」アプリから仮想マシンにSSH接続できるようになりました。ただそれ (鍵の送信) がやりたかっただけなんですけどね。

…そして、書いていて気づきましたが、ローカルの仮想マシンなら公開鍵認証じゃなくてもパスワードでSSHできたじゃん、という。

そのために、3年前に中古でMacbook Air Early 2015 (11.6インチ) を買ったんですが、画面デモ用途としても現代ではスペックが足りなすぎました。まぁ、11.6インチはある種の憧れで、ずっと欲しいなぁと思っていたので後悔はしていませんが。 ↩︎
Proは30万円オーバーで、少額減価償却資産の特例 (一括償却) を超えてしまうというのもあります。 ↩︎

第110回Tokyo.Rで発表しました

Sat, 20 Jan 2024 00:00:00 +0000

タイトルの通りですが、2024年1月20日に開催された、第110回Tokyo.RでLT発表を行いました。

スライドを以下に貼り付けます。

20240120_110th_TokyoR_PortfoliodownによるWebサイトの作成など

また、「R言語の教材」についてはR言語の講義資料を公開しますをご覧ください。

【ネタ】日本最強の馬名をRでつくろう！

Thu, 14 Dec 2023 00:00:00 +0000

山ほど書きたいことがある (主に競馬について) んですが、ばっさりカットしました。ちなみに筆者は、全国に15場ある地方競馬のうち、14場 (＋廃止された荒尾) を訪れたことがあります。

2021年12月31日、エンパイアペガサス号の引退レースを見に、日帰りで水沢競馬場に行きました。見ての通り、中止になったんですが🤪

引退式まで見て、年が変わる直前に家に帰り着きました。

この記事では、競走馬の馬名を文字単位で分析し、最も賞金を稼ぐ可能性の高い名前 (文字の組み合わせ) を考察してみます。なお、Windowsのソフトを使ってデータを取得しているため、途中まではWindowsに限定した話です。

競馬と馬名

中央競馬 (JRA) とばんえいを除く地方競馬 (NAR) において、競走馬 (軽種馬) の馬名登録時には審査があり、以下のように基準が決まっています (抜粋)。詳細は「公益財団法人ジャパン・スタッドブック・インターナショナル馬名登録実施基準」(PDF) を参照してください。

カタカナ2文字から9文字以内
アルファベット表記で18文字以内 (空白含む)
過去の著名馬 (国内外のGI勝ち馬等) や直近5年に引退した馬と同名または紛らわしい馬名はNG
奇矯な馬名 (公序良俗に反する、実況に支障がある、商品名など広告宣伝目的である) もNG

また、馬名に使用できる文字は以下の82文字に限られます。

ア～ロ、ワ、ヲ、ンの46文字 (ヲは1997年から使用可能に)
濁音、半濁音の26文字 (ヴを含む)
ァィゥェォッャュョの9文字
長音 (ー)

名は体をあらわすか？

強い馬は名前もかっこいいものです。ディープインパクト、オルフェーヴル、サクラバクシンオー、トウカイテイオー…なんか強そうでしょ🤪そして、特に意識せず (ホントに！) 挙げたこれらの名馬の馬名には、すべて長音が含まれています。もしかしたら、これからデビューする2歳馬には長音を含む名前をつけると強くなるのかもしれません。

それとも、それぞれ時代を築いたキタサンブラック、イクイノックス親子のように、最近は促音 (ッ) をつけると強いのかもしれません (祖父ブラックタイドにも「ッ」がついています)。強い馬の名前には、もしかしたらパターンがあるんでしょうか。

そのように、ここでは文字 (単語ではなく) にフォーカスして、「どの文字はどれくらい強いのか」を分析してみたいと思います。そして、分析結果を踏まえて、「最強の文字を組み合わせた最強馬の馬名」 を提案したいと思います。

そもそも最強馬とは

最強馬論争は、競馬のセカイでも最も荒れる話題です🤪競馬ファンが2人以上いる場所で「最強馬ってどれ？」と絶対に口にしてはいけません。人間関係が破綻します。

とはいえ、何か基準がないと文字と強さの関係が評価できないので、ここでは獲得賞金額が強さであるとします。最も賞金を稼いだ馬が最強馬で、最も賞金を獲得しやすい文字が最強の文字です。「賞金」には1着～5着に入った際に支払われる賞金や、春秋のGIレースを3連勝した場合に支払われるボーナス、様々な手当がありますが、今回は細かな条件は無視して、単純に以下で紹介する競馬データに含まれる「賞金額」の数字を、各馬ごとに合計したものを獲得賞金額とします。

なお、(中央) 競馬の賞金はどんどん高額になっており、間もなく開催される有馬記念の1着賞金は5億円です。20年前 (2003年) は1億8千万円でした。これはGIレースだけでなく、新馬戦や条件戦なども同じです。そのため、単純に昔の馬よりも現在の馬のほうが平均的な獲得賞金は多くなります。それはそれで、馬名 (文字) を分析するうえでは、「最近のトレンド」が反映されるのでよいのかな、と思っています。

馬名と賞金データの取得

ということで、実際にデータを取得して、処理を進めていきましょう。

競馬のデータ

競馬に関するデータを取得する方法はいくつかあります。JRA公式のJRA-VANや、JRDB、地方競馬DATAなどの有償サービスに契約することで、リアルタイムに最新のデータにアクセスできます。

また、日本最大の競馬メディアnetkeiba.comのデータベースには、レース、競走馬、騎手などの膨大なデータが蓄積されており、Webスクレイピングすることでデータを取得できます。大抵の「競馬AI」開発者は、これらのデータをもとに独自の予測モデルを作っています。

が、今回はめんどくさい🤪のと、最新・リアルタイムデータは必要でないので、次に示す方法でデータを取得します。

KEIBA DATA SCOPEのインストール

今回は、KEIBA DATA SCOPEという無償のデータベースソフトをインストールすることで、膨大な量の競馬データ (ただし更新されない) をいちどに入手します。KEIBA DATA SCOPEは、上記JRA-VANや地方競馬DATAに対応したソフトで、“Targetのパクり” です😅本来の用途としては、ソフトから (利用契約した) JRA-VANや地方競馬DATAにアクセスし、さまざまな観点で集計分析して、予想に役立てることができます。

このKEIBA DATA SCOPEのインストーラーには、あらかじめJRA-VANと地方競馬DATAの全期間 (インストーラーリリース時点まで) のデータが組み込まれていて、インストールするだけで利用できます。有償サービスに契約したり、スクレイピングしなくても、(過去の) 競馬データは入手できるのです。なお、記事作成時点でのデータの範囲は、中央競馬は1986年以降、地方競馬は2005年以降、2023年9月26日までです。

早速、KEIBA DATA SCOPEをインストールします。フルセットアップ版のインストーラーに大量のデータが含まれているので、これを上記リンクからダウンロードします。そして、インストーラーをダブルクリックして、後は特に設定することもなく「次へ」や「OK」を押していきます。

KEIBA DATA SCOPEの起動

デスクトップにアイコンが表示されるので、ダブルクリックして起動します。

最初に起動すると、JRA-VANと地方競馬DATAへの接続を促されますが、今回はすでに保存されているデータを使うだけなので、どちらも「いいえ」を選択します。

すると、インターフェースが表示されます。Targetそっくりです🤪

この画面で、さまざまな条件でデータを検索し、集計して出力できます。なお、インストールして確認したところ、地方競馬のデータは馬名や成績は含まれているものの、通算の獲得賞金が含まれていませんでした。本来、サービスに契約して、最新データをダウンロードして使うものなのでしょうがないですが、今回は中央競馬に所属する (した) 競走馬に限定して集計、分析を行うことにします。

競走馬データの抽出と保存

今回は、特に条件を指定せず、データベースに格納されているデータを抽出します。[馬データ検索]メニューをクリックして表示される画面で、まず [2020年生まれ] (現3歳世代) と [中央登録] を選択して、[検索]ボタンを押します。

すると、5000頭あまりのデータが抽出されます。これを、[CSV出力] ボタンを押して保存します。生まれ年ごとのファイルとして保存するので、“2020.csv” といったような名前にします。

これを、10年ぶんほど繰り返します。再度、[馬データ検索] メニューから、[2019年生まれ] と [中央登録] を選択し、検索します。そして、結果をCSVファイルに出力します。同じ手順を、2010年生まれまで繰り返してください。

なお、出力したCSVファイルの文字コードはSHIFT-JISになっています。Rはバージョン4.2以降、Windows版でもUTF-8が標準になっているので、先にUTF-8に変換しておくか、ファイルの読み込み時に文字コードを指定します。

馬名データの分析

使用するパッケージ

さて、ここからはRプログラミングの話です。まず、使用するパッケージを列挙しておきます。

tidyverse
RMeCab
ggthemes

ggthemesパッケージは、見た目を調整するためのものなので、必須ではありません。以下のような感じで読み込みます。

library(tidyverse)
library(RMeCab)
library(ggthemes)
options(dplyr.width = Inf, scipen = 1, digits = 4)
# BIZ UD Gothicフォント: https://fonts.google.com/specimen/BIZ+UDGothic
theme_set(theme_fivethirtyeight(base_family = "BIZ UDGothic", base_size = 14))
theme_update(axis.title = element_text(), plot.title = element_text(size = 14))

馬名テキストファイルの読み込み

まずは競走馬データのCSVファイルを読み込み、今回の分析に必要な列だけ抽出します。ファイルは2010年～2020年までの11個に分かれていますが、最近のreadrパッケージは複数ファイルの読み込みに対応しているので、まとめて読み込みます。

1
2
3

files <- fs::dir_ls(path = "./data", glob = "*.csv")
df <- read_csv(files, id = "year")
knitr::kable(head(df))

year	馬名	性別	中央登録	在厩	所属	市場価格	市場取引時馬齢	馬齢	市場名	毛色	生年月日	獲得賞金	父名	父父名	母名	母父名	生産者	馬主	調教師	母馬齢	母賞金	母持込区分	母中央登録有無	インブリード	系統
./data/2010.csv	ミッキーマンデー	牡	済	NA	栗東	3,150千円	1歳	13歳	北海道サマーセール	栗毛	2010年04月04日	22,860千円	スズカフェニックス	サンデーサイレンス	カルメンジョオー	ミルジヨージ	赤石牧場	三木　久史	中村均	19歳	15,400千円	内国産	有	Northern Dancer 4+5(父方) /Nasrullah 5+5(母方)	サンデーサイレンス
./data/2010.csv	エアマデレーン	牝	済	NA	栗東	NA	NA	13歳	NA	青鹿毛	2010年04月22日	9,890千円	ゴールドアリュール	サンデーサイレンス	エアセイレン	Grand Lodge	稲原牧場	ラッキーフィールド	笹田和秀	6歳	0円	持込	有	Northern Dancer 4×4+5 /Special 4×5	ゴールドアリュール
./data/2010.csv	スリーエアウィーク	牡	済	NA	栗東	5,250千円	1歳	13歳	北海道セレクションセール	鹿毛	2010年03月05日	0円	スペシャルウィーク	サンデーサイレンス	エアリング	ダンシングブレーヴ	稲原牧場	永井商事	坪憲章	11歳	34,100千円	内国産	有	Northern Dancer 5×4+5	スペシャルウィーク
./data/2010.csv	スズカノジェリコ	牝	済	NA	栗東	NA	NA	13歳	NA	鹿毛	2010年04月09日	0円	スズカマンボ	サンデーサイレンス	スズカローズマリー	アフリート	稲原牧場	永井　啓弍	加藤敬二	7歳	19,525千円	内国産	有	Mr. Prospector 4×3	サンデーサイレンス
./data/2010.csv	キタノフェニックス	牡	済	NA	栗東	2,835千円	1歳	13歳	北海道オータムセール	鹿毛	2010年04月23日	0円	スズカフェニックス	サンデーサイレンス	センターシャイネン	ブライアンズタイム	稲原牧場	ジャパンフードビジネス	清水久詞	11歳	6,380千円	内国産	有	Hail to Reason 4×4 /Northern Dancer 4+5×5	サンデーサイレンス
./data/2010.csv	スズカブルパップ	牡	済	NA	美浦	NA	NA	13歳	NA	黒鹿毛	2010年04月11日	0円	スズカフェニックス	サンデーサイレンス	ブリイジースズカ	Danzig	稲原牧場	永井　啓弍	小島茂之	13歳	9,720千円	輸入	有	Northern Dancer 4+5×3	サンデーサイレンス

1頭の競走馬について、大量の情報が含まれています。どれも (競馬ファンにとっては) 興味深いですが、今回は馬名と獲得賞金だけに関心があるので、必要な列を抽出します。

df_part <- df %>%
    select(馬名, 獲得賞金) %>%
    filter(str_detect(馬名, "の", negate = TRUE)) %>%
    filter(str_detect(馬名, "\\p{Katakana}+")) %>%
    mutate(獲得賞金 = str_replace_all(獲得賞金, ",", "")) %>%
    mutate(獲得賞金 = str_replace_all(獲得賞金, "円", "")) %>%
    mutate(獲得賞金 = str_replace_all(獲得賞金, "千", "000")) %>%
    mutate(獲得賞金 = as.numeric(獲得賞金))

knitr::kable(head(df_part))

馬名	獲得賞金
ミッキーマンデー	22860000
エアマデレーン	9890000
スリーエアウィーク	0
スズカノジェリコ	0
キタノフェニックス	0
スズカブルパップ	0

データの中には、「(母名) の (生年)」というかたちで、名前がつかなかった (＝競走馬になれなかった😭) 馬のデータも含まれている可能性がある¹ので、「の」を含むデータを除外しています。また、データベースにはサラブレッドだけでなく、アングロアラブや純アラブも含まれており (ぜんぶ「軽種馬」なので)、それらには漢字の馬名がついていることがあります。²これを、Unicodeクラスの \\p{Katakana} でフィルタリングしています。

また、データベースの獲得賞金はコンマと「千」「円」が付与された文字列になっているので、これをnumeric型に変換しています。なお、「0円」というデータもあるので、「円」を先に除去し、次に「千」を000に変換しています。

これで、分析のためのデータが用意できました。

馬名を文字単位に分割し、Document-Term Matrixを作成する

次に、馬名を1文字ずつ分解します。これには、RMeCabパッケージの docNgramDF() 関数を使います。

1
2
3

docNgramDF(mojiVec = "MeCab", type = 0, pos = "Default", baseform =0,
 minFreq = 1, N = 1, kigo = 0, weight = "no", co = 0 , dic = "",
 mecabrc = "", etc = "" )

`1`	`dtm <- docNgramDF(df_part$馬名, type = 0)`

1
2
3

## 
## number of extracted terms = 82
## to make matrix now

RMeCabパッケージは関数ごとにオプション名が違ったりして、それぞれドキュメントを確認しないといけないですが、type = 0 で文字単位の分割をします。また、今回は指定しませんが、N オプションで文字の組み合わせ (Ngram) のサイズを指定できます。「サクラ」や「メジロ」など競走馬の「名字」にあたる冠名 (かんむりめい) で分析したい時に指定するとよいかもしれません。(マニア向け) まぁそれは「ウマ家」じゃん、という話ですが。

出力は、縦に行名 (“Row xx”)、横に馬名に使用される82文字が並んだ頻度表になります。

`1`	`knitr::kable(head(dtm[,1:10], 10))`

	[ア]	[ィ]	[イ]	[ウ]	[ェ]	[エ]
Row1	0	0	0	0	0	0
Row2	1	0	0	0	0	1
Row3	1	1	0	1	0	1
Row4	0	0	0	0	1	0
Row5	0	0	0	0	1	0
Row6	0	0	0	0	0	0
Row7	0	0	0	0	0	0
Row8	0	0	0	0	0	0
Row9	0	0	0	0	0	0
Row10	0	0	1	0	0	0

これで、「馬名に使われる文字の頻度」がわかるようになりました。せっかくなので、集計してみます。

char_freq_df <- data.frame(freq = sort(colSums(dtm), decreasing = TRUE)) %>%
  rownames_to_column("char") %>%
  mutate(char = str_replace_all(char, "\\[|\\]", ""))
knitr::kable(head(char_freq_df, 10))

char	freq
ー	33884
ン	25724
イ	18374
ル	16703
ス	14262
ラ	12036
ト	11451
リ	10962
ア	10651
シ	9726

長音 (ー) が圧倒的に多いですね。続いてン、イと並んでいます。棒グラフにしてみましょう。

# 頻度順に並ぶよう文字をfactor型にしてlevelを変更する
char_freq_df$char <- as.factor(char_freq_df$char)

ggplot(char_freq_df, aes(x = fct_reorder(char, freq, .desc = TRUE), y = freq)) +
  geom_bar(stat = "identity") +
  labs(title = "馬名に使用される文字の頻度", x = "", y = "度数") +
  theme(axis.text.x = element_text(size = 6))

文字ごとに賞金額を割り当てる

次に、「文字がどのくらい賞金を稼ぐか」🤔を検討します。作成したDocument Term Matrixに各馬の馬名と獲得賞金を結合します。

dtm <- as.data.frame(dtm)
dtm$馬名 <- df_part$馬名
dtm$獲得賞金 <- df_part$獲得賞金
dtm %>%
  arrange(desc(獲得賞金)) %>%
  select(馬名, 獲得賞金) %>%
  slice(1:10) %>%
  knitr::kable()

	馬名	獲得賞金
Row10687	キタサンブラック	1813200000
Row27205	アーモンドアイ	1445800000
Row34589	コントレイル	1108000000
Row31848	クロノジェネシス	1077500000
Row31650	グランアレグリア	1027500000
Row46896	イクイノックス	1005000000
Row12599	シュヴァルグラン	990200000
Row23078	スワーヴリチャード	873100000
Row23201	リスグラシュー	865600000
Row23184	レイデオロ	846000000

データが9月末までなので、イクイノックスの天皇賞・秋とジャパンカップの賞金が加算されていません。また、サウジカップで約13億円を獲得したパンサラッサや、ドバイワールドカップで約9億円を獲得したウシュバテソーロがランクインしていないため、海外の賞金も含まれていないようです。³

この賞金を、馬名の1文字ごとに振り分けます。はじめに、行単位での処理をするよう rowwise() 関数で宣言します。次に、行単位で各列の値を集計する c_across() 関数を使い、馬名の文字数をカウントします (nchar() などでもっと簡潔に実現できますが)。そして、獲得賞金を文字数で割って、「一文字当たり賞金」なる謎の指標を算出します。5万行ほどの処理なので、そこそこ時間がかかります。なお、最後に ungroup() しておかないと、rowwise() の設定がその後の処理にも適用されてしまいます。

dtm <- dtm %>%
    rowwise() %>%
    mutate(文字数 = sum(c_across(-c(獲得賞金, 馬名)))) %>%
    mutate(一文字当たり賞金 = 獲得賞金 / 文字数) %>%
    ungroup()
dtm %>%
  select(馬名, 一文字当たり賞金) %>%
  arrange(desc(一文字当たり賞金)) %>%
  slice(1:10) %>%
  knitr::kable()

馬名	一文字当たり賞金
キタサンブラック	226650000
キセキ	221833333
アーモンドアイ	206542857
ソダシ	197666667
コントレイル	184666667
レイデオロ	169200000
キズナ	147233333
マカヒキ	147000000
ネロ	144620000
イクイノックス	143571429

1文字当たりで見ると、キセキやソダシといったGI馬に加え、ネロ (GIII京阪杯2勝) の「文字パ」🤪🤪🤪の良さが目立ちます。

文字ごとの平均収得賞金を集計する

今度はこの一文字当たり賞金を文字数と掛け合わせます。つまり、キセキであれば、キ: 221833333 × 2, セ: 221833333 × 1という計算です。そして、その結果を全データで平均し、「5万頭のデータにおける、1文字当たりの平均獲得賞金」を算出します。

(このへん、もはや自分でも何を計算しているのかよくわからないので、平均になっていないかもしれません…)

dtm_prize <- dtm %>%
    mutate(across(-c(獲得賞金, 文字数, 一文字当たり賞金, 馬名), ~ .x * 一文字当たり賞金)) %>%
    select(-馬名, -獲得賞金, -文字数, -一文字当たり賞金) %>%
    summarise(across(everything(), mean)) %>%
    t() %>%
    as.data.frame() %>%
    rename(賞金 = V1) %>%
    rownames_to_column("文字") %>%
    mutate(文字 = str_replace_all(文字, "\\[|\\]", ""))

dtm_prize %>%
  arrange(desc(賞金)) %>%
  slice(1:10) %>%
  knitr::kable()

文字	賞金
ー	1048732
ン	820056
イ	579125
ル	552438
ス	475892
ラ	407010
ア	391203
ト	368149
リ	350891
シ	279636

結果として、「ー」は1文字当たり104万8732円の賞金を稼ぐ、ということがわかりました。実際のところ、データに含まれる5万3366頭のうち、賞金が0円の馬が2万2989頭もいるので、平均としては低くなります。中央競馬で賞金を稼ぐことだけでも大変です。

また、文字の頻度とほぼ同じ結果になりました。理由はわかりませんが (計算が間違っている可能性も)、競走馬の馬名を付ける馬主、クラブの人達も「よく走る文字の組み合わせ」をなんとなくわかって使っているのかもしれません。

この結果も、棒グラフにしてみます。ここでは上位10文字だけ、色を変えてみます。

# 頻度順に並ぶよう文字をfactor型にしてlevelを変更する
dtm_prize$文字 <- as.factor(dtm_prize$文字)
dtm_prize <- dtm_prize %>%
  mutate(文字 = fct_reorder(文字, 賞金, .desc = TRUE))

color_list <- c(rep("#fc4f30", 10), rep("#008fd5", 72))

ggplot(dtm_prize, aes(x = 文字, y = 賞金, fill = 文字)) +
  geom_bar(stat = "identity") +
  scale_fill_manual(values = unname(color_list)) +
  labs(title = "1文字当たりの平均獲得賞金", x = "", y = "平均獲得賞金") +
  theme(axis.text.x = element_text(size = 6), legend.position = "none")

この辺の文字を組み合わせた馬名にすれば、たくさん賞金を稼ぐ強い馬になりそうです。

決定！これが最強馬の馬名だ！

ということで、上位の文字を使った馬名を考えてみましょう。ただ、めんどい🤪ので、最近流行りの生成AI (Microsoft EdgeのCopilot) に考えさせました。

あなたはとても優秀なコピーライターで、ネーミングセンスを誰からも評価されています。そこでお願いです。以下の10文字を組み合わせて、競走馬の馬名を5通り作ってください。

ー,ン,イ,ル,ス,ラ,ア,ト,リ,シ

なお、その際には次のルールを必ず守ってください。

日本語、英単語、フランス語、スペイン語で意味がある名前である

カタカナ2文字から9文字以内

アルファベット表記で18文字以内 (空白含む)

過去の著名馬や直近5年に引退した馬と同名または紛らわしい馬名はNG

奇矯な馬名 (公序良俗に反する、実況に支障がある、商品名など広告宣伝目的である) もNG

あなたならできます！がんばってください！

結果は以下のようになりました。

こんにちは、これはBingです。競走馬の馬名を作るのは面白い挑戦ですね。😊

私は以下の5通りの馬名を考えました。どうぞご覧ください。

リアルト (Rialto): ヴェネツィアにある有名な橋の名前です。フランス語とイタリア語で意味があります。カタカナ4文字、アルファベット6文字です。

シリウス (Sirius): 最も明るい恒星の名前です。英語とフランス語で意味があります。カタカナ4文字、アルファベット6文字です。

アイリス (Iris): 虹の女神や花の名前です。日本語、英語、フランス語で意味があります。カタカナ4文字、アルファベット4文字です。

ラトリー (Latry): フランスのオルガニストの名前です。フランス語で意味があります。カタカナ4文字、アルファベット5文字です。

スリアン (Srian): スペイン語で「輝く」や「光る」を意味する「resplandecer」の派生語です。スペイン語で意味があります。カタカナ4文字、アルファベット5文字です。

これらの馬名は、私の知識とインターネットの検索結果に基づいて作成しました。もし、何か間違いや問題があれば、お詫び申し上げます。🙇

私の回答はお役に立ちましたか？もっと知りたいことがあれば、お気軽にお尋ねください。😊

それっぽいですね🤪なんか、ディープインパクト×ヨーロッパ系輸入牝馬の産駒っぽさがあります。もう少し長い名前も考えさせてみましょう。

ありがとうございます。すばらしいです！では、もう5通り名前を作ってください。その際、今度は6文字以上になるように考えてみてください。お願いします。

どういたしまして。ありがとうございます。😊

6文字以上の馬名を作るのは、少し難しいですが、挑戦してみます。

私は以下の5通りの馬名を考えました。どうぞご覧ください。

アリストラ (Aristra): ギリシャ語で「最高の」や「最良の」を意味する「aristos」の派生語です。英語とフランス語で意味があります。カタカナ5文字、アルファベット7文字です。

リシュリエ (Richelieu): フランスの歴史的人物で、ルイ13世の宰相として有名なカトリック教会の枢機卿の名前です。フランス語で意味があります。カタカナ5文字、アルファベット8文字です。

スリランカ (Sri Lanka): アジアの島国の名前です。日本語と英語で意味があります。カタカナ5文字、アルファベット9文字です。

イリュシオン (Illusion): 幻想や錯覚を意味する英単語です。英語とフランス語で意味があります。カタカナ6文字、アルファベット8文字です。

トリスタン (Tristan): ケルト神話や中世の伝説に登場する英雄の名前です。英語とフランス語で意味があります。カタカナ6文字、アルファベット7文字です。

これらの馬名は、私の知識とインターネットの検索結果に基づいて作成しました。もし、何か間違いや問題があれば、お詫び申し上げます。🙇

私の回答はお役に立ちましたか？もっと知りたいことがあれば、お気軽にお尋ねください。😊

ありがとうございます。すばらしいです！では、もう5通り名前を作ってください。その際、今度はカタカナで6文字以上になるように考えてみてください。お願いします。

どういたしまして。ありがとうございます。😊

カタカナで6文字以上の馬名を作るのは、さらに難しいですが、挑戦してみます。

私は以下の5通りの馬名を考えました。どうぞご覧ください。

アリスター (Alistair): スコットランドの男性名で、「人々の守護者」を意味します。英語で意味があります。カタカナ6文字、アルファベット8文字です。

リュシアン (Lucien): フランスの男性名で、「光」を意味します。フランス語で意味があります。カタカナ6文字、アルファベット6文字です。

イリュージア (Illusia): 幻想や錯覚を意味する英単語「illusion」の派生語です。英語で意味があります。カタカナ6文字、アルファベット7文字です。

トリスターナ (Tristana): ケルト神話や中世の伝説に登場する英雄トリスタンの女性版の名前です。英語とフランス語で意味があります。カタカナ7文字、アルファベット8文字です。

スリランキー (Srilanky): アジアの島国スリランカの愛称です。日本語と英語で意味があります。カタカナ7文字、アルファベット8文字です。

これらの馬名は、私の知識とインターネットの検索結果に基づいて作成しました。もし、何か間違いや問題があれば、お詫び申し上げます。🙇

私の回答はお役に立ちましたか？もっと知りたいことがあれば、お気軽にお尋ねください。😊

リュシアンとかイリュージアは社台RHっぽいですね🤪(ュもジも候補に含まれていませんが) これから馬名を登録するみなさまは、こんな馬名を付けてみると、きっと愛馬が活躍してくれることでしょう。

他には、 「トライアール」(Try R!) なんてのもいいですね。 おぉ、いいオチがついた😅

おわりに

この記事では、競走馬の馬名を文字単位で分析し、最も賞金を稼ぐ可能性の高い名前を考えてみました。実際には、馬名は冠名がついたり、両親など血統からの連想や、馬主の各年度のテーマ⁴、本馬自身の特徴⁵などによって名付けられるので、この記事が何かの役に立つことはありませんが、分析のひとつのアプローチということで。

ちなみに、24日に行われる有馬記念の出走馬の中では、シャフリヤール、スルー セブ ンシー ズ、 アイアン バローズや ライラ ック (ックも11、12位) などは、賞金を稼ぎそうな名前をしています。

世の中、「競馬×データ分析」というと予想AIばかりですが、他にも競馬のデータにはいろんな楽しみ方があります。競馬のデータは、ウマとヒト (騎手、調教師、生産者)、数値、文字、絶対値 (タイム、賞金)、相対値 (着順)、時系列 (戦績、通過順位)、血統など、多様な属性のデータが混在したデータセットです。また、ドメイン知識があるかないかで、データの見え方もまったく変わってきます。おそらくそのあたりが、「高度理系IT人材」を魅了して、優れた競馬AIを生み出している理由でもあるのでしょう (他に、土日は10分ごとに予測の答え合わせができる、という手軽さも)。

みなさんもぜひ、「競馬×データ分析」＝ウマナリティクスの世界に、足を踏み入れてみてはいかがでしょうか。

ところで、分析をしていて思い出したんですが、90年代にサラブレ誌で連載されていた「もうひとつのダビスタワールド」(もうダビ) で「最弱馬作り」として「ヘンな馬名をつけると馬がやる気をなくして弱くなる」「同じ文字を何度も使うと投げやりだと判定されて弱くなる」とかやってたんですよね。もちろんゲームにはそんな仕様はないので、単なるネタなんですが。

ちなみに筆者は、「もうダビ」や上掲の「ウマ家」の著者で、現在も (マジメな) 解説者としてテレビに出演している須田鷹雄氏のファンです。ですから「もうダビ」も未だに持っていて、しかも楽天競馬ハッカソンの場で本に須田さんのサインをもらったりしています。

まぁ、楽しかったというか時間の無駄だったというか…。

今回は “中央登録” にチェックを入れているので除外できているはずですが。データベース内には馬名登録されていない馬のデータも多数含まれています。 ↩︎
これも、“中央登録” のチェックで除外できているはずではあります。ちなみに、アングロアラブは競馬からは姿を消しましたが、各地の牧場で乗馬用として、あるいは宮内省の御料牧場で儀礼用の乗馬や各地の神社の神馬となるべく、現在も少頭数ながら生産されています。 ↩︎
これはnetkeiba.com等のデータベースでも同様なので、JRA-VANの一次データが国内 (中央) の賞金のみを記録しているのだと思われます。 ↩︎
シゲルカカリチョウ、シゲルヒラシャインなどの「役職シリーズ」など。 ↩︎
ディープインパクトは、セリで本馬の眼を見たオーナーが、瞳の輝きに吸い込まれそうな衝撃を受けたことから名付けられました。 ↩︎

Posit CloudにMeCab, RMeCab, gibasa, Sudachiをインストールする

Wed, 21 Dec 2022 00:00:00 +0000

結論

それぞれのスクリプトを入手し、実行してください。

MeCabのインストール

RMeCabのインストール

Sudachi (sudachipy) のインストール

デモ環境もどうぞ

上記スクリプトを配置したPosit Cloudプロジェクトを用意しました。Googleアカウントなどでログインし、無料で利用できます (25時間まで)。

https://posit.cloud/content/5159920

はじめに

大学の授業で「モダンなRプログラミング」(自称) を教えています。「文系情報学部」¹なので、ローカルのPC (Mac) に環境構築させるのが大変かな²と、授業ではPosit Cloud (旧RStudio Cloud) にあらかじめ各回の授業で必要なパッケージなどをインストールして共有しています。

ある回のテーマがテキストマイニングで、日本語を処理するためにMeCabと、MeCabをRから利用するためのRMeCab、比較的新しいgibasaをインストールする必要がありました。また、別系統としてSudachiも使ってみることにしました。

Posit Cloudの環境

ただ、Posit Cloudはクラウドサービスなので、ソフトウェアのインストールや、実行 (呼び出し) にいろいろな制約があり、一般的な手順通りではうまくインストールできません。そもそもそういう用途を意図していないのでしょうけど。例えば、以下のような点で不便です。³

root権限がない

Posit Cloudは、裏でUbuntuが使われていますが、ユーザー権限で動いており、sudo や apt などのroot権限が必要なコマンドは実行できません。そのため、何かR以外のソフトウェアを使いたい場合は、ソースコードをダウンロードして、Posit Cloudの環境でコンパイルすることになります。

ソフトウェアをインストールした環境を共有しても、Rパッケージ以外はコピーされない

ユーザーのホームディレクトリ下にソフトウェアをインストールしても、環境を受講者に共有すると、別のユーザー環境が割り当てられ、ホームディレクトリ以下は、パッケージがインストールされる ~/R ディレクトリ以外は共有されません。逆に言えば、インストール先に ~/R 以下を指定すれば共有できますが、(Linuxの) ライブラリへの絶対パス (/home/rXXXXX/R/... の XXXXX 部分) が変わり⁴、一部のパッケージはライブラリを見つけられず、使用できません。

フリープランではメモリが1GBしか使えないので、少し大きなソフトウェアはコンパイルできない

これは「それで困るなら金を払え」ということなのですが、例えば、MeCabの辞書を強化するNEologd辞書を使おうとしても、コンパイル作業の途中でメモリ不足で強制終了されます。おそらく、RadiantやStanなどの大きなパッケージもコンパイルできないでしょう。⁵

なお、Pythonライブラリは pip コマンドでインストールできますが、やはりメモリの問題で、データ分析系の大きめのライブラリはインストールできない場合があります。

そのような環境で、いろいろと試行錯誤して、とりあえず自分の意図した (授業ができる) 環境は作れたので、方法を紹介します。

MeCabのインストール

MeCabは日本語形態素解析器のデファクトスタンダードです。Linux環境では、ソースコードが公開されており、コンパイルしてインストールします。⁶

Posit Cloudの環境では、上述のようにroot権限がないため、システム領域 (/usr/local 下) にはインストールできません。そこで、インストール先をホームディレクトリ (/home/rXXXXX) 以下に指定する必要があります。それ以外は一般的なインストール手順の通りです。MeCabとIPA辞書のソースコードをダウンロードし、ホームディレクトリ下にインストールするスクリプトを作成しましたので、ダウンロードしてPosit Cloud内に配置し、ファイルを開き “Run Script” ボタンを押せば、インストールができます。

これで、/home/rXXXXX/usr/local/ 以下にMeCabがインストールされます。なお、上述のようにこのディレクトリは環境を共有しても引き継がれません。

RMeCabのインストール

次に、RからMeCabを呼び出すRMeCabパッケージをインストールします。この際、RMeCabはコンパイル中にMeCabを探す (mecab-config コマンドなどを実行する) ため、先ほどのホームディレクトリ下にインストールしたMeCabを認識させる必要があります。また、コンパイル時には LD_LIBRARY_PATH や CPPFLAGS などの環境変数も正しく指定する必要があります。このあたりで、以前はじめてPosit CloudでRMeCabを使おうとして大分悩んだのですが、Sys.setenv() 関数とwithrというパッケージを使えば実現できる、ということがStack Overflowにあった (URL失念) ので、そのようにしてインストールするスクリプトを作成しました。これも、ダウンロードしてPosit Cloudに配置し、ファイルを開いて “Source” ボタンを押せば実行されます。MeCabのインストール場所を、withrパッケージの with_makevars() 関数に環境変数を指定してRMeCabパッケージに教えています。

gibasaのインストール

上記のスクリプトでは、gibasaパッケージもインストールしています。RMeCabと同様に、MeCabのインストール場所を教える必要があるため、Sys.setenv() 関数で mecabrc ファイルの場所を、MECAB_DEFAULT_RC という環境変数で指定しています。そして、GitHubに公開されているソースを remotes::install_github() 関数でインストールしています。

Posit Cloud上のRのバージョンについて

Posit Cloudでは、自動的に最新のRに環境が移行するようで、例えば少し前にR 4.2.1で作った環境を、しばらくしてから開くとR 4.2.2で立ち上がります。⁷そのため、上記スクリプトではR 4.2.2のインストールパスを直接指定していますが、今後バージョンが変わった際には、適宜数字を書き換える必要があります。

Sudachiのインストール

MeCab以外の形態素解析器として、近年利用が広がっているSudachiも使ってみました。sudachirパッケージもあるのですが、CRAN版、GitHub版ともに、Posit Cloudの環境では動作させることができませんでした。一方、つい先日投稿されたRでも、良いSudachi Lifeを送りたいという記事があり、RからPythonを呼び出すreticulateパッケージを使って比較的容易にSudachiを活用する例があったので、こちらに沿って教材は作成しました。

いずれにしてもSudachiのPython版sudachipyをインストールする必要がありますが、pipコマンドだけでインストールできます。こちらも、1行だけですがスクリプトにしており、“Run Script” ボタンで実行、インストールできます。

なお、Pythonライブラリは一度プロジェクトを再起動しないとRから見えないようなので、インストール後は画面右上の “…” メニューから、“Relaunch Project” を実行して再起動します。

完了！

これで、MeCab、RMeCab、gibasa、sudachipyが利用できるようになりました。ファイルを用意しておけば、それぞれ長くても数分以内に実行完了するので、講義をしながら適宜指示をして裏で実行させておき、話の区切りがついたところで操作に移る、ということができるでしょう。

デモ環境もどうぞ

上記スクリプトを配置したPosit Cloudプロジェクトを用意しました。Googleアカウントなどでログインし、無料で利用できます (25時間まで)。

https://posit.cloud/content/5159920

おわりに

こんな感じの授業をしており、教材執筆、プレゼンテーションもできますので、データ分析、IT基礎関係の非常勤講師を探している大学、各種学校関係者の方はご検討いただければ幸いです。

Webサイトトップページのお問い合わせフォームなどからご連絡ください。

ヨソの立派な大学の博士課程を修了された先生が言うとなんか問題ですが、自分の母校なので、自分自身を省みて「そんなもの」でしょう。 ↩︎
実際のところ、install.packages() や brew install だけなのですが、それでも手順書を順番通りに実行してくれない人は、社会人研修でも多くいます。そういうトラブルシューティングは面倒なので、ベンダー系研修会社ではPC持ち込みを許可せず、すべて環境を用意して研修をやっています。 ↩︎
タダで素晴らしいものを使わせてもらっているので、それに文句を言うつもりはまったくなくて、「そういう環境だ」と思っているだけです。 ↩︎
Posit Cloudのプロジェクト番号 (URL) とも異なり、予測・決め打ちは不可能です。 ↩︎
多くのパッケージは、Posit社によってバイナリ版が用意されているので、CRANにあるものであれば、コンパイルは不要です。 ↩︎
Ubuntuなどで、バイナリパッケージが提供されていることもあります。 ↩︎
おそらく、バージョンを固定する方法はありません。切り替えは、画面から簡単にできます。 ↩︎

Rのグラフィックスで日本語や記号を化け・ヌケなく表示する

Sat, 26 Nov 2022 00:00:00 +0000

結論

RStudioの中では

raggパッケージを描画に使用するよう設定しましょう。

PNG / JPEGの場合

library(tidyverse)
library(rpart)
library(partykit)
library(ggparty)
library(ragg) # パッケージをインストールする

colnames(iris) <- c("がく片長","がく片幅","花びら長","花びら幅", "種")

res <- rpart(種 ~ ., data = iris)

#---ここが本題！---#
# plot() 関数の結果を出力する場合
## png形式の場合、agg_png() 関数を使う
agg_png("rpart_plot.png", width=1280, height=1280,
  pointsize=24, res=120)
plot(as.party(res))
dev.off()

## jpeg形式の場合、agg_jpeg() 関数を使う
agg_jpeg("rpart_plot.jpg", width=1280, height=1280,
  pointsize=24, res=120)
plot(as.party(res))
dev.off()
#---ここまで本題！---#

# ggplot2で作成したグラフィックスを ggsave() 関数で出力する場合
p <- ggparty(as.party(res)) +
    geom_edge() +
    geom_edge_label(aes(label = prettyNum(breaks_label,
      digits = 1)), size = 4) +
    geom_node_label(aes(label = splitvar), ids = "inner") +
    geom_node_plot(
        gglist = list(geom_bar(aes(x = "", fill = 種),
          position = "fill"), theme_bw(base_size = 15)),
        scales = "fixed", id = "terminal",
        shared_axis_labels = TRUE,
        shared_legend = TRUE, legend_separator = TRUE)

#---ここが本題！---#
# ggsave() では raggパッケージがインストールされていれば
# デフォルトで使用される
ggsave("ggparty_ggsave.png", p, width=1280, height=1280,
  units="px", dpi=120, bg = "white")
#---ここまで本題！---#

plot() 関数の出力結果: 左が png() デバイス、右が ragg::agg_png() デバイス

ggsave() 関数の出力結果: 左が png() デバイス、右が ragg::agg_png() デバイス

PDFの場合

library(tidyverse)
library(rpart)
library(partykit)
library(ggparty)
library(systemfonts) # パッケージをインストールする

colnames(iris) <- c("がく片長","がく片幅","花びら長","花びら幅", "種")
res <- rpart(種 ~ ., data = iris)

#---ここが本題！---#
# cairo_pdf() 関数を使う
cairo_pdf("rpart_plot.pdf", width=12, height=12,pointsize=24,
  family="Meiryo UI")
plot(as.party(res))
dev.off()
#---ここまで本題！---#

# ggplot2で作成したグラフィックスを ggsave() 関数で出力する場合
p <- ggparty(as.party(res)) +
    geom_edge() +
    geom_edge_label(aes(label = prettyNum(breaks_label,
      digits = 1)), size = 4) +
    geom_node_label(aes(label = splitvar), ids = "inner") +
    geom_node_plot(
        gglist = list(geom_bar(aes(x = "", fill = 種),
          position = "fill"), theme_bw(base_size = 15)),
        scales = "fixed", id = "terminal",
        shared_axis_labels = TRUE,
        shared_legend = TRUE, legend_separator = TRUE)

#---ここが本題！---#
ggsave("ggparty_ggsave.pdf", p, width=12, height=12,
  units="cm", dpi=120, bg = "white", device=cairo_pdf,
  family="Meiryo UI")
#---ここまで本題！---#

plot() 関数の出力結果: 左が pdf() デバイス、右が cairo_pdf() デバイス

ggsave() 関数の出力結果: 左が pdf() デバイス、右が cairo_pdf() デバイス

上の結論だけで十分だと思いますが…少し説明

タイトルは文字数の関係でやや対象が広くなっていますが、実際には、(1) Windows環境で (2) RのグラフィックスをPNG / JPEG / PDF出力する (3) 日本語が表示されればフォントの種類にこだわらない　時の話です。(1) OSを限定しない、(2) より汎用的な出力形式で (3) 任意のフォントを使う　場合についての解説として、以下のようなものがあります。

ただ、~~長くてムズカシイんで~~…。Rを長く、本格的に使う方は、Rがフォントを取り扱う仕組みなども学習するとよいと思いますが、「ネット記事をコピペしてRでグラフを描いたら文字が出ない！明日レポートの提出なのに！」といった “普通の” 方には、「とりあえずこうしたら解決するよ」という情報を提示するのも重要かなと思います。

raggパッケージを用いたPNG / JPEG形式の出力

グラフィックスをファイルに出力する場合、PNG / JPEGとPDFでは、方法が異なります。PNG / JPEGについては、近年利用が広まっているraggパッケージを使うと簡単です。標準ではインストールされていないので、install.packages("ragg") としてインストールしましょう。

RStudioでは、標準でグラフィックスにraggパッケージのデバイスを使う機能が組み込まれているので、それを選択するだけで、文字化け・ヌケはなくなります。[Tools] - [Global Options] - [General] - [Graphics] から設定します。また、その操作の際、raggパッケージがインストールされていなければ自動的にインストールもしてくれます。

RStudioにおいてraggパッケージを利用する設定

設定を行ったうえで、[Plots] タブの [Export] ボタンからPNG / JPEGファイルに出力すれば、文字化け・ヌケのないグラフィックスが得られます。

ただしこれは、あくまでRStudioのPlotsタブの設定なので、RStudioを使っていても、プログラム中で png() 関数や ggsave() 関数を使っている部分には反映されません。

プログラム中でグラフィックスを出力したい場合は、raggパッケージが提供する agg_png() や agg_jpeg() デバイスを使います。

library(ragg)
...
agg_png("ファイル名",...)
plot(...)
dev.off()

agg_jpeg("ファイル名",...)
plot(...)
dev.off()

ggplot2を使う場合、ggsave() 関数ではraggパッケージがインストールされていれば、デフォルトで使用されるため、特にデバイス名を指定する必要はありません。

`1`	`ggsave("ファイル名",...)`

systemfontsパッケージを用いたPDF形式の出力

PDFの場合、伝統的には、pdf(..., family="Japan1GothicBBB") と指定する方法があります。ただ、これはフォントを埋め込まず、「日本語のゴシック体」という概念を指定しているだけなので、実際にどのようなフォントで表示されるかはPDFリーダーとOSの設定次第になります。特に、Webサービスなどでは日本語を表示する設定がされていないことが多く、アップロードしたファイルで日本語がヌケてしまうことが多いです。

そのため、PDFにフォントを埋め込むほうが安全です。こちらも、伝統的にいろいろな方法が提案されてきました。

(2012) R のグラフで日本語を使う - 知に至る病 https://amano41.hatenablog.jp/entry/plot-with-japanese-fonts-in-R
(2015) R 好きな日本語書体でグラフに書き込める showtext パッケージ : 研究に使うポスグレ http://kenpg2.seesaa.net/article/415323425.html
(2020) 須通り_統計_Rにおける作図時のフォント設定を極める https://sudori.info/stat/stat_fig_font.html

2022年現在、もっとも手軽な方法は、systemfontsパッケージを使う方法だと思います。Windowsでは、インストールしたフォントをそのまま扱えます。また、OSにインストールしたフォントを使用するには、cairo_pdf() デバイスを使用します。

プログラム例は以下のようになります。

1
2
3

library(systemfonts)
...
cairo_pdf("ファイル名", ..., family = "フォント名")

ggplot2を使う場合も、ggsave() 関数の device オプションと family オプションで日本語フォントを使用できるようになります。

`1`	`ggsave("ファイル名", ..., device=cairo_pdf, family="フォント名")`

なお、お使いのWindowsで使用できるフォントの情報は、systemfontsパッケージの system_fonts() 関数で得られます。以下は、筆者の環境での例です。

1
2

library(systemfonts)
system_fonts() %>% filter(str_detect(name, "Meiryo"))

## # A tibble: 8 × 9
##   path                              index name                family   
##   <chr>                             <int> <chr>               <chr>    
## 1 "C:\\Windows\\Fonts\\meiryo.ttc"      0 Meiryo              Meiryo   
## 2 "C:\\Windows\\Fonts\\meiryo.ttc"      1 Meiryo-Italic       Meiryo   
## 3 "C:\\Windows\\Fonts\\meiryo.ttc"      2 MeiryoUI            Meiryo UI
## 4 "C:\\Windows\\Fonts\\meiryo.ttc"      3 MeiryoUI-Italic     Meiryo UI
## 5 "C:\\Windows\\Fonts\\meiryob.ttc"     0 Meiryo-Bold         Meiryo   
## 6 "C:\\Windows\\Fonts\\meiryob.ttc"     1 Meiryo-BoldItalic   Meiryo   
## 7 "C:\\Windows\\Fonts\\meiryob.ttc"     2 MeiryoUI-Bold       Meiryo UI
## 8 "C:\\Windows\\Fonts\\meiryob.ttc"     3 MeiryoUI-BoldItalic Meiryo UI
##   style       weight width  italic monospace
##   <chr>       <ord>  <ord>  <lgl>  <lgl>    
## 1 Regular     normal normal FALSE  FALSE    
## 2 Italic      normal normal TRUE   FALSE    
## 3 Regular     normal normal FALSE  FALSE    
## 4 Italic      normal normal TRUE   FALSE    
## 5 Bold        bold   normal FALSE  FALSE    
## 6 Bold Italic bold   normal TRUE   FALSE    
## 7 Bold        bold   normal FALSE  FALSE    
## 8 Bold Italic bold   normal TRUE   FALSE

R Markdownの場合

R Markdown文書では、setup チャンクに以下のように書いておけば、文書内で作成するグラフィックスのデバイスを指定できます。

```{r setup, include=FALSE}
knitr::opts_chunk$set(cache = FALSE, dev = "ragg_png")
```

Posit Cloudの場合

Posit Cloud (旧RStudio Cloud) では、裏で動いているOS (Ubuntu Linux) が「標準の日本語フォント」を知らないので、出力時に family を明示する必要があります。Posit CloudにはIPAexフォントがインストールされているので、family = "IPAexGothic" といったように指定すればよいでしょう。

まとめ

昔に比べれば、Rのグラフィックスにおける日本語の表示は格段に簡単になりました。フォントやそのバックエンドの知識がなくても、「とりあえずragg」「とりあえずsystemfonts」を使えば、表示できます。

論文や社内文書などでも、「MSゴシックで」など~~アホみたいな~~フォントの指定が求められることがありますが、この記事で紹介した方法で対応可能です。

Pythonの自学自習用コンテンツ

Tue, 22 Nov 2022 00:00:00 +0000

この記事は、以前このサイトで公開していたものを再公開するものです。

厚生労働省　Pythonで始めるプログラミング

https://www.mhlw.go.jp/content/11600000/000806709.pdf

PDFしか引っかからないので、どういう事業・予算で作られたものかよくわかりませんが、Pythonの環境構築から文法の基本、データ分析の基礎まで幅広くカバーした入門教材です。

慶応義塾大学ゼロから学ぶPython

https://kaityo256.github.io/python_zero/

京都大学 Python演習

https://repository.kulib.kyoto-u.ac.jp/dspace/handle/2433/265459

東京大学　Pythonプログラミング入門

https://sites.google.com/view/ut-python/

Python早見帳

https://chokkan.github.io/python/index.html

九州大学データサイエンス概論I & II

http://mdsc.kyushu-u.ac.jp/lectures

大東文化大学 Pythonプログラミング

http://www.ic.daito.ac.jp/~mizutani/python/index.html

福山大学 Pythonプログラミング演習

https://www.kkaneko.jp/cc/po/index.html

福山大学プログラミング入門とオンライン開発環境

https://www.kkaneko.jp/cc/online/index.html

Python実践データ分析100本ノック

https://www.shuwasystem.co.jp/support/7980html/5875.html

東大OCW コンピュータシステム概論

https://ocwx.ocw.u-tokyo.ac.jp/course_11409/

東大OCW データマイニング入門

https://ocwx.ocw.u-tokyo.ac.jp/course_11414/

ディープラーニング入門：Chainer チュートリアル

https://tutorials.chainer.org/ja/tutorial.html

機械学習帳

https://chokkan.github.io/mlnote/index.html

numpy 100本ノック

https://github.com/tetlabo/numpy-100/tree/master/jp

scipyレクチャーノート

http://www.turbare.net/transl/scipy-lecture-notes/index.html

YoutubeいちやさしいPython入門講座

「Python実践講座」

Rの自学自習用コンテンツ

Tue, 22 Nov 2022 00:00:00 +0000

この記事は、以前このサイトで公開していたものを再公開するものです。

今日からはじめるR 2021改訂版

Rに詳しくない、これからRを使ってみようかな、Rって何ができるの? という人向けにはちょうど良い内容ではないかと思います。

東京大学Open Course Ware 統計データ解析I

https://ocwx.ocw.u-tokyo.ac.jp/course_11405/

東京大学Open Course Ware 統計データ解析II

https://ocwx.ocw.u-tokyo.ac.jp/course_11408/

Rによる統計入門

https://htsuda.net/stats/

R自学自習の基礎知識

https://heavywatal.github.io/rstats/intro.html

Rによるデータ前処理実習 2021 東京医科歯科大

https://heavywatal.github.io/slides/tmd2021/

データエンジニアリング人材養成演習補助教材

https://demlc.github.io/Educational-materials/

滋賀大学の集中講義「データエンジニアリング人材養成演習」の補助教材です。こちらも前処理テクニックの紹介が中心です。

Rビギナーズガイド

https://syunsuke.github.io/r_beginners_guide/

Rで計量政治学入門

https://shohei-doi.github.io/quant_polisci/

私たちのR: ベストプラクティスの探究

https://www.jaysong.net/RBook/

統計・データ解析 (奥村晴彦)

https://oku.edu.mie-u.ac.jp/~okumura/stat/

R、R言語、R環境・・・・・・

https://mjin.doshisha.ac.jp/R/

jamovi完全攻略ガイド

https://bookdown.org/sbtseiji/jamovi_complete_guide/

jamoviで学ぶ心理統計

https://bookdown.org/sbtseiji/lswjamoviJ/

Jamoviという、裏でRが動いていて、マウス操作で使うことができる統計ソフトがあります。実は、R言語を覚えなくても、同じことはマウス操作でできます。そのマニュアルを、日本の大学の先生が翻訳・作成してくださっています。

r-wakalang

https://github.com/tokyor/r-wakalang

blogdownでプログラムをSyntax highlightingする

Fri, 18 Nov 2022 00:00:00 +0000

前の記事で、何行かのPythonプログラムを示しました。その際、これまでのブログの設定では、単にフォントがタイプライター体¹になるだけで、関数や引数、演算子などの色付け、いわゆるハイライト (Syntax highlighting) はされませんでした。

文字 (プログラム) としてはもちろん何の問題もないのですが、やはりプログラムがハイライトされていたほうが技術ブログっぽい🤪ので、どうにかできないか調べていました。

時期によっていろいろなアプローチがあったようで、やや古い記事が多く引っかかりました。日本語の記事が出てこないのは、あまりニーズがないのでしょうか。²

特に2つ目はめちゃくちゃ面倒で、「ここまでしなきゃいけないならハイライトいらんわ」となっていたのですが、Stack Overflowに今年投稿された以下のQAでは、とても簡単にできることがわかりました。

r - Syntax Highlighting in Hugo with blogdown in Rmarkdown - Stack Overflow

何と言ってもblogdownパッケージの開発者のYihui Xie氏が回答しているので「正しい」はずです。…ですが、blogdownのフォルダーにある .Rprofile ファイルに options(blogdown.method = "markdown") と追記する方法は、私の環境ではハイライトされませんでした。

もうひとつ、.Rprofile ファイルにオプションを指定せず、記事ファイルの拡張子を .Rmarkdown とすると、常に .markdown ファイルが生成されます。(1.6 R Markdown vs. Markdown | blogdown: Creating Websites with R Markdown) こちらは、Visual Studio Codeでプレビューもされ、ハイライトも期待したとおりになされました。

実際に、ちょっと例を示してみましょう。今日、r-wakalang³にズレた投稿をしてしまったプログラムです。実行はしていません。

# setup
import pandas as pd
from sklearn.datasets import load_iris

data,target = load_iris(as_frame=True,return_X_y=True)

# problem
data.columns.values[1] = "Width"
data.columns.values[3] = "Width"

# solution
new_columns = {1: "Width1", 3: "Width2"}

data.columns = [data.columns.values[i] if data.columns.values[i] != "Width" else new_columns[i] for i in range(len(data.columns))]

(たぶん) ハイライトされていると思います。Rのプログラムも書いてみます。

a <- 3
b <- 10
x <- 1:100
e <- rnorm(100, sd = 8)
y <- a * x + b + e
df <- data.frame(x, y)

p <- ggplot(df, aes(x, y)) + geom_point()
p

(たぶん) ハイライトされていると思います (2回目)。こちらは、実行もされてグラフィックスが表示されているはずです。これで、技術ブログっぽくなりました🤪

お使いのブラウザでどう表示されるかは環境依存でしょうが。 ↩︎
Syntax Highlightingのニーズか、blogdownでブログを書くニーズかわかりませんが。 ↩︎
r-wakalangは、RユーザーのSlackコミュニティです。 ↩︎

scikit-learnのアップデートでPandasデータフレームのまま前処理が可能に

Fri, 18 Nov 2022 00:00:00 +0000

発表から1か月経っているので、Python界隈ではすでに知れ渡っているのかもしれませんが。

Scikit-Learn’s Transformers Now Output Pandas Dataframes!という記事がありました。記事によると、10月17日にscikit-learn開発チームが、「今後、sklearnの各種TransformerでPandasデータフレーム形式の出力ができるようになる」と発表したそうです。¹

これは、開発版において、StandardScaler() などのTransformerに、set_output() というメソッド (API) が追加されたことによります。

https://scikit-learn.org/dev/auto_examples/miscellaneous/plot_set_output.html

Transformerオブジェクトを作成する際に、set_output(transform="pandas") と指定することで、Pandasデータフレームを受け取って、出力もデータフレームで返すようになります。開発版をインストールしないと使えません²が、以下のようなことができるようになります (ドキュメントの丸写しですが)。

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler

X, y = load_iris(as_frame=True, return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, stratify=y, random_state=0)

scaler = StandardScaler().set_output(transform="pandas")

scaler.fit(X_train)
X_test_scaled = scaler.transform(X_test)
X_test_scaled.head()

Scikit-Learn開発版をインストールしてサンプルを実行した様子

これまでは、PandasとScikit-Learnの連携が部分的だったので、NumPy配列を介してデータをやり取りしていましたが、Scikit-LearnのTransformersがPandasデータフレームでの入出力に対応すると、より効率的に前処理プログラムを記述できますね。まだ正式リリースではないですが、研修教材も、そういうのを把握したうえで更新していかなくてはなりません。

scikit-learnってlinkedinでニュースを発信するんですね。 ↩︎
当然、バグが潜む可能性も高いので、実使用環境にインストールすることは推奨されません。 ↩︎

bookdown / blogdownで図のキャプションから図番号 "Figure X:" を消す

Mon, 14 Nov 2022 00:00:00 +0000

たまには技術的なことも。このブログは、Rのパッケージであるblogdownで作成しています。R Markdownで書いて、プログラムや画像などもその書式で扱えます。

ただ、画像を以下のようなチャンクで挿入すると、自動的に図番号が Figure X: と付いてしまいます。

```{r eval=TRUE,echo=FALSE,message=FALSE,warning=FALSE,fig.align="center"}
knitr::include_graphics("filename")
```

図をキャプチャして貼り付けるよくわからないことをしていますが。

技術的、アカデミックな内容なら、“Figure 1:” とかもまぁよいのですが、ミンティアには…。他にも、教材をR Markdownで作成し、bookdown::powerpoint_presentation2 で出力する際にも、あまり通し番号をつける必要もなく、毎回手で削除していました。ということで、どうにかして図番号を取り除けないか調べていました。

あまりニーズがないのか、けっこうな時間調べた結果、How to change the figure/table caption style in bookdown - R Markdown - RStudio CommunityというQAに辿り着きました。ここでは、“Figure X.” とコロンをピリオドにして、太字にしたい、といった質問に対して、以下のような回答がありました。

1
2
3

language:
  label:
    fig: !expr function(x) sprintf("**Figure %s.** ", x)

bookdownパッケージや、それを拡張したblogdownパッケージは、国際化に対応していて、ラベルを英語以外の言語に置き換えることができるそうです。ですから、例えばキャプションを「図X: 」としたければ、fig: '図' とすればよいです。一方、ここでは無名関数を定義して、それを評価しています。内部の細かい動作はわかりませんが、図番号を x で受け取って、Markdownの太字 ** で囲っています。また、bookdownパッケージは、これをファイルのYAMLに書いても反映されず、_bookdown.yml というファイル名でRmdファイルと同じフォルダーに置かないといけないそうです。

私がやりたいのは、ブログやPowerPoint教材ではそもそも “Figure X:” を表示したくないということなので、_bookdown.yml ファイルを以下のようにしました。

1
2
3

language:
  label:
    fig: !expr function(x) sprintf('')

とりあえず x は受け取らないといけないようなので¹受け取りつつも、何も返さないようにしました。すると、意図した結果が得られました。上図の「図をキャプチャして…」が、その出力です。

やりたいことは実現できましたが、記事を書くたびに同じ内容の _bookdown.yml ファイルを手動でコピーするのはめんどうなので、何かうまい方法があればよいのですが。

引数なしだとエラーになりました。 ↩︎

R Markdownファイルにチャンクそのものを表示する

Mon, 14 Nov 2022 00:00:00 +0000

R Markdownで教材を作っていると、コードチャンクの中身はもちろんですが、「チャンクはこうやって書きます」という、チャンク全体を出力したいことがあります。前の記事でも、fig.cap オプションの説明をするためにそのようにしています。

これについては、昨年大学の教材を作っていた時に、どうしたものかと悩んで調べたところ、Show an R markdown chunk in the final output - Stack OverflowというQAがありました。あまり詳しい動作は理解できていませんが、verbatim=TRUE というオプションを定義して、TRUE の場合は、 ```{r ...} という部分を文字列として出力し、最後に ``` も出力するようです。

blogdownでも、setup チャンクに以下のように書いておけば利用できます。

```{r setup, include=FALSE}
# print R Markdown chunk
# https://stackoverflow.com/q/19908158
hook_source_def = knit_hooks$get('source')
knit_hooks$set(source = function(x, options){
  if (!is.null(options$verbatim) && options$verbatim){
    opts = gsub(",\\s*verbatim\\s*=\\s*TRUE\\s*", "", options$params.src)
    opts = gsub("\\s*eval\\s*=\\s*TRUE\\s*", "eval=FALSE", opts)
    bef = sprintf('\n\n    ```{r %s}\n', opts, "\n")
    stringr::str_c(bef, paste(knitr:::indent_block(x, "    "), collapse = '\n'), "\n    ```\n")
  } else {
     hook_source_def(x, options)
  }
})
```

このままだと、Pythonチャンクであっても ```{r ...} と出力されたり、完ぺきではありませんが、「こんな感じでできそう」という意味では充分に参考になりました。