Deep Karmaning

技術系の話から日常のことまで色々と書きます

Python

luigiを使ってRスクリプトを実行してみる

概要 luigiという便利なバッチ実行のpythonフレームワークがあるのですが、その中でRのスクリプトを呼び出して使う例をあまり見なかったので、やってみました。 実行できる環境はdockerfile化しています。 github.com 実装 環境の準備 まずは環境の準備です…

Dockerを使った予測モデルのapi化の試み ―サーバーはGo、予測モデルはPython、R、Julia(未完成)で簡易アプリ化―

概要 irisデータを使ってサポートベクターマシンによる予測モデルをPython、R、Julia(未完成)で作ってapi化を行ってみたのでその紹介です。 リポジトリは以下。 github.com サーバー側はGoで実装してdocker化しているので、立ち上げればすぐ試せるようにし…

Pytorchで分散表現の学習手法であるskipgram、skipgram with negative samplingの実装

1.概要 分散表現(distributed representation)の学習手法である、skipgramとskipgram with negative samplingをPytorchを使って実装したので、その紹介をしたいと思います。 2.理論 まずは 理論的な側面を簡単に紹介します。 2.1.分散表現(distributed re…

【論文実装】Collaborative Filtering via Additive Ordinal Regression

はじめに 前回は以下記事にてオーソドックスなBias付きのMatrix Factorizationを実装しました。 rf00.hatenablog.com そして今回は以下論文のアプローチによる個々人の順序の間の差の違いを考慮したMatrix Factorizationを実装してみたいと思います。 Collab…

PythonでBias付きのMatrix Factorizationを実装してみる

概要 今回はMatrix FactorizationをPythonで実装してみたいと思います。 Bias付きのものとそうでないものを実装して精度を簡単に比較します。 通常のMatrix Factorizationとバイアス付きのMatrix Factorization それではMatrix Factorizationに関して少し具…

Pytorchでニューラルネットを構築して多クラス分類を試みる

概要 今回はPytorchでニューラルネットでの多クラス分類を試してみました。 Pytorchはkerasやchainerに並ぶDeep Learningフレームワークです。特に研究用途でよく使われているようです。 Pytorchに関しては以下の記事が詳しいので是非参考にしてください。 w…

Google Compute EngineにJupyterをインストールしてブラウザからアクセスできるようにする

概要 前回構築したGCPのデータ分析環境にJupyter等を入れてブラウザでアクセス出来るようにし、分析を実行できる環境を構築する方法のメモです。 rf00.hatenablog.com Anacondaのインストールと、ファイヤーウォールの設定のみで簡単に可能です。

RとPythonのデータフレーム操作の対応 #1

概要 普段データ分析ではRを使っているのですが、今後はPythonも使いっていきたいと思います。 そこでRでよく使うデータフレーム操作と、Pythonの操作の対応を自分が使う範囲の用途ですが調べてみました。 参考したのは以下。 https://assets.datacamp.com/b…