2017年5月22日月曜日

IBMのWatson IoT PlatformでMQTTブローカを設定する方法

  • IoT Platformの作成
  • 必要情報の設定(1/2)
  • 必要情報の設定(2/2)
  • コマンドによる確認
の大きく分けて4段階で設定する。

IoT Platformの作成


IoT Bluemixのカタログから、
Internet of Things Platformを選択


遷移先のページでLiteを選択し、Create


Liteプランでは 500デバイス上限で、200MBまでの通信が使える。


遷移先のページでLaunch



デバイスタイプの設定


左のメニューからDEVICESを選択。



 Add Deviceを選択。


Create device type



もう一度Create device type


デバイスタイプの名前を設定


ここで設定した名前が「デバイスタイプ」となる。
他の人が使っていない名前にする必要がある。

入力したらnextを押して進む。


次にテンプレートを選ぶ画面になるが、選択しなくてOK。


そのままNext。


最後に確認画面が出るので、Next。


メタデータの設定も空欄でOK。
今までNextと書かれていた部分がCreateになるので、クリック。





すると最初の画面に戻り、先程設定した値が選択されていることを確認してNext。


Device IDを設定する。
入力したらNext。


またメタデータの入力画面になるので、空欄でOK。



次の画面で2通りの選択肢が与えられるが、自分は入力欄にトークンを入力した。


入力したら確認画面になるので、Addを押して作成。


作成したら、Organization IDをメモっておく。(URLにも入っている)


ここまでで、
  • デバイスタイプ 
  • デバイスID
  • トークン
  • Organization ID
が揃った。
あとはAPI Keyを設定する。



API Keyの設定

上記の流れで来ると、まだデバイスタイプのウィンドウが開いていると思うので、×ボタンで閉じる。


メニューのAPPSを選択。


Generate API Keyをクリック。


API KeyとAuthentication Tokenをメモして、Generateをクリック。
特に、Authentication Tokenは再確認しづらい(できない?)ので、確実に保存しておく。


mosquittoによる確認

mosquittoのコマンドで確認
-uオプションや-Pオプションはシングルクォーテーションでくくっておかないと、文字列とターミナルソフトによっては変数展開されてしまう。

サブスクライブ(Subscribe)コマンド(【パラメータ】を上記で取得したものに置き換え)

mosquitto_sub -i a:【Organization ID】:【App ID(任意の文字列)】 -h 【Organization ID】.messaging.internetofthings.ibmcloud.com -u '【API Key】' -P '【Authentication Token】'  -t "iot-2/type/【デバイスタイプ】/id/【デバイスID】/evt/【トピック】/fmt/json" -d 
 上記コマンドを実行し、
Subscribed (mid: 1): 0
このようなステータスで止まっていればサブスクライブ中。


サブスクライブとは別のターミナルで以下のパブリッシュ側コマンドを実行。

パブリッシュ(Publish)コマンド(【パラメータ】を上記で取得したものに置き換え)

mosquitto_pub -i d:【Organization ID】:【デバイスタイプ】:【デバイスID】 -h 【Organization ID】.messaging.internetofthings.ibmcloud.com -u "use-token-auth" -P '【トークン】' -t "iot-2/evt/【トピック】/fmt/json" -m '{"d":{"q":"適当なJSONメッセージ。dやqも変えて良い"}}' -d
上記コマンドを実行すると、サブスクライブ側で
{"d":{"q":"適当なJSONメッセージ。dやqも変えて良い"}}
のようにパブリッシュしたjsonメッセージが受信できているはず。


これで無料でMQTTブローカーが手に入る。

2017年3月26日日曜日

Kindle版が存在するかチェックするスクリプト

スクレイピングの練習でAmazonの書籍ページにKindle版があるか確認するスクリプトを書いた。

https://github.com/syamoji/kindleCheck

エラー処理は引数チェック以外何もしていない…。

2017年1月10日火曜日

Jupyter Notebook にPython3カーネルを追加する

このPython 3を追加する方法。

確かJupyter自体はpipか何かで入れた。

環境
macOS 10.12.2
python --version
Python 2.7.9
which python
/usr/local/bin/python

http://qiita.com/sasaki77/items/bfa53828c973ba46e34d
こちらに記載の
python3 -m IPython kernelspec install-self
python2 -m IPython kernelspec install-self 
という方法では自分の環境ではモジュールが見つからずエラーになった。
下記の方法で解決。

python3 -m pip install ipykernel
python3 -m ipykernel install
参考:http://stackoverflow.com/questions/28831854/how-do-i-add-python3-kernel-to-jupyter-ipython

2016年10月9日日曜日

電子ペーパーモジュール Y-Con P020を使う

http://www.yslab.co.jp/ycon_20.html?menu_id=EPD&sub_menu_id=4
この電子ペーパーモジュールを買ったまま動かしてなかったので動かした。

ページにある通り、 共立のこのモジュールを使ってWindowsから画像送信した。

共立のページにリンクがあるドライバをインストールして、あとはTeratermから画像を送信すれば良い。

ただMacでは1bitのBMP画像が作りづらかった。

まず何とかしてBMP画像を作る。自分はPixelmatorで作った。
サイズはモジュールの都合上、200x96にしておく。

 ImageMagickをインストールしていればconvertコマンドが使えるので、これを使う。

convert 作ったBMPファイル.bmp -colors 2 +dither -type bilevel 出力するBMPファイル.bmp

 出力結果はアンチエイリアスなどが省かれるため、ちょっとギザギザに見える。

Before


After


Macで見ると赤背景に緑文字で見えたりするけど、問題ない。

あとはTeratermとかで転送すれば映るはず。



白背景に黒文字でやったはずだけど、反転した。
そういうものかもしれない。

電源がなくても最後の状態が保持できるので何かに使えそう。
Raspberry Piとかに繋いで状態表示するのも良さそう。
そのためにはBMP画像を自動で作らないといけないけど。

2016年8月15日月曜日

MATLABのmatファイルからPython PandasのDataFrameにごく簡単に変換する

MATLABで使用するmatファイルからPythonのPandasで使うDataFrameに変換しようとしてググったが、ちょっと直感的でない結果しかヒットしなかった。

http://poquitopicante.blogspot.jp/2014/05/loading-matlab-mat-file-into-pandas.html

とにかく簡単にDataFrameに変換しようとすると、以下のようになった。

# 必要ライブラリの読み込み
import pandas as pd
from scipy.io import loadmat
matdata = loadmat(u'変換したいmatファイル.mat')

# 一時変換用の辞書
dictFromMat = {}
# 辞書の要素を列挙し、DataFrameに変換
for key, value in matdata.iteritems():
    dictFromMat[key] = pd.Series(np.array(matdata[key]).flatten())
   
# 一時変換用の辞書からDataFrameを作成
dfFromMat = pd.DataFrame(dictFromMat)

型チェックとか、計算量とか何も考えていないのでベストかどうかは分からないが、とりあえずDataFrameに変換できた。
配列をflatten()しているので、一要素として配列を入れたい場合はこの方法は使えないが、csvのように一要素として一つの値しか取らない場合は使えると思う。

これでMATLABのベンダーロックインから逃れられる。

2016年3月16日水曜日

【更新】elasticsearchのkuromojiプラグインがエラーでインストール出来ない時の話

現時点で最新のElasticsearch 2.2で日本語解析プラグインのkuromojiを入れようとしたら
Could not find plugin descriptor 'plugin-descriptor.properties' in plugin zip
とか言われて、インストール出来なかった。

ググッて最初に出てきたGitHubページを参考に、コマンドの行だけ読んで
bin/plugin install elasticsearch/elasticsearch-analysis-kuromoji/2.7.0
と何も考えずに実行すると、上記エラーになる。
ページの上部に書いてある通り、
IMPORTANT: this project now moved to elasticsearch repository.
elasticsearchのリポジトリに移動しました。とあるので、
公式らしきGitHubページに書いてあるのだから…と素直に plugin-descriptor.properties とかを調べだすとドツボにはまる。

Elasticsearch公式のページにあるように
bin/plugin install analysis-kuromoji
とすればインストールできる。

公式GitHubページの方に早く反映いただけませんかねぇ?
→大変失礼致しました、書いてありました…。Elasticsearchの中の方からご連絡頂きました。


…と、ここまで書いて再度確認したら、上記操作でインストールされるのはkuromoji 2.2だった。
Elasticsearchとのバージョンの違いだろうか?
(kuromojiのGitHubページには、 kuromoji 2.2はElasticsearch 1.2用だと書かれているので、納得はしていない...)

2016年3月3日木曜日

InstagramからAPIを使わずにスクレイピングでタグ検索をする

インスタグラムで画像検索してディープラーニングにでも使うか〜
と思ってたらAPIが2015年12月の改訂により全然使えないものになっていた。

https://www.instagram.com/developer/

プライバシーポリシーみたいなのを登録しないと、自分自身と招待した10人位のユーザの情報しか取れない。
こんなんならFlickrのほうがまだマシだ。

https://www.flickr.com/services/api/

とはいえ、Instagramのほうがソーシャル感が強いのは事実。
何とかしようということで、スクレイピングするスクリプトを書いた。

https://github.com/syamoji/getInstagram

インスタグラムのWebページを観察すると、POSTで何かしら投げたら次のページが読み込めることがわかった。

スクリプト上部で検索タグを決めて、取得ページ数を設定したら情報が取得できる。
サーバの負荷にならないように、1ページ取得すると5秒待つ仕様にしてある。
デフォルトではCSVファイルに保存している。

gemとして公開までしてみたいなぁ