LINE Messaging APIで名刺のOCRを作ってみる

第一会議室です！！！

メインホールです！！！

空気清浄機です！！！

これら、本社オフィスをBlender(ブレンダー)を使って再現したものです。

これ、一切知識のなかった管理部の人に協力してもらって、半年ほどBlenderの勉強してもらって作ったものなんですよね。
すごくないですか？？

最初、脱出ゲームを作ろうと思ってたので、役割分担して着々と準備進めてたんですけど、、、

あらためて、勉強会のテーマを決定

OCRとは？

ただ現在はまだ文字のデータ化は、精度を高めるために、人力で頑張ってるので、速度面や費用面で、メリットが出づらい仕組みになってます。

まさに人口知能や、機械学習の得意とする領域だと思いますので、ここを研究開発の対象として北大との共同研究もはじまっております。

あらためて、OCRするのに必要なこと

①名刺の画像データを撮影し、加工するアプリ

②それをサーバーへ送る仕組み

③送られてきた画像を解析する仕組み

④解析結果を、アプリへフィードバックする仕組み

活用したサービスはこちら

①名刺の画像データを撮影し、加工するアプリ

Office Lens

https://itunes.apple.com/jp/app/office-lens/id975925059?mt=8

何年か前にこのアプリ知ったときには、すごい感動したんですよね
会議の後に、ホワイトボード撮影したら、台形補正されて、うおおお！みたいな。

なので、リスペクトもこめて、ここは、OfficeLensで。

②それをサーバーへ送る仕組み

LINEにも投げられるみたいのなので、

LINE Messaging API

LINEのMessaging APIを使って通信してみることにしました

Channel Saaske

LINEのデベロッパーアカウントで、サスケのチャンネルを作り、このbotとフレンドになって、画像投げることにしました。

LINEのMessaging APIとの連携の話しはあちこちに記事あると思うので割愛しますが、LINEに送ったメッセージ、エンドポイントに設定したサーバに送ることができるようになります。

あと、誰でもLINE持ってると思うんで、あらたなアプリのインストールとかなしに、サクッとツールとして使えるのは利点だと思うんですよね

サーバー

ちなみに

{
    "events": [
        {
            "message": {
                "id": "7179297075329", 
                "type": "image"
            }, 
            "replyToken": "6a03557d360e448ab7f9be5aabd21601", 
            "source": {
                "type": "user", 
                "userId": "Ub29e560ec0cd9f8a96092c5188f0b526"
            }, 
            "timestamp": 1513853555358, 
            "type": "message"
        }
    ]
}

処理をする言語は何でやっても良かったんですが、jsonの形もシンプルだったんで、こんな感じで、perlで書きました。（データ取り出す部分の参考までに）

あとはこのidを、以下パターンで組み立てて送れば、画像のバイナリデータを取得できる形です。

https://api.line.me/v2/bot/message/{message id}/content

③送られてきた画像を解析する仕組み

ここは今、メディアドライブさんの名刺OCRを使ってみようと思って、評価版のライブラリを借りてるので、こちらを使わせていただきました！

④解析結果を、アプリへフィードバックする仕組み

そんなわけで、まずは結果から

最後に