アジェンダ

• Twitterで機械学習

• 今日からはじめるLens

何者？

• Yusuke Izawa
• 東京工業大学 理学部 情報科学科 B3
• Scala エンジニア
• GitHub: @3tty0n

いままでやってきたこと

Sumally (2016/01 - 2016/06)

• モノの SNS
• レコメンドエンジンの開発
• Scala + spray

ドワンゴ (2016/08 - 現在)

• ニコニコ動画
• 課金システムの社内向け管理ツールの開発
• Scala + Play-framework

突然ですが

こんな格言を知ってる？

Twitter検索・クローリング・機械学習

これらは画像収集の三種の神器である

なるほど…

という訳で作りました

Twitter からアニメ画像を収集してツイートするマン

アプリの概要の説明

構成

• API

  • Twitter API
  • Google Cloud Vidion API

• 実装

  • Ruby
  • 主に twitter gem を利用

API の説明

Twitter API

• ユーザーのタイムラインや検索結果を取得出来る

• Twitter 検索を利用

  • パフォーマンスの観点から、ハッシュタグが付いているツイートのみを取得
  • body で JSON クエリを組み立てて叩く

ここから所々コードを使って説明していきます

クライアントの生成

def initialize_client # configuration option を通す
  Twitter::REST::Client.new do |config|
    config.consumer_key = $consumer_key
    config.consumer_secret = $consumer_secret
    config.access_token = $access_token
    config.access_token_secret = $access_token_secret
  end
end

クエリの組み立て

def build_twitter_search_query
  client = initialize_client
  client.search(
    "##{keyword}",
    # 日本
    :locate => "ja",
    # 最新のツイートと人気のツイート
    :result_type => "mixed",
    # リツイートを除く
    :exclude => "retweets",
    # URL やハッシュタグ、メディアなどが含まれているツイートを取得
    :include_entity => true
  )
end

Google Cloud Vision API

• Google が提供する機械学習の画像認識 API

  • 物体検知

  • 有害コンテンツ検知

  • 顔検知

  • テキスト検知

  • etc..

物体検知を利用する

物体検知 (Label Detection)

• 画像に含まれる物体を検知し、乗り物から動物まで多数のカテゴリの中から分類

  • body で JSON でクエリを組み立てて叩く

方針

• description が anime または cartoon のものをツイートする

  • description の粒度が細かいため

実装

# anime, cartoon と判定された画像をツイートする
def tweet_anime_image(image, value, client)
  # cloud vision api を叩いて一番スコアの高い属性を取得
  description = response_parse(get_cloud_vision_response(image))

  if description == 'anime' || description == 'cartoon'
    puts "これは #{description} です"
    puts value.media_uri.to_s
    media = open(value.media_uri.to_s)
    # 画像と属性をツイート
    client.update_with_media("これは #{description} です", media)
  end

end

意外といいじゃん！

ソース

https://github.com/3tty0n/suitgcv

Next

今日から始めるLens

今日から始める

Lens

Monocleライブラリを例に

Lens とは

Java でいうところの getter/setter を抽象化した概念

不変性を保ちつつ、ネストしたデータ構造に対するアクセスを Lens の合成で表現できるようにしたもの

Monocle とは

Haskell の Lens にインスパイアされた Scala ライブラリ

Monocle is an Optics library where Optics gather the concepts of Lens, Traversal, Optional, Prism and Iso. Monocle is strongly inspired by Haskell Lens.

どういうときに欲しくなる？

以下のような case class たちがいるとする

case class Street(name: String)
case class Address(street: Street)
case class Company(address: Address)
case class Employee(company: Company)

val employee = Employee(Company(Address(Street("Monocle Street"))))

Street の name を変更して新しいインスタンスを生成したい…！

既存の方法

copy メソッドを使う

val e2 = employee.copy(
  company = employee.company.copy(
      address = employee.company.address.copy(
        street = employee.company.address.street.copy(
          name = employee.company.address.street.name.toUpperCase
        )
      )
    )
  )
)

もし var だったら…

case class Street(var name: String)
case class Address(var street: Street)
case class Company(var address: Address)
case class Employee(var company: Company)

employee1.company.address.street.name.toUpperCase

しかしこれでは不変性が保てていない

不変性を保って var のときみたいにやりたい…

こんなときに Lens が便利なんですよ

Lens の定義方法

• 手動
• GenLens を使う
• @Lenses アノテーションを使う

　手動

val _name = Lens[Street, String](_.name)(n => s => s.copy(name = n))
val _street = Lens[Address, Street](_.street)(s => a => a.copy(street = s))
val _address = Lens[Company, Address](_.address)(a => c => c.copy(address = a))
val _company = Lens[Employee, Company](_.company)(c => e => e.copy(company = c))

GenLens

import monocle.macros.GenLens

val _name = GenLens[Street](_.name)
val _street = GenLens[Address](_.street)
val _address = GenLens[Company](_.address)
val _company = GenLens[Employee](_.company)

Lens を使って不変性を保ったまま新しいインスタンスを作ってみよう

before

val e2 = employee.copy(
  company = employee.company.copy(
    address = employee.company.address.copy(
      street = employee.company.address.street.copy(
        name = employee.company.address.street.name.toUpperCase
      )
    )
  )
)

after

val e2 = (company ^|-> address ^|-> street ^|-> name).modify(_.toUpperCase)(employee)