Regina

はじめに

あなたは、セルフレジを使用している時「何度やっても読み取ってくれない」、「バーコードがなかなか見つからない」 などと思ったことはありませんか？

この自動学習精算機「Regina」は、バーコードをスキャンしなくても商品を認識してくれるため、 そんな不満を解消してくれます。「Regina」が普及し、店員、顧客の負担軽減につながることを目的としています。

概要

「Regina」は、パッケージを自動で学習し、バーコードと紐付け、商品をどの角度からでも読み取ることができるシステムです。 例として、某大手コンビニチェーンは全国に20,000店舗以上あります。各店舗に1台「Regina」があると仮定した場合、 各店舗で同一商品を一度読み込むだけで、一気に20,000以上のデータが手に入るため、一瞬で記録・反映が可能になります。

機能

パッケージから商品の読み取り

バーコードを読み取る際にパッケージを学習します。再度スキャンする際には、パッケージから商品を推定でき、 バーコードを探さなくても良くなります。さらに、読み取ったパッケージ写真を使用し、再学習させることで読み取り精度を高めることができます。

バーコード読み取り

従来のレジと同様にバーコードを読み取り、商品のデータベースから価格などの情報を引き出すことができます。

値引きシールに対応

企業ごとに値引きシールは統一されていることが多いため、あらかじめ値引きシールの学習データを用意することで対応できます。

システム構成

このシステムはプログラミングコンテストに出場するための作品として、5人のチームで開発を行いました。
私は、このシステムのサーバ、クライアント、組み込みシステムの大部分の開発と管理を担当しました。

本プロジェクトでは、サーバとクライアントの間でリアルタイムでデータをやり取りするため、通信にはgRPCを使用しています。 gRPCはC#の型システムを十二分に活かすことができたため、この点でもよい選択だったと感じています。

工夫・苦労した点

• ある程度の画像枚数がないと画像認識の精度が出ないため、新商品などはカメラでバーコードを認識した後、その画像を学習に回すことで、精度の高い商品認識を実現しています。
  • バーコード認識の速度を上げるため、240FPS程度で撮影が可能なハイスピードカメラを採用しています。
• それでも、分類モデルの性能から何もない壁を商品として認識することがあったので、その問題の対策として超音波距離測定センサーを内蔵し、商品がカメラの近くにある場合のみ画像認識を走らせるようにしました。