ようこそ 現代農学 !
home

Kafka によるストリーム処理とデータ統合

デジタル農業の時代は、さまざまな利害関係者が農業生態系をより効率的、生産的、合理的にするために利用できる膨大な量の農業データを前面に押し出しました。アグテックを使用して農場レベルのデータを取得する、商品に必要な認証を確保する、サプライ チェーンに沿ったその動きを追跡するなど、サプライ チェーンの各段階で発生するトランザクションにより、世界中で毎分数百万のデータセットが生成されます。さらに、農場管理ソフトウェア、ドローン、センサー、その他の IoT デバイスなどのスマート農業デバイスは、リアルタイム データの可用性に大きく貢献しています。最終的には、さまざまなソースからのこのすべてのデータを消費し、論理的で整理された方法で情報を瞬時に配信するメカニズムが必要です。ここに Apache Kafka ® があります

Apache Kafka ® とは ?

Kafka は、分散データ システムにおけるコミット ログ (またはトランザクション ログ) の抽象化に基づくメッセージング キューとして、LinkedIn の元データ エンジニアによって考案されました。約 10 年前にオープンソースになったとき、Kafka は、複数のデータ ソースによって生成されたストリーミング データをリアルタイムで消費および処理する、最適化されたメッセージング システムに進化しました。

Kafka は、高速で耐久性があり、スケーラビリティが高く、毎日何兆ものイベントを処理できる、フォールト トレラントなパブリッシュ/サブスクライブ メッセージング システムとして最もよく知られています。 Fortune 100 企業の少なくとも 80% が、その速度と優れたパフォーマンスにより、さまざまな業界で採用されています。 The New York Times、Pinterest、Airbnb、Cisco、Netflix、Spotify、Twitter、または想像を絶する量のリアルタイム データを生成するその他のインターネット ベースのサービスを考えてみてください。それらはすべて Kafka を使用して、生成されたデータをそれぞれのシステムにリアルタイムでストリーミングします。

その 3 つの主な機能は次のとおりです。

  • レコードまたはイベントのストリームを公開 (書き込み) およびサブスクライブ (読み取り) する
  • これらのイベント ストリームを、生成された順序で効果的に保存します
  • イベント ストリームをリアルタイムで処理する

Kafka は通常、リアルタイム ストリーミング データのパイプラインを構築して、システム間でデータを確実に処理および移動するために使用されます。 Kafka のユースケースには、ウェブサイト アクティビティの追跡、メッセージの再生、リアルタイム分析、エラー回復、ログ集計、ストリーム処理、Spark または Hadoop へのデータの取り込み、指標の収集と監視などがあります。

画像ソース:Axula

Kafka はどのように CropIn を動かしていますか?

Apache Kafka® は、データ プロデューサーとデータ コンシューマーの間のバッファーとして機能します。また、信頼性の高い低遅延のマイクロサービス通信バスとして機能することで、CropIn のクラウドネイティブなアグテック プラットフォームにより大きな回復力をもたらします。

アップグレードされた SmartFarm Plus™ では、複数のシステム間でメッセージを中継するメッセージ ブローカーとして機能し、郵便配達員に匹敵する仕事です。たとえば、拡張エージェントまたはフィールド オフィサーがモバイル アプリで新しいイベントを記録すると (新しい農家または農場プロットの追加、プロットからのアラートの発生、収穫コレクションなど)、Kafka はこのイベントをメッセージとして受け取り、プッシュします。これは、統合されている他のシステムに転送されます。

企業が API ゲートウェイを使用して CropIn のプラットフォームを内部 IT インフラストラクチャ、ERP、またはその他のサードパーティ ソフトウェアと統合することを選択した場合、Kafka は 2 つのアプリケーション間で通信するチャネルとして機能し、システムとのリアルタイム統合を可能にします。さらに、ユーザーの好みに応じて、SmartFarm Plus™ アプリに記録されたイベントやアクティビティのプッシュ通知を有効にすることができます。これは、以前は SmartFarm ® には含まれていなかった機能です。 .さらに、メッセージ ブローカーとしての Kafka の役割をさらに拡張して、農機具や機械を統合することもできます。これにより、ユーザーは、事前構成された条件またはパラメーターに基づいて、機械が実行するイベントまたはタスクを簡単にスケジュールできます。

CropIn は、デジタル農業のイノベーションを先導するグローバルなアグテック プラットフォームです。絶え間なく進化し、アグテックの限界を押し広げているエコシステムとして、エンドユーザーが毎日より多くのことを達成するためのより大きな機会を提供します. SmartFarm の拡張バージョンは、「ThePlusFactor」と呼ばれるものをユーザーに提供し、すべての地上レベルのアクションを把握できるようにします。

CropIn の新しい SmartFarmPlus を使用すると、多くの可能性が広がります。詳細については、今すぐお電話ください。


農業技術

現代農学
現代農学