原创 paho-mqtt的一個坑
最近用js+paho-mqtt來做物聯網雲平臺的開發，通過web前端訪問消息隊列，在publish消息前生成一個message對象時，總是異常，提示： TypeError: Cannot read property 'Message' o
2020-06-24 17:56:41
2
原创 依據kafka已配置的分區數量來配置消費者對象數量
本文開發環境：windows 10,c# ,rdkafka開發庫 kafka主題的消費者對象數量是個重要指標，消費者數量與主題分區一一對應，如果消費者個數多了，多餘的消費者對象不能發揮作用，浪費了系統資源；如果消費者個數少了，就達不到發揮
2018-10-02 00:08:01
3
原创 C#RDKAFKA消費者的兩種工作模式：消息模式，線程模式
最近開發中，用到了這2種模式。線程模式處理數據的速度和內存可控，數據處理不及的話，都存儲在kafka種；消息模式並行處理，壓力過大時內存可能不方便控制。 消息模式： private EventConsumer CreateKafkaCon
2018-10-02 00:08:01
1
原创 c# Parallel.ForEach和for性能對比
今天百忙之中，突發奇想，證明一下Parallel.ForEach和for性能， namespace ParallelTest { public partial class Form1 : Form { pu
2018-09-30 00:06:10
3
原创 M2MQTT客戶端MqttClient異常問題解決
最近做一個物聯網設備模擬器，C#+net4.5，採用M2Mqtt.Net.dll開發庫，從VS2017工具nuget安裝。服務器採用EMQ 2.3.11穩定版。 計劃是一個c#winform應用程序，批量模擬多個物聯網數據採集器上傳數據
2018-09-30 00:06:10
12
原创 Windows平臺kafka單機環境的搭建
本文參考了https://blog.csdn.net/u010054969/article/details/70241478，今天搭建windows 單機版的kafka平臺成功，準備用於開發環境 在安裝zookeeper前，請確認java
2018-08-27 23:44:45
1
原创 [翻譯]用.NET平臺的Spark擴展包Mobius來開發Apache Spark應用
最近一個大數據項目中，用到數據挖掘，我一直用C#開發的，還不會JAVA，試圖用C#進行SPARK開發，發現網上有這個微軟的Mobius項目，但中文資料很少。也許是我還沒查到吧。就花幾個小時翻譯一下。後面有
2018-08-27 23:44:35
21
原创 【Spark Summit EU 2016】使用Mobius在.NET平臺上構建你的下一個Spark應用
摘要： 本講義出自Kaarthik Sivashanmugam在Spark Summit EU上的演講，主要介紹了微軟公司的用於在.NET平臺上構建Spark應用的C#的API——Mobius。 更多精彩內容參見雲棲社區大數據頻道ht
2018-08-27 23:44:35
1
原创 Spark中ml和mllib的區別
Spark中ml和mllib的主要區別和聯繫如下： ml和mllib都是Spark中的機器學習庫，目前常用的機器學習功能2個庫都能滿足需求。spark官方推薦使用ml, 因爲ml功能更全面更靈活，未來會主要支持ml，mllib很有可能會
2018-08-27 23:44:18
4
原创 常用內存數據庫介紹（二）
常用內存數據庫介紹（二） 4. 常用內存數據庫 4.1 SQLite SQLite是一個小型的C程序庫，實現了獨立的，可嵌入的，零配置的SQL數據庫引擎。特性包括： 事務操作是原子，一致，孤立，並且持久的(ACID)，即使在
2018-08-27 23:44:18
原创 常用內存數據庫介紹（一）
常用內存數據庫介紹（一） 1. 內存數據庫簡介 1.1 概念 一、什麼是內存數據庫 傳統的數據庫管理系統把所有數據都放在磁盤上進行管理，所以稱做磁盤數據庫（DRDB:Disk-Resident Database）。磁盤數據庫需要頻繁地
2018-08-27 23:44:18
原创 常用內存數據庫介紹(三）
常用內存數據庫介紹(三） 4.1.2 哪些場合適合使用其他的關係型數據庫管理系統（RDBMS） · 客戶端/服務器程序 如果你有許多的客戶端程序要通過網絡訪問一個共享的數據庫, 你應當考慮用一個客戶端/服務器數據庫來替代SQ
2018-08-27 23:44:18
原创 RTMPT 協議
RTMPT 協議 已有 1 次閱讀 2009-12-25 15:36 一、 概述 RTMPT 協議是HTTP協議的擴展，Adobe的Flash Player和media server支持。RTMPT的命令基本都是用來
2018-08-27 23:44:18
3
原创 常用內存數據庫介紹(四)
常用內存數據庫介紹(四) 4.5 H2 Database h2是Thomas Mueller提供的一個開源的、純java實現的關係數據庫，官方網站：http://www.h2database.com/html/main.h
2018-08-27 23:44:18
5
原创 c#應用程序使用log4net組建輸出不了日誌問題的解決
按網絡資料，在C# winform應用程序中使用log4net組建輸出日誌。 1、引用log4net.dll 2、在AssemblyInfo.cs中增加[assembly: log4net.Config.XmlConfigurator(W
2018-08-27 23:44:16
92