安裝 Kafka 服務
直接到 kafka 官網 , 下載最新的
wget https://mirror.bit.edu.cn/apache/kafka/2.5.0/kafka_2.13-2.5.0.tgz
解壓,進入目錄
tar -zxvf kafka_2.13-2.5.0.tgz
cd kafka_2.13-2.5.0
啓動 Kafka 服務
使用安裝包中的腳本啓動單節點 Zookeeper 實例
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
使用 kafka-server-start.sh 啓動 kafka 服務
bin/kafka-server-start.sh config/server.properties
創建 topic
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
查看 topic 列表,檢查是否創建成功
bin/kafka-topics.sh --list --zookeeper localhost:2181
$ test
生產者,發送消息
bin/kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic test
服務方面到這裏就差不多了,接下來就是 php 的事了。
安裝 PHP 擴展
rdkafka 安裝需要依賴 librdkafka , 所以先安裝 librdkafka
git clone https://github.com/edenhill/librdkafka.git
cd librdkafka
./configure
make && make install
安裝 php-rdkafka 擴展
git clone https://github.com/arnaud-lb/php-rdkafka.git
cd php-rdkafka
phpize
./configure --with-php-config=/usr/local/Cellar/[email protected]/7.2.24/bin/php-config ## 這裏根據自己的情況填寫路徑
make && make install
在 php-ini 加上
extension=rdkafka.so
重啓,php-fpm,就應該可以看到該擴展。
使用Kafka
創建一個生產者類
<?php
class KafkaProducer
{
public static $brokerList = '127.0.0.1:9092';
public static function send($message, $topic)
{
self::producer($message, $topic);
}
public static function producer($message, $topic = 'test')
{
$conf = new \RdKafka\Conf();
$conf->set('metadata.broker.list', self::$brokerList);
$producer = new \RdKafka\Producer($conf);
$topic = $producer->newTopic($topic);
$topic->produce(RD_KAFKA_PARTITION_UA, 0, json_encode($message));
$producer->poll(0);
$result = $producer->flush(10000);
if (RD_KAFKA_RESP_ERR_NO_ERROR !== $result) {
throw new \RuntimeException('Was unable to flush, messages might be lost!');
}
}
}
創建一個消費類
<?php
class KafkaConsumer
{
public static $brokerList = '127.0.0.1:9092';
public static function consumer()
{
$conf = new \RdKafka\Conf();
$conf->set('group.id', 'test');
$rk = new \RdKafka\Consumer($conf);
$rk->addBrokers("127.0.0.1");
$topicConf = new \RdKafka\TopicConf();
$topicConf->set('auto.commit.interval.ms', 100);
$topicConf->set('offset.store.method', 'broker');
$topicConf->set('auto.offset.reset', 'smallest');
$topic = $rk->newTopic('test', $topicConf);
$topic->consumeStart(0, RD_KAFKA_OFFSET_STORED);
while (true) {
$message = $topic->consume(0, 120*10000);
switch ($message->err) {
case RD_KAFKA_RESP_ERR_NO_ERROR:
var_dump($message);
break;
case RD_KAFKA_RESP_ERR__PARTITION_EOF:
echo "No more messages; will wait for more\n";
break;
case RD_KAFKA_RESP_ERR__TIMED_OUT:
echo "Timed out\n";
break;
default:
throw new \Exception($message->errstr(), $message->err);
break;
}
}
}
}
問題彙總
1、 No Java runtime present, requesting install
因爲 kafka 需要 java 環境支持,所以安裝 java 環境。可以到 javase-jdk14-downloads 選擇自己的版本進行下載安裝
2、創建 topic 出現:Replication factor: 1 larger than available brokers: 0
意思是至少有一個 brokers. 也就是說並沒有有效的 brokers 可以用。你要確保你的 kafka 已經啓動了
更多學習內容請訪問:
騰訊T3-T4標準精品PHP架構師教程目錄大全,只要你看完保證薪資上升一個臺階(持續更新)
以上內容希望幫助到大家,很多PHPer在進階的時候總會遇到一些問題和瓶頸,業務代碼寫多了沒有方向感,不知道該從那裏入手去提升,對此我整理了一些資料,包括但不限於:分佈式架構、高可擴展、高性能、高併發、服務器性能調優、TP6,laravel,YII2,Redis,Swoole、Swoft、Kafka、Mysql優化、shell腳本、Docker、微服務、Nginx等多個知識點高級進階乾貨需要的可以免費分享給大家,需要的可以加入我的官方羣點擊此處。