Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

执行运行脚本没有反应 #5

Closed
heqian1024 opened this issue Jun 13, 2019 · 7 comments
Closed

执行运行脚本没有反应 #5

heqian1024 opened this issue Jun 13, 2019 · 7 comments

Comments

@heqian1024
Copy link

执行运行语句警告,警告偶尔有:java -server -classpath conf/:lib/ com.hellobike.base.tunnel.TunnelLauncher -u false -c cfg.properties
警告信息:
[2019-06-13 18:36:47.385] [ WARN] [ main] [c.h.b.t.TunnelLauncher ] config is null at first setup
没有任何其他反应

@xiaoma20082008
Copy link

执行运行语句警告,警告偶尔有:java -server -classpath conf/:lib/ com.hellobike.base.tunnel.TunnelLauncher -u false -c cfg.properties
警告信息:
[2019-06-13 18:36:47.385] [ WARN] [ main] [c.h.b.t.TunnelLauncher ] config is null at first setup
没有任何其他反应

cfg.properties要写绝对路径

@heqian1024
Copy link
Author

还是一样,没有反应,是不是我的配置文件存在问题

运行脚本
java -server -classpath conf/:lib/ com.hellobike.base.tunnel.TunnelLauncher -u false -c /root/tunnel-master/target/AppTunnelService/conf/cfg.properties

我的配置
{
# pg_dump 可执行文件path,如pg_dump在 $PATH 路径下面,则不需配置
"pg_dump_path": "",
"subscribes": [{
# 是否dump 历史数据,如只需要实时数据,可以不配或配置为false,默认false
"dump": false,
# 逻辑复制槽名称,确保唯一
"slotName": "slot_for_kafka",
# pg 连接配置
"pgConnConf": {
"host": "192.168.216.87",
"port": 6432,
"database": "grabdb",
"user": "replica",
"password": "******"
},
# 同步规则配置
"rules": [
{
# 表名匹配,支持通配符
"table": "t_mon_kafka",
# 表的主键配置
# "pks": ["id"],
# kafka topic
"topic": "tunnel.db40t.t_mon_kafka"
}
],
# kafka 连接配置
"kafkaConf": {
"addrs": ["192.168.216.158:9092","192.168.216.157:9092","192.168.200.94:9092"]
}
}]
}

@heqian1024
Copy link
Author

另外,我尝试了你们的另一个工具amazonriver,但是发现一个比较严重的问题,丢数据,能不能帮忙通知一下维护人员:
hellobike/amazonriver#16

@heqian1024 heqian1024 changed the title 用不了 执行运行脚本没有反应 Jun 13, 2019
@xiaoma20082008
Copy link

xiaoma20082008 commented Jun 14, 2019

还是一样,没有反应,是不是我的配置文件存在问题

运行脚本
java -server -classpath conf/:lib/ com.hellobike.base.tunnel.TunnelLauncher -u false -c /root/tunnel-master/target/AppTunnelService/conf/cfg.properties

我的配置
{

pg_dump 可执行文件path,如pg_dump在 $PATH 路径下面,则不需配置

"pg_dump_path": "",
"subscribes": [{

是否dump 历史数据,如只需要实时数据,可以不配或配置为false,默认false

"dump": false,

逻辑复制槽名称,确保唯一

"slotName": "slot_for_kafka",

pg 连接配置

"pgConnConf": {
"host": "192.168.216.87",
"port": 6432,
"database": "grabdb",
"user": "replica",
"password": "******"
},

同步规则配置

"rules": [
{

表名匹配,支持通配符

"table": "t_mon_kafka",

表的主键配置

"pks": ["id"],

kafka topic

"topic": "tunnel.db40t.t_mon_kafka"
}
],

kafka 连接配置

"kafkaConf": {
"addrs": ["192.168.216.158:9092","192.168.216.157:9092","192.168.200.94:9092"]
}
}]
}
配置文件要参考这个,只有两行,第一行是你上面的配置(json化之后,格式化成一行),第二行是一个zk地址

@heqian1024
Copy link
Author

heqian1024 commented Jun 14, 2019

成功了,谢谢!
以下几个问题请教下:
1、tunnel_zookeeper_address=192.168.216.157:2181 这行配置用来干嘛的,是tunnel单独使用的一个zk吗,我配置的这个是kafka集群的某个zk,会不会有问题,有异常信息:
[2019-06-14 11:16:30.623] [ INFO] [92.168.216.157:2181)] [o.a.z.ClientCnxn ] Opening socket connection to server 192.168.216.157/192.168.216.157:2181. Will not attempt to authenticate using SASL (unknown error)

2、配置文件写成一行的方式不是很友好,会不会考虑优化?
3、目前往kafka只推送修改后数据,能不能考虑下把修改前数据也推送过去,debezuim会将修改前数据推送,但是不稳定,问题太多,想用你们这个工具。
4、这个工具你们内部有在生产上使用吗,我们很想在生产上使用,但是怕有问题,你们后期会维护更新吗?

@huayuanzzb
Copy link

关于第二个问题,我增加了yml格式配置文件,可以将配置分为多行,不知是否可以合进来?

@xiaoma20082008
Copy link

xiaoma20082008 commented Jun 14, 2019 via email

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

3 participants