首页 / PYTHON / Google DataFlow无法在不同位置读写(Python SDK v0.5.5)

Google DataFlow无法在不同位置读写(Python SDK v0.5.5)

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Google DataFlow无法在不同位置读写(Python SDK v0.5.5)，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1912字，纯文字阅读大概需要3分钟。

内容图文

我正在使用Python SDK v0.5.5编写一个非常基本的DataFlow管道.管道使用BigQuerySource并传入查询,该查询从位于EU的数据集中查询BigQuery表.

执行管道时,我收到以下错误(项目名称匿名)：

HttpError: HttpError accessing <https://www.googleapis.com/bigquery/v2/projects/XXXXX/queries/93bbbecbc470470cb1bbb9c22bd83e9d?alt=json&maxResults=10000>: response: <{'status': '400', 'content-length': '292', 'x-xss-protection': '1; mode=block', 'x-content-type-options': 'nosniff', 'transfer-encoding': 'chunked', 'expires': 'Thu, 09 Feb 2017 10:28:04 GMT', 'vary': 'Origin, X-Origin', 'server': 'GSE', '-content-encoding': 'gzip', 'cache-control': 'private, max-age=0', 'date': 'Thu, 09 Feb 2017 10:28:04 GMT', 'x-frame-options': 'SAMEORIGIN', 'alt-svc': 'quic=":443"; ma=2592000; v="35,34"', 'content-type': 'application/json; charset=UTF-8'}>, content <{
 "error": {
  "errors": [
   {
    "domain": "global",
    "reason": "invalid",
    "message": "Cannot read and write in different locations: source: EU, destination: US"
   }
  ],
  "code": 400,
  "message": "Cannot read and write in different locations: source: EU, destination: US"
 }
}

指定项目,数据集和表名时也会发生错误.但是,从可用的公共数据集(位于美国 – 像莎士比亚)中选择数据时没有错误.我也有运行SDK的v0.4.4的作业,没有这个错误.

这些版本之间的区别在于创建临时数据集,如管道启动时的警告所示：

WARNING:root:Dataset does not exist so we will create it

我简要介绍了SDK的不同版本,差异似乎与这个临时数据集有关.看起来当前版本默认创建一个临时数据集,其位置在美国(取自master)：

> Creation of dataset
> Default dataset location

我还没有找到一种方法来禁用这些临时数据集的创建.我是否忽略了某些东西,或者从欧盟数据集中选择数据时,这确实不再有效？

解决方法:

感谢您报告此问题.我假设您使用的是DirectRunner.我们更改了DirectRunner的BigQuery读取转换的实现,以创建临时数据集(适用于SDK版本0.5.1及更高版本)以支持大型数据集.好像我们没有在这里正确设置区域.我们将研究解决这个问题.

如果使用DataflowRunner在正确的区域中创建临时数据集,则不应发生此问题.

内容总结

以上是互联网集市为您收集整理的Google DataFlow无法在不同位置读写(Python SDK v0.5.5)全部内容，希望文章能够帮你解决Google DataFlow无法在不同位置读写(Python SDK v0.5.5)所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/695900.html

来源：【匿名】