PostgreSQL
 sql >> база данни >  >> RDS >> PostgreSQL

Pyspark:Премахване на UTF нулев знак от рамката с данни на pyspark

А, чакай - мисля, че го имам. Ако направя нещо подобно, изглежда, че работи:

null = u'\u0000'
new_df = df.withColumn('e', regexp_replace(df['e'], null, ''))

И след това съпоставяне към всички низови колони:

string_columns = ['d','e']
new_df = df.select(
  *(regexp_replace(col(c), null, '').alias(c) if c in string_columns else c for
    c in df.columns)
  )


  1. Database
  2.   
  3. Mysql
  4.   
  5. Oracle
  6.   
  7. Sqlserver
  8.   
  9. PostgreSQL
  10.   
  11. Access
  12.   
  13. SQLite
  14.   
  15. MariaDB
  1. Изберете само числова част от низа само ако започва с числова стойност

  2. Функцията се изпълнява по-бързо без STRICT модификатор?

  3. Мога ли да накарам Ecto да регистрира необработен SQL?

  4. Postgresql - Основни масиви и array_agg

  5. Python &Sqlalchemy - Модел на връзка -> Прекъснато на случаен принцип от отдалечения сървър