Technotes

<# 
Reflow CLP-style fixed-width table into TSV with lookahead continuation.

仕様（重要な変更点）:
- 列境界: 最初に出る "-----" 罫線からダッシュの塊で列範囲を決定（固定幅スライス）
- 先読み束ね: 物理行 i が「日付セル = 時刻」にマッチしたら新規レコード開始。
              以降、次行 j を“先読み”し、j が日付で始まらない限り、テキスト列へ連結し続ける。
- 継続行の取り方（スマート）:
    1) テキスト列の範囲スライス
    2) 空なら テキスト列の開始位置から行末まで（列幅越え対策）
    3) まだ空なら その行の最長非空セル
    4) それでも空なら 行全体の Trim
- 改行: CRLF / LF / CR / NEL(0x85) / LS(0x2028) / PS(0x2029) を LF に正規化
- 出力: TSV（タブ区切り）。PS7+ なら UseQuotes Always 指定
#>

param(
  [Parameter(Position=0)]
  [string]$InPath  = (Join-Path $PSScriptRoot 'clp_output.txt'),

  [Parameter(Position=1)]
  [string]$OutPath = (Join-Path $PSScriptRoot 'reflow.tsv'),

  # Db2 っぽい時刻/日付。必要に応じて調整。
  [string]$TimeRegex = '^(?:\d{4}-\d{2}-\d{2}[-\s]?\d{2}[:\.]\d{2}[:\.]\d{2}(?:\.\d{1,6})?|\d{8}|\d{2}:\d{2}:\d{2}|\d{14})$',

  # どの列を「時刻列」として見るか（0始まり）。既定=先頭列
  [int]$DateColumnIndex = 0,

  # どの列に継続を連結するか（テキスト列）
  [string]$TextColumnName = '',
  [int]$TextColumnIndex = -1,

  # 連結時の区切り
  [ValidateSet('space','newline','literal-n')]
  [string]$JoinMode = 'space',

  # 空行も区切りだけ入れて保持するか
  [bool]$KeepBlankContinuation = $true
)

# ----- Join token -----
switch ($JoinMode) {
  'space'     { $JoinToken = ' ' }
  'newline'   { $JoinToken = "`n" }
  'literal-n' { $JoinToken = '\n' }
}

# ----- 入力 & 改行正規化 -----
if (-not (Test-Path -LiteralPath $InPath)) {
  $alt = Join-Path (Get-Location) (Split-Path $InPath -Leaf)
  if (Test-Path -LiteralPath $alt) { $InPath = $alt }
}
if (-not (Test-Path -LiteralPath $InPath)) { throw "Input file not found: $InPath" }

$raw = Get-Content -LiteralPath $InPath -Raw
$raw = $raw -replace "`r`n", "`n"                        # CRLF -> LF
$raw = $raw -replace "`r",   "`n"                        # CR   -> LF
$raw = $raw -replace ([string][char]0x0085), "`n"       # NEL  -> LF
$raw = $raw -replace ([string][char]0x2028), "`n"       # LS   -> LF
$raw = $raw -replace ([string][char]0x2029), "`n"       # PS   -> LF

$lines = $raw -split "`n"
if (-not $lines -or $lines.Count -eq 0) { throw "No input lines found." }

# ----- Helpers -----
function IsSepLine([string]$s){
  if ([string]::IsNullOrWhiteSpace($s)) { return $false }
  return [bool]([regex]::IsMatch($s, '^(?=.*-{3,})[ \t\-\+\|]+$'))
}
function Get-ColRanges([string]$sep){
  $ranges = @(); $chars = $sep.ToCharArray(); $i = 0
  while ($i -lt $chars.Length){
    if ($chars[$i] -eq '-') {
      $start = $i
      while ($i -lt $chars.Length -and $chars[$i] -eq '-') { $i++ }
      $end = $i - 1
      $ranges += ,@($start, $end)
    } else { $i++ }
  }
  return $ranges
}
function Slice-Trim([string]$line, [int]$start, [int]$end){
  if ($null -eq $line) { return "" }
  $len = [math]::Max(0, [math]::Min($line.Length, $end+1) - $start)
  if ($len -le 0 -or $start -ge $line.Length) { return "" }
  return $line.Substring($start, $len).Trim()
}
function Slice-From([string]$line, [int]$start){
  if ($null -eq $line) { return "" }
  if ($start -ge $line.Length) { return "" }
  return $line.Substring($start).Trim()
}
function Test-IsTime([string]$s, [string]$pattern){
  if ([string]::IsNullOrWhiteSpace($s)) { return $false }
  return [bool]([regex]::IsMatch($s, $pattern))
}

# ----- ヘッダ/罫線の検出 -----
$sepIdx = -1
for ($i=0; $i -lt $lines.Count; $i++){
  if (IsSepLine $lines[$i]) { $sepIdx = $i; break }
}
if ($sepIdx -lt 1) { throw "Header separator (-----) not found." }

$headerLine = $lines[$sepIdx - 1]
$sepLine    = $lines[$sepIdx]

# ----- 列範囲 & ヘッダ -----
$ranges = Get-ColRanges $sepLine
if (-not $ranges -or $ranges.Count -lt 2) { throw "Failed to detect column ranges." }

$headers = @()
foreach($r in $ranges){ $headers += (Slice-Trim $headerLine $r[0] $r[1]) }

# ヘッダ正規化
$seen = @{}
for($i=0;$i -lt $headers.Count;$i++){
  if ([string]::IsNullOrWhiteSpace($headers[$i])) { $headers[$i] = "Col$($i+1)" }
  if ($seen.ContainsKey($headers[$i])) {
    $n = 2; while ($seen.ContainsKey("$($headers[$i])_$n")) { $n++ }
    $headers[$i] = "$($headers[$i])_$n"
  }
  $seen[$headers[$i]] = $true
}

# インデックス決定
if ($DateColumnIndex -lt 0 -or $DateColumnIndex -ge $headers.Count) { $DateColumnIndex = 0 }

$TextCol = -1
if ($TextColumnIndex -ge 0 -and $TextColumnIndex -lt $headers.Count) {
  $TextCol = $TextColumnIndex
} elseif (-not [string]::IsNullOrWhiteSpace($TextColumnName)) {
  for($i=0;$i -lt $headers.Count;$i++){ if ($headers[$i] -ieq $TextColumnName){ $TextCol = $i; break } }
}
if ($TextCol -lt 0) {
  for($i=0;$i -lt $headers.Count;$i++){
    if ($headers[$i] -match '(?i)^(STMT_TEXT|SQL_TEXT|DYNAMIC_SQL_TEXT|TEXT|SQL|STATEMENT)$'){ $TextCol = $i; break }
  }
}
if ($TextCol -lt 0) { $TextCol = $headers.Count - 1 }  # 最終列をテキスト列に

# テキスト列のスライス開始位置をキャッシュ
$rText = $ranges[$TextCol]
$txtStart = $rText[0]; $txtEnd = $rText[1]

# ----- データ部（先読みで束ね） -----
$dataLines = @()
for($i = $sepIdx + 1; $i -lt $lines.Count; $i++){ $dataLines += $lines[$i] }

# ライン属性を先に評価（isDate / isSep / isBlank）
$attrs = @()
for($i=0; $i -lt $dataLines.Count; $i++){
  $ln = $dataLines[$i]
  $isBlank = [string]::IsNullOrWhiteSpace($ln)
  $isSep   = (-not $isBlank) -and (IsSepLine $ln)
  $isDate  = $false
  if (-not $isBlank -and -not $isSep) {
    # 「現在の行」の日付セルで判定
    $cellsTmp = @()
    foreach($r in $ranges){ $cellsTmp += (Slice-Trim $ln $r[0] $r[1]) }
    $dateCell = $cellsTmp[$DateColumnIndex]
    $isDate   = Test-IsTime $dateCell $TimeRegex
  }
  $attrs += ,@($isBlank, $isSep, $isDate)
}

$rows = New-Object System.Collections.Generic.List[Object]

for ($i=0; $i -lt $dataLines.Count; $i++) {
  $ln = $dataLines[$i]
  $isBlank = $attrs[$i][0]; $isSep = $attrs[$i][1]; $isDate = $attrs[$i][2]

  if ($isBlank -or $isSep) { continue }

  # ---- 新規レコードは「現在が日付行」だけで開始し、その後は“先読み”で連結 ----
  if ($isDate) {
    # 行 i を固定幅スライスして初期レコード作成
    $cells = @()
    foreach($r in $ranges){ $cells += (Slice-Trim $ln $r[0] $r[1]) }
    $obj = [ordered]@{}
    for($c=0; $c -lt $headers.Count; $c++){ $obj[$headers[$c]] = $cells[$c] }

    # 先読み：i+1 以降、次の「日付行 or 罫線 or 空行」直前までをテキスト列に連結
    $j = $i + 1
    while ($j -lt $dataLines.Count) {
      $n_isBlank = $attrs[$j][0]; $n_isSep = $attrs[$j][1]; $n_isDate = $attrs[$j][2]
      if ($n_isDate) { break }           # 次が日付行 → ここで束ね終了
      if ($n_isSep)  { $j++; continue }  # 余計な罫線はスキップ
      if ($n_isBlank){
        if ($KeepBlankContinuation) { $obj[$headers[$TextCol]] = ($obj[$headers[$TextCol]] + $JoinToken) }
        $j++; continue
      }

      $nLine = $dataLines[$j]

      # 継続行の“スマート掴み”
      $frag = Slice-Trim $nLine $txtStart $txtEnd           # 1) テキスト列範囲
      if ([string]::IsNullOrWhiteSpace($frag)) {
        $frag = Slice-From $nLine $txtStart                  # 2) テキスト開始から行末
      }
      if ([string]::IsNullOrWhiteSpace($frag)) {
        # 3) 行内で最長の非空セル
        $cellsN = @(); foreach($r in $ranges){ $cellsN += (Slice-Trim $nLine $r[0] $r[1]) }
        $longest = ""; foreach($cc in $cellsN){ if ($null -ne $cc -and $cc.Trim().Length -gt $longest.Length){ $longest = $cc.Trim() } }
        $frag = $longest
      }
      if ([string]::IsNullOrWhiteSpace($frag)) {
        # 4) 行全体
        $t = $nLine.Trim(); if ($t -ne "") { $frag = $t }
      }

      if (-not [string]::IsNullOrWhiteSpace($frag)) {
        $obj[$headers[$TextCol]] = ( @($obj[$headers[$TextCol]], $frag) -join $JoinToken ).Trim()
      } else {
        if ($KeepBlankContinuation) { $obj[$headers[$TextCol]] = ($obj[$headers[$TextCol]] + $JoinToken) }
      }

      $j++
    }

    # 完成レコードを追加
    $rows.Add([pscustomobject]$obj) | Out-Null

    # 先読みで消費したぶん i を進める
    $i = $j - 1
  }
  else {
    # 日付行以前の前置きやノイズは無視（先頭が日付行になるまでスキップ）
    continue
  }
}

if ($rows.Count -eq 0) { throw "No data rows (reflow failed)." }

# ----- TSV 出力 -----
try {
  $parent = Split-Path -Parent $OutPath
  if ($parent -and -not (Test-Path $parent)) { New-Item -ItemType Directory -Path $parent | Out-Null }

  $quoteParam = @{}
  if ($PSVersionTable.PSVersion.Major -ge 7) { $quoteParam.UseQuotes = 'Always' }

  $rows | Export-Csv -LiteralPath $OutPath -Delimiter "`t" -NoTypeInformation -Encoding UTF8 -Force -ErrorAction Stop @quoteParam
  Write-Host ("DONE: {0}" -f (Resolve-Path $OutPath))
}
catch {
  Write-Warning ("Export-Csv failed. Fallback writer: {0}" -f $_.Exception.Message)
  if ($PSVersionTable.PSVersion.Major -ge 7) {
    $csv = $rows | ConvertTo-Csv -NoTypeInformation -Delimiter "`t" -UseQuotes Always
  } else {
    $csv = $rows | ConvertTo-Csv -NoTypeInformation -Delimiter "`t"
  }
  $utf8bom = New-Object System.Text.UTF8Encoding($true)
  [System.IO.File]::WriteAllLines($OutPath, $csv, $utf8bom)
  Write-Host ("DONE (fallback): {0}" -f (Resolve-Path $OutPath))
}