On Tue, Mar 12, 2019 at 1:01 AM Phil Lavin <phil.lavin@cloudcall.com> wrote:
> or something else helpful :)

Here's traceroutes, for those interested. Times are UTC. The issue is present to Verizon customers in both Pittsburgh and BlueBell. I don't have any other PA Verizon customers to reference against, though all of our other Verizon customers outside of PA look fine.

phil@debian:~$ mtr -zwc1 108.16.123.123
Start: Tue Mar 12 00:19:43 2019
HOST: debian                                            Loss%   Snt   Last   Avg  Best  Wrst StDev
  1. AS32334  192.30.36.123                                   0.0%     1    2.7   2.7   2.7   2.7   0.0
  2. AS???    10.11.11.1                                      0.0%     1    2.6   2.6   2.6   2.6   0.0
  3. AS2914   129.250.199.37                                  0.0%     1    1.5   1.5   1.5   1.5   0.0
  4. AS2914   ae-6.r24.nycmny01.us.bb.gin.ntt.net             0.0%     1    9.4   9.4   9.4   9.4   0.0
  5. AS2914   ae-1.r08.nycmny01.us.bb.gin.ntt.net             0.0%     1    6.6   6.6   6.6   6.6   0.0
  6. AS701    et-7-0-5.BR3.NYC4.ALTER.NET                     0.0%     1    8.5   8.5   8.5   8.5   0.0
  7. AS???    ???                                            100.0     1    0.0   0.0   0.0   0.0   0.0
  8. AS701    ae203-0.PHLAPA-VFTTP-302.verizon-gni.net        0.0%     1  137.2 137.2 137.2 137.2   0.0
  9. AS701    static-108-16-123-123.phlapa.fios.verizon.net   0.0%     1  118.4 118.4 118.4 118.4   0.0

phil@debian:~$ mtr -zwc1 108.16.123.123
Start: Tue Mar 12 07:48:25 2019
HOST: debian                                            Loss%   Snt   Last   Avg  Best  Wrst StDev
  1. AS32334  192.30.36.123                                   0.0%     1    2.7   2.7   2.7   2.7   0.0
  2. AS???    10.11.11.1                                      0.0%     1    1.0   1.0   1.0   1.0   0.0
  3. AS2914   129.250.199.37                                  0.0%     1    2.9   2.9   2.9   2.9   0.0
  4. AS2914   ae-6.r24.nycmny01.us.bb.gin.ntt.net             0.0%     1    7.2   7.2   7.2   7.2   0.0
  5. AS2914   ae-1.r08.nycmny01.us.bb.gin.ntt.net             0.0%     1    9.1   9.1   9.1   9.1   0.0
  6. AS701    et-7-0-5.BR3.NYC4.ALTER.NET                     0.0%     1    7.1   7.1   7.1   7.1   0.0
  7. AS???    ???                                            100.0     1    0.0   0.0   0.0   0.0   0.0
  8. AS701    ae203-0.PHLAPA-VFTTP-302.verizon-gni.net        0.0%     1   14.7  14.7  14.7  14.7   0.0
  9. AS701    static-108-16-123-123.phlapa.fios.verizon.net   0.0%     1   17.8  17.8  17.8  17.8   0.0


I'm not in philly, but from IAD area the path back is via HE.net.it seems quick enough from IAD, but as a data point PHL may head back via NYC or it may go through IAD and HE.net.
 
Smokeping graph at https://ibb.co/g4VQR8k