Chile NIC explains Great Firewall incident

Chile NIC has released a pretty detailed statement explaining what happened earlier this week, as networks in Chile started sending DNS queries to China, and getting unreliable -- Great Firewall of China style -- results.

There are still a lot of unanswered questions, the main one being, how exactly did this happen, but you can see some speculation here. I've asked Global Crossing for a comment, but have yet to hear back from them.

The statement is in Spanish, but here's a (not entirely reliable) Google Translation of it.

NS ABNORMAL BEHAVIOR OF 24/03/2010

On Wednesday, 24 March 2010, thanks to information provided by engineers VTR, Mauricio Vergara

DNS Manager. CL NIC Chile, announced through a mailing list run by operators

DNS-OARC, a strange anomaly involving the alteration of data in DNS responses from one of the

Servers Root Server "I" located in China which affected areas such as Facebook.com, Twitter.com and

Youtube.com.

1 .- The encountered problem continues?

As we learned through Autonomica / Netnod (Swedish Organization, root-server operators

? I?), They would shut down the connection on your node located in China, and as we have reviewed, we have

again detected abnormal behavior again.

2 .- Do you know which ISPs were affected?

According to what we can detect, at least in Chile were affected ISPs VTR, Telmex and some

others who use Global Crossing as its provider of international connections.

On a server NIC Chile operates in California, it could also detect this fact.

However, it was not possible

determine through which Internet provider that traffic passed, whether through Network Solutions or

EQUINIX through.

3 .- What would explain that someone made a root server announcements from China to the rest of the world?

Consultation of the root servers are made to any of the 13 root servers located throughout the world;

these servers are identified by a letter from the? A? to? M?.

The root server? I?, Like almost everything

the rest of the root servers, is actually a collection of more than 40 servers in different

cities from all continents (this is called a cloud anycast).

It so happens that in this

occasion, a server that was located in Beijing, appeared to be "closer" (in terms of routes

Internet) to other servers in the server root? I? (eg the U.S. or Europe).

More

information about the could deliver Autonomica / Netnod.

They handle anycast system housed in

worldwide locations with different providers and NIC Chile do not know what type of configuration used

Autonomica / Netnod to post their links to the world.

4 .- Do you think this is accidental?

The route to reach China from a country like Chile, is not accidental.

Internet works that way and always seeks a path to consider

"close" (again, speaking in terms of Internet path).

On the other hand, applying filters or alter information in between, either

is accidental and requires third party intervention.

Although we can not be 100% sure, every indication that this situation is the result of the implementation of

content filters and DNS changes.

Apply filters or change the interim reporting is not

accidental and requires third party intervention.

5 .- When they realized the problem?

On Wednesday, March 24 around 10:00 AM CDT When Paul Jimenez (Engineer and IP services

Monitoring VTR) contacted Ereche Mauricio Vergara, DNS Manager. CL NIC Chile, for

wonder if we saw this anomalous behavior.

We told them, they had been at least a couple of

days with the problem.

It is noteworthy that in VTR who first detected this event and approached us to see

how could they contact people of Root-Server-I-or if we had seen something similar.

From that we began to investigate and find that the problem probably came from the server

Root Server? I? located in China.

Then Mauricio Vergara directly contacted Autonomica / Netnod and

we explain what we found. Then Paul Jarvis also contacted them.

Almost

parallel, we communicate this anomaly to a mailing list for coordination [1] for DNS hosted

by DNS-OARC [2], an association which NIC Chile is a member.

DNS-OARC's main objective is to be a

research center for analysis and operation of the DNS world is generally aware of events

like this

[1] https: / / lists.dns-oarc.net/mailman/listinfo/dns-operations

[2] http://www.dns-oarc.net

6 .- We want to know if the newspaper El Pais in Spain

(http://www.elpais.com/articulo/tecnologia/Gran/Cortafuegos/chino/puede/haber/infectado/Internet/elpeputec/20100326elpeputec_1/Tes)

made a correct interpretation of IAS communications from Chile to DNS-OARC.

The newspaper El Pais in Spain said several issues that are related, some of whom have little

relation to the initial question, which was Anybody else seeing this?

It has been much emphasis on the problem they had Chile and California, when in fact the anomaly

could affect anyone in the world that were connected to the Internet and its traffic to go by

any of the items housed in China.

Should be clear, we at NIC Chile could detect this fact

in some of these points mentioned above, but there were others (like GTD, Entel and Telefónica) where

we could not reproduce the problem.

7 .- How NIC Chile had problems with Facebook, YouTube and Twitter?

In making the DNS level consultations could see that the anomalous behavior does not always happen, but

found some answer that looked odd and were "adulterated" on the road.

That was clearly

a mistake.

8 .- Do these problems can be attributed to the Chinese firewall?

We have complete certainty at this point, but everything suggests that it would.

9 .- who was targeted by the e-mail Mauricio Vergara?

As noted above, the e-mail was addressed to a mailing list managed by DNS-OARC.

10 .- Is it worrying about what happened?

If this were a situation that persists in time, would undoubtedly be very worrying.

Alter data

and modifying or filtering content in the DNS affects the normal and correct functioning of the Internet.

Fortunately this abnormal behavior has not continued.

11 .- Can we prevent or at the expense of foreign servers?

Today it works to implement globally (NIC Chile including) a security extension for the

DNS protocol, known as DNSSEC, which helps to authenticate the origin of DNS responses using

cryptographic algorithms to ensure that the content and origin of an answer is who is responsible.

View:

- Http://www.nic.cl/anuncios/2010-01-12.html

- Http://www.root-dnssec.org

Here's the original Spanish note:

COMPORTAMIENTO ANÓMALO DNS DEL 24/03/2010

El día Miércoles 24 de Marzo del 2010, gracias a información provista por Ingenieros de VTR, Mauricio Vergara,

Administrador DNS de .CL en NIC Chile, comunicó a través de una lista de correos de operadores manejada por

DNS-OARC, una extraña anomalía que involucraba la alteración de datos en las respuestas DNS de uno de los

servidores del root server "I" ubicado en China que afectaba a dominios tales como Facebook.com, Twitter.com y

Youtube.com.

1.-  ¿El problema detectado continúa?

Por lo que nos hemos enterado a través de Autonomica/Netnod (Organización sueca, operadores del root-server

?I?), ellos habrían apagado la conexión de su nodo ubicado en China, y por lo que hemos revisado, no  hemos

vuelto a detectar el comportamiento anómalo nuevamente.

2.-  ¿Saben ustedes cuales ISPs fueron afectados?

De acuerdo a lo que hemos podido detectar, al menos se vieron afectados en Chile los ISP VTR, Telmex y algunos

otros que utilizan a Global Crossing como su proveedor de conexiones internacionales.

En un servidor que NIC Chile opera en California, se pudo detectar este hecho también. Sin embargo, no se pudo

determinar a través de cual proveedor de Internet pasaba ese tráfico, si  a través de Network Solutions o a

través de EQUINIX.

3.-  ¿Que explicaría que alguien hiciera anuncios de un root server desde China hacia el resto del mundo?

Las consultas a los root servers se hacen a cualquiera de los 13 servidores raíz ubicados en todo el mundo;

estos servidores se identifican por una letra, desde la ?A? hasta la ?M?. El servidor raiz ?I?, como casi todo

el resto de los root servers, es en realidad un conjunto de más de 40 servidores ubicados en distintas

ciudades de todos los continentes (a esto se le denomina una nube anycast). Da la casualidad que en esta

ocasión, un servidor que estaba ubicado en Beijing, parecía estar "más cercano" (en término de rutas de

Internet) que otros servidores del root server ?I? (por ejemplo, los de Estados Unidos o de Europa). Más

información al respecto la podría  entregar Autonomica/Netnod. Ellos manejan un sistema de anycast alojado en

distintos puntos del mundo con distintos proveedores y en NIC Chile no sabemos qué tipo de configuración usa

Autonomica/Netnod para publicar sus enlaces al mundo.

4.-  ¿Creen ustedes que esto es accidental?

El llegar a una ruta china desde un país como Chile, no es accidental.

Internet funciona de esa manera y busca siempre un camino que considere

"cercano" (otra vez, hablando en términos de ruta de Internet).

Por otro lado, el aplicar filtros o alterar información entremedio, tampoco

es accidental y requiere intervención de terceros.

Aunque no podemos estar 100% seguros, todo apunta a que esta situación es la consecuencia de la aplicación de

filtros y alteraciones de contenido del DNS.  El aplicar filtros o alterar información intermedia, no es

accidental y requiere intervención de terceros.

5.-  ¿Cuando se dieron cuenta del problema?

El Miércoles 24 de Marzo cerca de las 10:00 AM CLST, cuando Pablo Jimenez (Ingeniero de servicios IP y

Monitoreo de VTR) se comunicó con Mauricio Vergara Ereche, Administrador DNS de .CL en NIC Chile, para

preguntarnos si veíamos este comportamiento anómalo. Nos comentó que  ellos, ya llevaban al menos un par de

días con el problema.

Hay que destacar que en  VTR fueron los primeros que detectaron este suceso y se acercaron a nosotros para ver

cómo podrían ellos contactar a gente del Root-Server ?I?, o si habíamos visto algo similar.

A partir de eso empezamos a investigar y detectamos que el problema probablemente provenía del servidor del

Root Server ?I? ubicado en China. En seguida Mauricio Vergara se contactó directamente con Autonomica/Netnod y

les explicamos lo que habíamos detectado. Luego, Pablo Jimenez también los contactó a ellos. Casi

paralelamente, nosotros comunicamos esta anomalía a una lista de correo de coordinación[1] para DNS alojada

por DNS-OARC [2], agrupación de la cual NIC Chile es miembro.  DNS-OARC tiene como objetivo principal ser un

centro de investigación para el análisis y la operación del mundo DNS y generalmente está al tanto de eventos

como éste

[1]https://lists.dns-oarc.net/mailman/listinfo/dns-operations

[2]http://www.dns-oarc.net

6.- Queremos saber si el diario El País de España

(http://www.elpais.com/articulo/tecnologia/Gran/Cortafuegos/chino/puede/haber/infectado/Internet/elpeputec/20100326elpeputec_1/Tes)

hizo una interpretación correcta de lo comunicado por NIC Chile a DNS-OARC.

El diario El País de España comentó varios temas que se relacionan, algunos de los cuales no tienen mucha

relación con el cuestionamiento inicial, el cual era ¿Alguien más está viendo esto?

Se ha hecho mucho hincapié en que el problema lo tenían Chile y California, cuando en realidad la anomalía

podía afectar a cualquier persona en el mundo que estuviese conectada a Internet y su tráfico pasara por

alguno de los puntos alojados en China. Hay que aclarar, que nosotros en NIC Chile pudimos detectar este hecho

en algunos de esos puntos ya mencionados, pero hubo otros (como por ejemplo GTD, Entel o Telefónica) en donde

no pudimos reproducir el problema.

7.-  ¿En NIC Chile tuvieron problemas con Facebook, Youtube y Twitter?

Al hacer las consultas a nivel de DNS se podía ver que el comportamiento anómalo no ocurría siempre, pero se

detectaron algunas respuesta que se veían extrañas y parecían "adulteradas" en el camino. Eso era claramente

un error.

8.-  ¿estos problemas se pueden atribuir al cortafuegos chino?

No tenemos una certeza completa en este punto, pero todo apunta a que asi sería.

9.-  ¿a quién fue dirigido el  e-mail de Mauricio Vergara?

Tal como se indicó anteriormente, el e-mail fue dirigido a una lista de correos administrada por DNS-OARC.

10.-  ¿Es preocupante lo que pasó?

Si esta fuera una situación que persistiera en el tiempo, sería indudablemente muy preocupante. Alterar datos

y modificar o filtrar contenidos en el DNS afecta el funcionamiento normal y correcto de Internet.

Afortunadamente este comportamiento anormal no ha continuado.

11.-  ¿Se puede evitar o estamos a expensas de servidores extranjeros?

Hoy en día se trabaja en implementar a nivel global (NIC Chile incluido) una extensión de seguridad para el

protocolo DNS, conocida como DNSSEC, el cual ayuda a autenticar el origen de las respuestas DNS empleando

algoritmos criptográficos para poder asegurar que el contenido y origen de una respuesta sea de quién corresponde.

Ver:

- http://www.nic.cl/anuncios/2010-01-12.html

- http://www.root-dnssec.org

Recommended
Join the discussion
Be the first to comment on this article. Our Commenting Policies