forum/markdownext/mdx_auto_linker.py

   1 import markdown
   2 import re, socket
   3
   4 TLDS = ('gw', 'gu', 'gt', 'gs', 'gr', 'gq', 'gp', 'gy', 'gg', 'gf', 'ge', 'gd', 'ga', 'edu', 'va', 'gn', 'gl', 'gi',
   5         'gh', 'iq', 'lb', 'lc', 'la', 'tv', 'tw', 'tt', 'arpa', 'lk', 'li', 'lv', 'to', 'lt', 'lr', 'ls', 'th', 'tf',
   6         'su', 'td', 'aspx', 'tc', 'ly', 'do', 'coop', 'dj', 'dk', 'de', 'vc', 'me', 'dz', 'uy', 'yu', 'vg', 'ro',
   7         'vu', 'qa', 'ml', 'us', 'zm', 'cfm', 'tel', 'ee', 'htm', 'za', 'ec', 'bg', 'uk', 'eu', 'et', 'zw',
   8         'es', 'er', 'ru', 'rw', 'rs', 'asia', 're', 'it', 'net', 'gov', 'tz', 'bd', 'be', 'bf', 'asp', 'jobs', 'ba',
   9         'bb', 'bm', 'bn', 'bo', 'bh', 'bi', 'bj', 'bt', 'jm', 'sb', 'bw', 'ws', 'br', 'bs', 'je', 'tg', 'by', 'bz',
  10         'tn', 'om', 'ua', 'jo', 'pdf', 'mz', 'com', 'ck', 'ci', 'ch', 'co', 'cn', 'cm', 'cl', 'cc', 'tr', 'ca', 'cg',
  11         'cf', 'cd', 'cz', 'cy', 'cx', 'org', 'cr', 'txt', 'cv', 'cu', 've', 'pr', 'ps', 'fk', 'pw', 'pt', 'museum',
  12         'py', 'tl', 'int', 'pa', 'pf', 'pg', 'pe', 'pk', 'ph', 'pn', 'eg', 'pl', 'tk', 'hr', 'aero', 'ht', 'hu', 'hk',
  13         'hn', 'vn', 'hm', 'jp', 'info', 'md', 'mg', 'ma', 'mc', 'uz', 'mm', 'local', 'mo', 'mn', 'mh', 'mk', 'cat',
  14         'mu', 'mt', 'mw', 'mv', 'mq', 'ms', 'mr', 'im', 'ug', 'my', 'mx', 'il', 'pro', 'ac', 'sa', 'ae', 'ad', 'ag',
  15         'af', 'ai', 'vi', 'is', 'ir', 'am', 'al', 'ao', 'an', 'aq', 'as', 'ar', 'au', 'at', 'aw', 'in', 'ax', 'az',
  16         'ie', 'id', 'sr', 'nl', 'mil', 'no', 'na', 'travel', 'nc', 'ne', 'nf', 'ng', 'nz', 'dm', 'np',
  17         'so', 'nr', 'nu', 'fr', 'io', 'ni', 'ye', 'sv', 'kz', 'fi', 'fj', 'fm', 'fo', 'tj', 'sz', 'sy',
  18         'mobi', 'kg', 'ke', 'doc', 'ki', 'kh', 'kn', 'km', 'st', 'sk', 'kr', 'si', 'kp', 'kw', 'sn', 'sm', 'sl', 'sc',
  19         'biz', 'ky', 'sg', 'se', 'sd')
  20
  21 AUTO_LINK_RE = re.compile(r"""
  22     (?P<ws>.?\s*)
  23     (?P<url>
  24         (?:(?P<format1>
  25             ((?P<protocol1>[a-z][a-z]+)://)?
  26             (?P<domain1>\w(?:[\w-]*\w)?\.\w(?:[\w-]*\w)?(?:\.\w(?:[\w-]*\w)?)*)
  27         ) | (?P<format2>
  28             ((?P<protocol2>[a-z][a-z]+)://)
  29             (?P<domain2>\w(?:[\w-]*\w)?(?:\.\w(?:[\w-]*\w)?)*)
  30         ))
  31         (?P<port>:\d+)?
  32         (?P<uri>/[^\s<]*)?
  33     )
  34
  35 """, re.X | re.I)
  36
  37 EMAIL_LINK_REPLACE_RE = re.compile("(?<= href=\")[_a-z0-9-]+(\.[_a-z0-9-]+)*@[a-z0-9-]+(\.[a-z0-9-]+)*(\.[a-z]{2,4})(?=\")")
  38
  39 def is_ip(addr):
  40     try:
  41         socket.inet_aton(addr)
  42         return True
  43     except:
  44         return False
  45
  46 def replacer(m):
  47
  48     ws = m.group('ws')
  49
  50     if ws and ws[0] in ("'", '"', "@"):
  51         return m.group(0)
  52
  53     elif not ws:
  54         ws = ''
  55
  56     if m.group('format1'):
  57         fn = 1
  58     else:
  59         fn = 2
  60
  61     protocol = m.group('protocol%s' % fn)
  62     domain = m.group('domain%s' % fn)
  63
  64     if not protocol:
  65         domain_chunks = domain.split('.')
  66
  67         if not (len(domain_chunks) == 1 and domain_chunks[0].lower() == 'localhost') or (domain_chunks[-1].lower() in TLDS):
  68             return m.group(0)
  69
  70     if (not protocol) and is_ip(domain):
  71         return m.group(0)
  72
  73
  74     port = m.group('port')
  75     uri = m.group('uri')
  76
  77     if not ws:
  78         ws = ''
  79
  80     if not port:
  81         port = ''
  82
  83     if not protocol:
  84         protocol = 'http'
  85
  86     if not uri:
  87         uri = ''
  88
  89     url = "%s://%s%s%s" % (protocol, domain, port, uri)
  90
  91     return "%s<a href=\"%s\">%s</a>" % (ws, url, m.group('url'))
  92
  93
  94 class AutoLinker(markdown.postprocessors.Postprocessor):
  95
  96     def run(self, text):
  97         text = AUTO_LINK_RE.sub(replacer, text)
  98         text = EMAIL_LINK_REPLACE_RE.sub(lambda m: "mailto:%s" % m.group(0), text)
  99
 100         return text
 101
 102 class AutoLinkerExtension(markdown.Extension):
 103
 104     def extendMarkdown(self, md, md_globals):
 105         md.postprocessors['autolinker'] = AutoLinker()
 106
 107 def makeExtension(configs=None):
 108     return AutoLinkerExtension(configs=configs)
 109
 110